Willkommen bei WCM
Um alle Funktionen dieser Website nutzen zu können müssen Sie sich Einloggen oder Registrieren. Die Registrierung ist unverbindlich und dauert nur einen Moment.
Software ermöglicht Big-Data-Analysen am Laptop
Veröffentlicht am 18.07.2012 21:23:35
Forscher der Carnegie Mellon University http://www.cmu.edu haben ein Programm entwickelt, das aufwändige Berechnungen, die bislang nur auf Verbünden mehrerer Rechner möglich waren, auf einem gewöhnlichen PC durchführt. GraphChi ist, wie berichtet wird, für die Analyse der Beziehungen in großen Netzwerken ausgelegt.
Bislang hat die Untersuchung großer Datensätze, wie etwa sozialer Netzwerke, PCs überfordert, da die Beziehungsgeflechte, in der Mathematik Graphen genannt, zur Analyse im Arbeitsspeicher abgelegt werden mussten. Die neue Software ermöglicht es jetzt, die Daten auf den weitaus geräumigeren Festplatten zu speichern.
Festplatten galten bisher als zu langsam, um für solche Aufgaben sinnvoll verwendet zu werden. Die US-Forscher haben deshalb eine schnellere, weniger zufällige Methode entwickelt, auf Festplatten-Daten zuzugreifen. Damit können jetzt erstmals die Graphen großer Netzwerke wie Twitter auf normalen PCs untersucht werden. Mit GraphChi gelang es, das Geflecht der Twitter-Nutzer von 2010, das 40 Mio. Nutzer und 1,2 Mrd. Verbindungen enthält, in 59 Minuten zu analysieren. Eine früher veröffentlichte Analyse nahm ein Netzwerk aus 1.000 Computern für 400 Minuten in Anspruch.
Graphen-Berechnungen sind ein stetig an Bedeutung gewinnendes Forschungsfeld. In einer vernetzten Welt, in der die Datensätze ständig größer werden, ist die Entwicklung der US-Wissenschaftler ein großer Durchbruch. Neben der Analyse von Online-Netzwerken spielt die Analysen von Daten beispielsweise auch bei der Erforschung der Struktur des Gehirns eine wichtige Rolle.
"Das Konzept des Graphen ist fast allgegenwärtig. Anwendungen gibt es in vielen Disziplinen, von der Biologie über die Medizin bis zur Informatik selbst. Die Möglichkeit Analysen schneller durchzuführen kann sich daher in vielen Bereichen positiv auswirken", erklärt Wolfgang Klas, Dekan der Fakultät für Informatik an der Universität Wien.
Momentan kann GraphChi nur statische Graphen analysieren. Netzwerke, in denen sich die Beziehung zwischen den einzelnen Knotenpunkten mit der Zeit ändern, übersteigen die derzeitigen Möglichkeiten von GraphChi noch. Die Forscher arbeiten aber bereits daran, dieses Manko zu beheben. Schon jetzt erlaubt die Software Entwicklern und Wissenschaftlern, viele Berechnungen an ihrem PC zu erledigen, für die sie früher Zeit in einem Rechenzentrum buchen mussten. "Big Data ist heute überall, aber einige große Datensätze erscheinen in Relation nicht mehr so groß wie früher", sagt Carlos Guestrin von der Carnergie Mellon University.
Die Komplexität von Graphen kann allerdings sehr hoch werden. "Es gibt eine regelmäßig aktualisierte, maschinenlesbare Version der Wikipedia. Damit haben Forscher einen kompletten Graphen der Online-Enzyklopädie zur Verfügung. Mit Software können Verknüpfungen gefunden und daraus Sachverhalte abgeleitet werden. Dieser Graph, der schon einige Terabyte an Daten umfasst, ist aber nur ein Knoten im Hyper-Graphen, der sich aus eine Vielzahl von weiteren Online-Datenquellen im Internet bilden läßt. Heimcomputer stoßen mit den derzeitigen Speicherkapazitäten da immer noch schnell an Grenzen", sagt Klas. Durch die Möglichkeit, Graphen zur Analyse auf Festplatten abzulegen, steigt die Kapazität zur Analyse trotzdem enorm.
Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. ""Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. Forschungseinrichtungen oder Unternehmen verfügen über beachtliche Speicherkapazitäten, die so ein enormes Potenzial darstellen. Inwieweit die Algorithmen für den schnellen Zugriff auf Festplatten in solchen Umgebungen funktionieren, müsste aber noch geprüft werden", so Klas.
Veröffentlicht am 18.07.2012 21:23:35
Forscher der Carnegie Mellon University http://www.cmu.edu haben ein Programm entwickelt, das aufwändige Berechnungen, die bislang nur auf Verbünden mehrerer Rechner möglich waren, auf einem gewöhnlichen PC durchführt. GraphChi ist, wie berichtet wird, für die Analyse der Beziehungen in großen Netzwerken ausgelegt.
Bislang hat die Untersuchung großer Datensätze, wie etwa sozialer Netzwerke, PCs überfordert, da die Beziehungsgeflechte, in der Mathematik Graphen genannt, zur Analyse im Arbeitsspeicher abgelegt werden mussten. Die neue Software ermöglicht es jetzt, die Daten auf den weitaus geräumigeren Festplatten zu speichern.
Festplatten galten bisher als zu langsam, um für solche Aufgaben sinnvoll verwendet zu werden. Die US-Forscher haben deshalb eine schnellere, weniger zufällige Methode entwickelt, auf Festplatten-Daten zuzugreifen. Damit können jetzt erstmals die Graphen großer Netzwerke wie Twitter auf normalen PCs untersucht werden. Mit GraphChi gelang es, das Geflecht der Twitter-Nutzer von 2010, das 40 Mio. Nutzer und 1,2 Mrd. Verbindungen enthält, in 59 Minuten zu analysieren. Eine früher veröffentlichte Analyse nahm ein Netzwerk aus 1.000 Computern für 400 Minuten in Anspruch.
Graphen-Berechnungen sind ein stetig an Bedeutung gewinnendes Forschungsfeld. In einer vernetzten Welt, in der die Datensätze ständig größer werden, ist die Entwicklung der US-Wissenschaftler ein großer Durchbruch. Neben der Analyse von Online-Netzwerken spielt die Analysen von Daten beispielsweise auch bei der Erforschung der Struktur des Gehirns eine wichtige Rolle.
"Das Konzept des Graphen ist fast allgegenwärtig. Anwendungen gibt es in vielen Disziplinen, von der Biologie über die Medizin bis zur Informatik selbst. Die Möglichkeit Analysen schneller durchzuführen kann sich daher in vielen Bereichen positiv auswirken", erklärt Wolfgang Klas, Dekan der Fakultät für Informatik an der Universität Wien.
Momentan kann GraphChi nur statische Graphen analysieren. Netzwerke, in denen sich die Beziehung zwischen den einzelnen Knotenpunkten mit der Zeit ändern, übersteigen die derzeitigen Möglichkeiten von GraphChi noch. Die Forscher arbeiten aber bereits daran, dieses Manko zu beheben. Schon jetzt erlaubt die Software Entwicklern und Wissenschaftlern, viele Berechnungen an ihrem PC zu erledigen, für die sie früher Zeit in einem Rechenzentrum buchen mussten. "Big Data ist heute überall, aber einige große Datensätze erscheinen in Relation nicht mehr so groß wie früher", sagt Carlos Guestrin von der Carnergie Mellon University.
Die Komplexität von Graphen kann allerdings sehr hoch werden. "Es gibt eine regelmäßig aktualisierte, maschinenlesbare Version der Wikipedia. Damit haben Forscher einen kompletten Graphen der Online-Enzyklopädie zur Verfügung. Mit Software können Verknüpfungen gefunden und daraus Sachverhalte abgeleitet werden. Dieser Graph, der schon einige Terabyte an Daten umfasst, ist aber nur ein Knoten im Hyper-Graphen, der sich aus eine Vielzahl von weiteren Online-Datenquellen im Internet bilden läßt. Heimcomputer stoßen mit den derzeitigen Speicherkapazitäten da immer noch schnell an Grenzen", sagt Klas. Durch die Möglichkeit, Graphen zur Analyse auf Festplatten abzulegen, steigt die Kapazität zur Analyse trotzdem enorm.
Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. ""Die Analyse am Heimcomputer ist nicht der einzige Vorteil einer Verarbeitung auf der Festplatte. Forschungseinrichtungen oder Unternehmen verfügen über beachtliche Speicherkapazitäten, die so ein enormes Potenzial darstellen. Inwieweit die Algorithmen für den schnellen Zugriff auf Festplatten in solchen Umgebungen funktionieren, müsste aber noch geprüft werden", so Klas.
« Kaspersky Lab liefert neue Sicherheits-Suite für Apple-Computer · Software ermöglicht Big-Data-Analysen am Laptop
· Saphir-Datenträger soll vor Atommüll warnen »