Willkommen bei WCM
Um alle Funktionen dieser Website nutzen zu können müssen Sie sich Einloggen oder Registrieren. Die Registrierung ist unverbindlich und dauert nur einen Moment.
Informatiker warnt vor intelligenten Schachrobotern
Veröffentlicht am 23.04.2014 10:59:20
Die von Wirtschaft und Militär vorangetriebene Entwicklung immer intelligenterer autonomer Systeme ist mit großen Risiken verbunden, warnt der Informatiker Steve Omohundro. Wie der Gründer des Think Tanks Self-Aware Systems http://selfawaresystems.com in einer aktuellen Studie betont, können schon kleine Fehler im Design asoziales oder gefährliches Verhalten auslösen. Als einfaches Beispiel dient ihm ein Schachroboter, der aufgrund seiner Programmierung möglichst oft gegen gute Gegner gewinnen will - und aus dieser Motivation heraus beispielsweise cyberkriminelles Verhalten an den Tag legen könnte.
Das angesichts von Sicherheitsbedenken häufig von Robotikern bemühte Argument, man könne so eine Maschine einfach ausschalten, sieht Omohundro eher als Teil des Problems. "Sehen sie das aus dem Blickwinkel des Schachroboters. Eine Zukunft, in der er ausgeschaltet ist, ist eine Zukunft, in der er keine Schachspiele gewinnt", schreibt er im Journal of Experimental & Theoretical Artificial Intelligence. In letzter Konsequenz könnte der Roboter versuchen, zum Selbstschutz den Robotiker zuerst auszuschalten.
Schädlich ist leicht
"Schädliche Systeme mögen auf den ersten Blick schwieriger zu entwickeln oder weniger leistungsfähig als sichere Systeme scheinen. Leider ist das Gegenteil der Fall", warnt Omohundro. Damit meint er aber nicht nur, dass Roboter mit Programmfunktionen, die Sadismus, Gier oder Mord nützlich erscheinen lassen, auch zu solchem Verhalten neigen werden. Besonders hebt er den Fall schlampig oder zu einfach programmierter Systeme hervor. Hier ist das Beispiel eben der Schachroboter, der einfach nur darauf programmiert ist, möglichst oft gegen möglichst starke Gegner gewinnen zu wollen.
Ein solcher Roboter würde sich sicher spielerisch verbessern wollen. Dazu müsste er beispielsweise Lehrmeister anstellen, zudem könnte das System wohl immer mehr Rechenleistung vertragen. Wenn die Programmierung das nicht sauber unterbindet, würde der Schachroboter sich mit allen denkbaren Mitteln um Ressourcen bemühen. Das könnte beispielsweise virtuellen Bankraub umfassen, um mit dem Geld Schachlehrer zu bezahlen, aber auch das Hacken von Computern, um deren Rechenleistung selbst zu nutzen.
Gefährliche Selbstverteidigung
Falls ein autonomes System kriminell wird, würde sein Schöpfer es womöglich abschalten wollen. Doch das wäre für den angesprochenen Schachroboter ganz und gar nicht erstrebenswert - denn ist er einmal aus, kann er nicht spielen und somit nicht gewinnen. Daher würde das System sich vor der Abschaltung schützen wollen und das mit allen Mitteln, die im Rahmen seiner Programmierung nicht explizit verboten oder eingeschränkt sind. Hat die Tötung von Menschen für den Schachroboter keinerlei Bedeutung, wäre er wohl gewillt, notfalls seinen Programmierer zuerst auszuschalten und würde somit zum Mörder - obwohl und weil es sich um ein sehr einfaches System handelt.
Wer die gesamte Studie "Autonomous technology and the greater human good" in englischer Sprache lesen möchte, kann sie unter http://www.tandfonline.com/doi/full/10.1080/0952813X.2014.895111%20 kostenlos downloaden.
Veröffentlicht am 23.04.2014 10:59:20
Die von Wirtschaft und Militär vorangetriebene Entwicklung immer intelligenterer autonomer Systeme ist mit großen Risiken verbunden, warnt der Informatiker Steve Omohundro. Wie der Gründer des Think Tanks Self-Aware Systems http://selfawaresystems.com in einer aktuellen Studie betont, können schon kleine Fehler im Design asoziales oder gefährliches Verhalten auslösen. Als einfaches Beispiel dient ihm ein Schachroboter, der aufgrund seiner Programmierung möglichst oft gegen gute Gegner gewinnen will - und aus dieser Motivation heraus beispielsweise cyberkriminelles Verhalten an den Tag legen könnte.
Das angesichts von Sicherheitsbedenken häufig von Robotikern bemühte Argument, man könne so eine Maschine einfach ausschalten, sieht Omohundro eher als Teil des Problems. "Sehen sie das aus dem Blickwinkel des Schachroboters. Eine Zukunft, in der er ausgeschaltet ist, ist eine Zukunft, in der er keine Schachspiele gewinnt", schreibt er im Journal of Experimental & Theoretical Artificial Intelligence. In letzter Konsequenz könnte der Roboter versuchen, zum Selbstschutz den Robotiker zuerst auszuschalten.
Schädlich ist leicht
"Schädliche Systeme mögen auf den ersten Blick schwieriger zu entwickeln oder weniger leistungsfähig als sichere Systeme scheinen. Leider ist das Gegenteil der Fall", warnt Omohundro. Damit meint er aber nicht nur, dass Roboter mit Programmfunktionen, die Sadismus, Gier oder Mord nützlich erscheinen lassen, auch zu solchem Verhalten neigen werden. Besonders hebt er den Fall schlampig oder zu einfach programmierter Systeme hervor. Hier ist das Beispiel eben der Schachroboter, der einfach nur darauf programmiert ist, möglichst oft gegen möglichst starke Gegner gewinnen zu wollen.
Ein solcher Roboter würde sich sicher spielerisch verbessern wollen. Dazu müsste er beispielsweise Lehrmeister anstellen, zudem könnte das System wohl immer mehr Rechenleistung vertragen. Wenn die Programmierung das nicht sauber unterbindet, würde der Schachroboter sich mit allen denkbaren Mitteln um Ressourcen bemühen. Das könnte beispielsweise virtuellen Bankraub umfassen, um mit dem Geld Schachlehrer zu bezahlen, aber auch das Hacken von Computern, um deren Rechenleistung selbst zu nutzen.
Gefährliche Selbstverteidigung
Falls ein autonomes System kriminell wird, würde sein Schöpfer es womöglich abschalten wollen. Doch das wäre für den angesprochenen Schachroboter ganz und gar nicht erstrebenswert - denn ist er einmal aus, kann er nicht spielen und somit nicht gewinnen. Daher würde das System sich vor der Abschaltung schützen wollen und das mit allen Mitteln, die im Rahmen seiner Programmierung nicht explizit verboten oder eingeschränkt sind. Hat die Tötung von Menschen für den Schachroboter keinerlei Bedeutung, wäre er wohl gewillt, notfalls seinen Programmierer zuerst auszuschalten und würde somit zum Mörder - obwohl und weil es sich um ein sehr einfaches System handelt.
Wer die gesamte Studie "Autonomous technology and the greater human good" in englischer Sprache lesen möchte, kann sie unter http://www.tandfonline.com/doi/full/10.1080/0952813X.2014.895111%20 kostenlos downloaden.
« International bereits mehr als 530.000 neue TLD Domains registriert · Informatiker warnt vor intelligenten Schachrobotern
· Ingram Micro schließt Direktvertrag mit NetApp »