Man stelle sich eine künstliche Superintelligenz vor, die den simplen Auftrag hat, so viele Büroklammern wie möglich herzustellen. Die KI baut eine Fabrik nach der anderen, bis diese die gesamte Erdoberfläche bedecken, und steckt alle verfügbaren Ressourcen des Planeten in die Produktion der Klammern. Die Menschheit stirbt aus.

Dieses Gedankenexperiment, 2003 vom schwedischen Philosophen Nick Bostrom formuliert, veranschaulicht, dass eine KI nicht »böse« sein muss, um eine gewaltige, verheerende Katastrophe auszulösen. Es reicht, dass sie die Macht dazu hat und ihre menschlichen Erschaffer nicht genug Sicherheitsvorkehrungen getroffen haben.

Lesen Sie auch

Wie Sam Altmans KI ausbrach und eine Firma hackte

Ein außergewöhnlicher Vorfall bei einem Testlauf des ChatGPT-Entwicklers demonstriert drastisch das Risiko von KI-Cyberattacken. Dabei wollte die Software nur in einem Test schummeln

Preiskrieg zwischen Giganten

Sam Altmans OpenAI will den aggressiv wachsende Rivalen Anthropic der Geschwister Daniela und Dario Amodei auf Distanz halten

Ob Sam Altman wohl an den »Paperclip Maximizer« denken musste, als sein Unternehmen OpenAI die Kontrolle über sein neuestes Modell verlor? Mitte Juli brach »GPT-5.6 Sol« aus einer isolierten Trainingsumgebung aus, verschaffte sich Zugang zum Internet und hackte eigenständig die KI-Plattform »Hugging Face«. All das machte die KI, um besser bei einem Test abzuschneiden, mit dem die Fähigkeiten neuer Modelle überprüft werden.

»Sol« tat aus seiner Perspektive also nur das, wozu es beauftragt wurde. Aus Sicht von OpenAI ist der Vorfall dagegen ein Desaster – und für die Welt sollte er ein Weckruf sein.

Man kann nur hoffen, dass Washington und Peking nach dem GAU bei OpenAI einlenken.

Noch sind KI-Modelle nicht so leistungsfähig wie im Bostrom’schen Gedankenexperiment. Doch sie werden immer besser und ihre »Unfälle« immer folgenreicher. Erneut wird nun die Forderung laut, KI müsse stärker reguliert werden.

Die einzigen relevanten Adressaten dieses Anliegens – die Regierungen der USA und Chinas – machen derzeit jedoch wenig Anstalten, das Tempo ihrer KI-Entwickler zugunsten höherer Zuverlässigkeit der Modelle zu drosseln.

Man kann nur hoffen, dass Washington und Peking nach dem GAU bei OpenAI einlenken und verbindliche Abkommen schließen, die ihre Konkurrenz im KI-Bereich einhegen und die Sicherheit der Technologie priorisieren. Andernfalls wird es immer häufiger zu Vorfällen dieser Art kommen und irgendwann könnten selbst die düstersten Gedankenspiele zu realistischen Szenarien werden.

Der Autor ist freier Journalist und lebt in Berlin.