Superintelligenz verbieten wie Atomwaffen? Die Forderung hinter Control AI

Donnerstagabend in Ludwigsburg. Martin Berger, Geschäftsführer eines Maschinenbaubetriebs mit 85 Mitarbeitern, scrollt nach Feierabend durch die Nachrichten. Eine Schlagzeile bleibt hängen: Hunderte Prominente fordern einen Stopp der Entwicklung von KI-Superintelligenz. Auf der Unterschriftenliste stehen Steve Bannon und Prinz Harry. Zwei Namen, die sonst in keinem Satz gemeinsam vorkommen, ohne dass es Streit gibt.

Berger stutzt. Sein Betrieb hat gerade ein KI-Projekt gestartet, die Angebotserstellung soll automatisiert werden. Superintelligenz verbieten: Trifft so eine Forderung dann auch seine Software? Die kurze Antwort lautet nein. Die lange Antwort führt zu Connor Leahy, einem deutsch-amerikanischen KI-Forscher, und zu einer der ungewöhnlichsten politischen Koalitionen der Gegenwart.

Illegal, es überhaupt zu versuchen: die Atomwaffen-Logik hinter der Forderung

Superintelligenz verbieten heißt: Schon der Versuch, eine KI zu entwickeln, die Menschen in praktisch allen Bereichen übertrifft, soll gesetzlich untersagt sein. Vorbild ist das Atomwaffenrecht, das nicht erst die fertige Bombe verbietet, sondern bereits den Weg dorthin.

Connor Leahy, Mitgründer des Forschungskollektivs EleutherAI und heute US-Direktor der Organisation Control AI, bringt den Vergleich in einem aktuellen Interview auf den Punkt: Es ist illegal, auch nur zu versuchen, eine Atombombe zu bauen, völlig unabhängig davon, ob der Versuch gelingt. Exakt diese Logik fordert er für Superintelligenz.

Rechtlich ist der Gedanke weniger exotisch, als er klingt. Nach § 17 Kriegswaffenkontrollgesetz ist es in Deutschland verboten, Atomwaffen zu entwickeln, herzustellen oder mit ihnen zu handeln. Der Staat wartet nicht, bis ein Sprengkopf existiert. Er verbietet die Entwicklung selbst.

Warum ein Verbot am Versuch ansetzt

Bei Technologien mit katastrophalem Schadenspotenzial greift Regulierung vor dem Ergebnis, nicht danach. Ein Rückruf funktioniert bei fehlerhaften Autos, aber nicht bei einer Technologie, die sich der Kontrolle ihrer Entwickler entziehen könnte. Wer Superintelligenz für ein solches Risiko hält, landet folgerichtig bei einem Entwicklungsverbot statt bei nachträglichen Auflagen. Wo Superintelligenz auf der Entwicklungsskala liegt, ordnet unser Beitrag über die 4 Stufen der KI ein.

Superintelligenz verbieten, Anwendungs-KI ausbauen: was Control AI wirklich fordert

Control AI ist eine 2023 von Andrea Miotti gegründete Organisation, die ein internationales Verbot der Entwicklung künstlicher Superintelligenz fordert und die Entwicklung nützlicher KI-Anwendungen ausdrücklich unterstützt. Connor Leahy, früher CEO der KI-Sicherheitsfirma Conjecture, verantwortet seit März 2026 die US-Arbeit der Organisation.

Das inhaltliche Fundament liefert der Policy-Plan „A Narrow Path" aus dem Jahr 2024. Er beschreibt drei Phasen: Zuerst sollen nationale Gesetze und Aufsichtsbehörden die Entwicklung unkontrollierbarer Systeme für 20 Jahre unterbinden. Danach sollen internationale Institutionen ein stabiles Kontrollsystem aufbauen, das geopolitische Rivalitäten übersteht. Erst in der dritten Phase soll an transformativer KI unter nachweisbarer menschlicher Kontrolle gearbeitet werden.

Für Entscheider ist ein Punkt zentral: Das Ziel lautet nie „KI stoppen". Anwendungs-KI, wie sie heute in Unternehmen läuft, hält Leahy im Interview ausdrücklich für wichtig für die Wirtschaft. Verboten werden soll allein die Entwicklung von Systemen, die ihre eigenen Schöpfer nicht mehr steuern können.

Schiedsrichter spielen nicht mit: demokratische Kontrolle statt Selbstverpflichtung

Der zweite Kern der Forderung: Über die Grenzen der KI-Entwicklung sollen demokratisch legitimierte Institutionen entscheiden, nicht die Unternehmen, die am Ergebnis verdienen. Leahy verwendet dafür im Interview ein einfaches Bild: Ein Schiedsrichter, der im selben Spiel mitspielt, ist kein Schiedsrichter. Die heutige Selbstverpflichtung der KI-Labore entspreche genau dieser Doppelrolle.

International setzt Control AI auf gegenseitige Verifikation statt auf guten Willen. Staaten wie die USA, die EU-Mitglieder und China sollen sich in Abkommen wechselseitig kontrollieren, ähnlich wie bei Rüstungskontrollverträgen mit Inspektionsrechten. Niemand muss dem anderen glauben, jeder darf prüfen. So beschreibt es Leahy im Interview, und so skizziert es auch „A Narrow Path".

Dass solche Ideen politisch anschlussfähig sind, zeigt Großbritannien. Nach eigenen Angaben hat Control AI bis Anfang 2026 mehr als 150 Abgeordnete aller Parteien gebrieft. Im Dezember 2025 unterzeichneten über 100 Parlamentarier eine Erklärung, die verbindliche Regeln für die mächtigsten KI-Systeme fordert.

Von Steve Bannon bis Prinz Harry: eine Koalition, die es nicht geben dürfte

Am 22. Oktober 2025 veröffentlichte das Future of Life Institute das „Statement on Superintelligence": Die Entwicklung von Superintelligenz soll untersagt bleiben, bis ein breiter wissenschaftlicher Konsens über Sicherheit und Kontrollierbarkeit sowie ein starker gesellschaftlicher Rückhalt bestehen. Inzwischen zählt die Petition mehr als 70.000 Unterschriften.

Laut Tagesspiegel (2025) gehörten zu den über 700 Erstunterzeichnern der Physik-Nobelpreisträger Geoffrey Hinton, KI-Pionier Yoshua Bengio, Apple-Mitgründer Steve Wozniak, Unternehmer Richard Branson und der KI-Experte des Vatikans, Paolo Benanti. Daneben stehen der frühere Trump-Berater Steve Bannon sowie Prinz Harry und Meghan auf der Liste, wie auch science.ORF.at (2025) berichtet.

Leahy beschreibt im Interview seine Beobachtung, dass die Sorge vor unkontrollierbarer Superintelligenz Menschen von links bis rechts eint. Die Unterschriftenliste macht diese Einschätzung zumindest plausibel.

Wie viel Zeit bleibt? Die Prognosen gehen auseinander

OpenAI-Chef Sam Altman erklärte im September 2025, Superintelligenz könne innerhalb von fünf Jahren entstehen, wie der ORF-Bericht festhält. Der Interviewtitel „Wir haben noch 18 Monate" ist dagegen Leahys Zuspitzung, keine belegte Prognose. Belastbar lässt sich nur sagen: Die Labore selbst nennen kurze Zeiträume, und genau daraus bezieht die Verbotsforderung ihre Dringlichkeit.

Kann man Superintelligenz verbieten? Die Gegenargumente gehören auf den Tisch

Ein Verbot wirft zwei echte Probleme auf: Es gibt keine scharfe technische Grenze, ab der ein Modell als Superintelligenz gilt, und ein Verbot wirkt nur, wenn es weltweit durchgesetzt wird. Beide Einwände verdienen mehr als ein Schulterzucken.

Definitionsfrage und Durchsetzung

Wo endet leistungsfähige KI, wo beginnt Superintelligenz? Kritiker halten die Abgrenzung für kaum justiziabel, Befürworter arbeiten deshalb mit messbaren Hilfsgrößen wie Rechenleistung und Lizenzpflichten für die größten Trainingsläufe. Beide Positionen sind unter anderem in der Übersicht zur Verbotsdebatte (2026) dokumentiert.

Machtkonzentration und Open Source

Der zweite Einwand wiegt politisch schwerer: Strenge Regulierung könnte die Marktmacht weniger Großkonzerne zementieren, offene Forschung ausbremsen und Entwicklung in unregulierte Räume verlagern. Verbotsbefürworter antworten darauf, dass die Forderung bewusst nur das äußerste Ende der Skala betrifft und Anwendungs-KI samt Open-Source-Ökosystem unangetastet lässt. Die Debatte ist offen, und das ist bei einer so weitreichenden Forderung auch angemessen.

Was das Rennen der Frontier-Labore mit Ihrem Betrieb zu tun hat: weniger, als die Schlagzeilen suggerieren

Die Verbotsdebatte betrifft eine Handvoll Labore mit Milliardenbudgets, nicht die Automatisierung von Telefon, Posteingang oder Angebotserstellung im Mittelstand. Der EU AI Act der Europäischen Kommission verfolgt einen risikobasierten Ansatz: Die meisten betrieblichen KI-Anwendungen gelten als Systeme mit minimalem Risiko und bleiben ohne Sonderauflagen erlaubt. Superintelligenz verbieten heißt eben nicht, KI im Betrieb zu verbieten.

Zurück nach Ludwigsburg: Martin Bergers Angebots-KI hat mit alldem nichts zu tun. Sie erledigt eine begrenzte Aufgabe, arbeitet auf einer definierten Datenbasis, und jedes Angebot geht erst nach menschlicher Freigabe raus. Das ist das Gegenteil eines Systems, das sich der Kontrolle entzieht.

In unserer Praxis bei DigiRift sehen wir seit Jahren dasselbe Muster: Der Nutzen entsteht nicht durch maximale Autonomie, sondern durch enge Aufgabenzuschnitte mit menschlicher Aufsicht. Genau so bauen wir: DigiRift plant, entwickelt, integriert und betreibt jede Lösung als Full-Service-Partner, inklusive Mensch-im-Loop-Freigaben und EU-AI-Act-konformer Umsetzung. Welche Pflichten dabei gelten, fasst unser Beitrag zu den EU AI Act Pflichten 2026 zusammen, und wie Sie Risiken strukturiert angehen, zeigt KI-Risiken managen.

Die Debatte um Verbote und Abkommen wird sich in den kommenden Monaten weiter zuspitzen. Wer die Entwicklungen verfolgen will, ohne jeden Alarmruf einzeln bewerten zu müssen, findet die wichtigsten Einordnungen kompakt im KI-Newsletter von DigiRift.

Fazit: Die Warnung ernst nehmen, den eigenen Kurs halten

Die Forderung, Superintelligenz zu verbieten, folgt einer erprobten Logik: Wie bei Atomwaffen soll nicht das fertige System, sondern bereits dessen Entwicklung untersagt werden, abgesichert durch internationale Abkommen mit gegenseitiger Verifikation und demokratischer Aufsicht. Hinter der Idee steht eine Koalition von Nobelpreisträgern bis zu politischen Gegenpolen, und die Einwände zu Durchsetzung und Machtkonzentration bleiben ernst zu nehmen.

Für Ihren Betrieb gilt dabei eine beruhigende Trennung: Anwendungs-KI ist ausdrücklich nicht das Ziel dieser Verbotsforderung, weder bei Control AI noch im EU AI Act. Wer heute mit festen Grenzen und menschlicher Aufsicht automatisiert, bewegt sich regulatorisch auf sicherem Terrain und verschafft sich Vorsprung, während andere abwarten. Einen strukturierten Einstieg beschreibt unsere 90-Tage-Roadmap zur KI-Einführung.

Wenn Sie wissen wollen, wo Ihr Betrieb steht: In einem 30-minütigen Gespräch klären wir, welcher Prozess sich bei Ihnen zuerst rechnet, wie eine Mensch-im-Loop-Kontrolle konkret aussieht und was eine EU-AI-Act-konforme Umsetzung kostet. Nehmen Sie Kontakt zu DigiRift auf, den Rest übernehmen wir.

Quellen:

1. Future of Life Institute (2025): Statement on Superintelligence. superintelligence-statement.org
2. Tagesspiegel (2025): Hunderte Wissenschaftler, Politiker und Unternehmer fordern Stopp für KI-Superintelligenz. tagesspiegel.de
3. science.ORF.at (2025): Forderung nach Stopp von KI-Superintelligenz. science.orf.at
4. Control AI (2024): A Narrow Path. narrowpath.co
5. Bundesministerium der Justiz: § 17 Kriegswaffenkontrollgesetz. gesetze-im-internet.de
6. Europäische Kommission (2026): Regulatory framework on Artificial Intelligence (AI Act). digital-strategy.ec.europa.eu
7. Wikipedia (2026): Superintelligence ban. en.wikipedia.org