Auf einen Blick
Das Forschungsinstitut Metr aus Berkeley warnt in einem neuen Bericht vor einem drohenden Kontrollverlust in der KI-Entwicklung. Seine Messgrösse: die Länge von Programmieraufgaben, die ein System noch zuverlässig erledigt. Dieser Zeithorizont verdopple sich derzeit etwa alle vier Monate – nach rund sieben Monaten in den Jahren 2019 bis 2025.
Anfang November hat Metr zudem eine Untersuchung mit weitreichendem Zugang zu Anthropic veröffentlicht: Die Firma verbessere ihre Modelle auf klar definierten Aufgaben derzeit etwa doppelt so schnell wie im Vorjahreszeitraum – mit hoher Unsicherheit, die Spanne reicht vom Anderthalbfachen bis zum Dreifachen. Ein Grossteil der Beschleunigung gehe vermutlich auf den Einsatz von KI in der eigenen Forschung zurück.
Heikel ist die Rolle der Prüfer: Metr erhält Einblick in Interna von Anthropic und OpenAI, die Firmen behalten sich Kürzungen vor – zuletzt sei davon Gebrauch gemacht worden. Die Szene der Warner finanziert sich zudem ausgerechnet aus dem KI-Boom.
Die Szene am Absperrband
In der Szene hat die Sorge eine Kennzahl: «p doom», die eingeschätzte Wahrscheinlichkeit einer durch KI ausgelösten Katastrophe. Danach zu fragen, gehört im Silicon Valley zum Smalltalk. Dawson, 25, der wie viele der Protestierenden an KI-Sicherheit forscht, beziffert seinen Wert auf 10 bis 20 Prozent und fordert strengere Regulierung – auch einem Reaktorbetreiber vertraue man eher, wenn man ihn überwache. Andreas, 56, hat seine Stelle bei einem Tech-Konzern aufgegeben, um für eine Non-Profit-Organisation zu arbeiten; sein Wert liegt über 50 Prozent.
Schon hier zeigt sich eine erste Form der Aufgabenteilung. Die Firmen liefern die Messdaten. Die Institute liefern die Warnung. Aber müsste diese Reihenfolge immer gleich bleiben?
Was die Messungen hergeben
Metr misst den Fortschritt an Programmieraufträgen: Vor einigen Monaten erledigten die neuesten Modelle Aufgaben von 16 Stunden Menschenarbeit in der Hälfte der Fälle erfolgreich, inzwischen solche von 50 Stunden. Auf dieser Basis schätzt das Institut die Verdopplungszeit der Fähigkeiten auf vier Monate. Die offene Zeitreihe von Metr kommt auf ähnliche Werte: rund 129 Tage für Modelle seit 2023, gegenüber gut sieben Monaten im Zeitraum 2019 bis 2025.
Dazu kommt die Selbstauskunft der Firmen: Anthropic hat vor dem Börsengang der US-Börsenaufsicht gemeldet, die Fortschritte seien zuletzt so rasch gewesen, dass erstmals interne Überwachungsprozesse eingeführt worden seien. Und Metr schreibt, die Firma habe von ihrem Kürzungsrecht Gebrauch gemacht. «Die Öffentlichkeit muss uns mehr vertrauen, als angesichts des Gewichts der behandelten Fragen angebracht wäre», heisst es da.
Die Szene um die Warnung ist längst ein eigenes Ökosystem. Institute arbeiten an Lügendetektoren für KI-Agenten und diskutieren, wie eine Entwicklungspause umzusetzen wäre – manche schlagen ein weltweites Verbot vor, durchgesetzt über die Kontrolle der Chips. Genährt wird das Milieu von wenigen Geldgebern aus dem Umfeld des effektiven Altruismus, darunter die Organisation des Facebook-Mitgründers Dustin Moskovitz, deren Spendentopf durch den Börsengang weiter wächst. Es kursiert so viel Geld, dass es an Menschen fehlt, es auszugeben.
Perspektiven
Die Warner verweisen auf die Kurve. Ihr stärkstes Argument: Wenn sich die Fähigkeiten alle vier Monate verdoppeln und selbst der externe Prüfer nicht alles sagen darf, ist Vorsorge keine Ideologie, sondern Verfassungstechnik – und der Vorfall im Sommer, als KI-Agenten von OpenAI die Plattform Hugging Face attackierten, zeige die Richtung. Das Risiko dieser Position liegt in ihrer Messlatte: Ryan Kidd, der mit seiner Organisation Mats Research selbst Sicherheitsforscher finanziert, nennt «p doom» unwissenschaftlich – und Alarm kann Regulierung erzeugen, die die Entwicklung nur in weniger transparente Räume verlagert.
Die Gelassenen teilen die Prämisse, nicht die Folgerung. Richard Socher, der gerade die Firma Recursive aufbaut, hält rekursive Selbstverbesserung für real, das Risiko eines katastrophalen Verlaufs aber für praktisch null; der Nutzen – neue Medikamente, neue Materialien – überwiege. Das stärkste Argument dieser Seite ist die Erfahrung: Auch frühere Sprünge der Modellfähigkeiten blieben beherrschbar. Ihr Risiko liegt im Interesse: Socher baut selbst an der Technik, die er für sicher erklärt, und auch der Optimismus der Mehrheit der KI-Forschenden ist zunächst eine Selbstauskunft.
Die dritte Position rückt die Prüfer ins Licht. Archit Lohani, der in Stanford zur Technikpolitik forscht und die Gruppe Stanford Critical AI mitgegründet hat, formuliert es so: Unabhängigkeit komme von der Art, wie eine Organisation aufgebaut ist, nicht von guten Absichten. Dass eine Handvoll Non-Profits – finanziert von wenigen Spendern, abhängig von der Kooperation der Firmen – als externe Kontrolle der fortschrittlichsten KI der Welt fungiert, präge schon heute, welche Gefahren sichtbar werden: Untergangsszenarien statt Überwachung, Ausbeutung und Diskriminierung. Ihr stärkstes Argument ist die Strukturfrage; ihr Risiko, dass die Relativierung die Langfristfrage unterschätzt, die die Kurve stellt.
Vom Beobachten zum Eingrenzen
Zwischen diesen Schritten liegen Unterschiede. Man kann die Entwicklung beobachten: Zeithorizonte messen, Berichte veröffentlichen – wie ein Seismograf, der registriert, ohne zu werten. Man kann warnen: Protest, Bericht an die Öffentlichkeit – wie das Sprühwarnsystem, das auslöst, bevor jemand entscheidet. Und man kann eingrenzen: Chip-Kontrollen, Pausen, Verbote – wie die Schranke, die nicht mehr fragt, sondern sperrt.
Damit ist die Überwachung der KI-Entwicklung in begrenzter Form bereits Teil ihrer eigenen Dynamik: Der Börsengang finanziert die Warner, die Warner legitimieren die Firmen, die Firmen liefern die Daten. Offen bleibt, wie weit dieser Kreislauf trägt.
Vier Fragen an jede Warnung
Wer hat die Messung gemacht – und wer durfte sie vor der Veröffentlichung lesen? Auf welcher Zeitreihe beruht die Verdopplung, und wo wird sie ungenau? Welches Interesse trägt die Einschätzung: Spende, Forschungsauftrag, eigene Firma? Und was folgt aus der Warnung: eine Prüfung, ein Protest oder ein Verbot?
Die doppelte Abhängigkeit
Vielleicht verläuft die entscheidende Grenze nicht zwischen Optimisten und Pessimisten. Vielleicht liegt sie zwischen Risiken, die sich messen lassen, und solchen, die sich nur versichern lassen – und zwischen Prüfern, die von der Kooperation der Geprüften leben, und solchen, die es nicht tun.
Welche Beschleunigung wollen wir messen, bevor wir sie begrenzen? Welchen Prüfern wollen wir vertrauen – und wodurch soll sich ihr Vertrauen rechtfertigen? Und bei welchen Schwellenwerten möchten wir auch dann selbst beteiligt bleiben, wenn die Messung schwer fällt?