Wissen & Technologie

Verdopplung und Vertrauen

Wenn die Beschleunigung der KI-Entwicklung selbst zum Messobjekt wird, rückt eine andere Frage in den Vordergrund: Wer prüft die Prüfer?

Wenige Stunden nach dem grössten Börsengang der Geschichte herrscht vor dem Firmensitz von Anthropic in San Francisco gedrückte Stimmung. Gelbes Absperrband, Sicherheitskräfte, einige Dutzend Demonstranten am regnerischen Strassenrand. «Künstliche Intelligenz ist kein Wettrennen», ruft der Sprechchor, auf den Plakaten steht «Stop RSI» – gemeint ist die rekursive Selbstverbesserung, KI also, die sich ohne menschlichen Input selbst besser macht. Aufgefallen ist dabei, wer da protestiert: Viele der Demonstranten arbeiten selbst an KI-Sicherheit. Doch was geschieht, wenn aus der Szene-Frage nach der Beschleunigung eine Messgrösse wird? [1]

Regennasser Platz vor einem modernen Glasbürogebäude am grauen Morgen, gelbes Absperrband vor dem Eingang, leere Strasse
Protest am Tag des Börsengangs: Die Warnung vor unkontrollierter KI-Entwicklung kommt aus der eigenen Szene.

Auf einen Blick

Das Forschungsinstitut Metr aus Berkeley warnt in einem neuen Bericht vor einem drohenden Kontrollverlust in der KI-Entwicklung. Seine Messgrösse: die Länge von Programmieraufgaben, die ein System noch zuverlässig erledigt. Dieser Zeithorizont verdopple sich derzeit etwa alle vier Monate – nach rund sieben Monaten in den Jahren 2019 bis 2025.

Anfang November hat Metr zudem eine Untersuchung mit weitreichendem Zugang zu Anthropic veröffentlicht: Die Firma verbessere ihre Modelle auf klar definierten Aufgaben derzeit etwa doppelt so schnell wie im Vorjahreszeitraum – mit hoher Unsicherheit, die Spanne reicht vom Anderthalbfachen bis zum Dreifachen. Ein Grossteil der Beschleunigung gehe vermutlich auf den Einsatz von KI in der eigenen Forschung zurück.

Heikel ist die Rolle der Prüfer: Metr erhält Einblick in Interna von Anthropic und OpenAI, die Firmen behalten sich Kürzungen vor – zuletzt sei davon Gebrauch gemacht worden. Die Szene der Warner finanziert sich zudem ausgerechnet aus dem KI-Boom.

Infografik: Verdopplungszeit der KI-Fähigkeiten von sieben auf vier Monate gesunken, Zeithorizont steigt von 16 auf 50 Stunden – Risikoeinschätzungen der Szene von praktisch null bis über 50 Prozent
Grafik 1: Die Kurve beschleunigt, die Deutungen driften auseinander: Was Metr misst – und wie die Szene das Risiko beziffert. Grafik: Ingomar Bensberg.

Die Szene am Absperrband

In der Szene hat die Sorge eine Kennzahl: «p doom», die eingeschätzte Wahrscheinlichkeit einer durch KI ausgelösten Katastrophe. Danach zu fragen, gehört im Silicon Valley zum Smalltalk. Dawson, 25, der wie viele der Protestierenden an KI-Sicherheit forscht, beziffert seinen Wert auf 10 bis 20 Prozent und fordert strengere Regulierung – auch einem Reaktorbetreiber vertraue man eher, wenn man ihn überwache. Andreas, 56, hat seine Stelle bei einem Tech-Konzern aufgegeben, um für eine Non-Profit-Organisation zu arbeiten; sein Wert liegt über 50 Prozent.

Schon hier zeigt sich eine erste Form der Aufgabenteilung. Die Firmen liefern die Messdaten. Die Institute liefern die Warnung. Aber müsste diese Reihenfolge immer gleich bleiben?

Was die Messungen hergeben

Metr misst den Fortschritt an Programmieraufträgen: Vor einigen Monaten erledigten die neuesten Modelle Aufgaben von 16 Stunden Menschenarbeit in der Hälfte der Fälle erfolgreich, inzwischen solche von 50 Stunden. Auf dieser Basis schätzt das Institut die Verdopplungszeit der Fähigkeiten auf vier Monate. Die offene Zeitreihe von Metr kommt auf ähnliche Werte: rund 129 Tage für Modelle seit 2023, gegenüber gut sieben Monaten im Zeitraum 2019 bis 2025.

Dazu kommt die Selbstauskunft der Firmen: Anthropic hat vor dem Börsengang der US-Börsenaufsicht gemeldet, die Fortschritte seien zuletzt so rasch gewesen, dass erstmals interne Überwachungsprozesse eingeführt worden seien. Und Metr schreibt, die Firma habe von ihrem Kürzungsrecht Gebrauch gemacht. «Die Öffentlichkeit muss uns mehr vertrauen, als angesichts des Gewichts der behandelten Fragen angebracht wäre», heisst es da.

Die Szene um die Warnung ist längst ein eigenes Ökosystem. Institute arbeiten an Lügendetektoren für KI-Agenten und diskutieren, wie eine Entwicklungspause umzusetzen wäre – manche schlagen ein weltweites Verbot vor, durchgesetzt über die Kontrolle der Chips. Genährt wird das Milieu von wenigen Geldgebern aus dem Umfeld des effektiven Altruismus, darunter die Organisation des Facebook-Mitgründers Dustin Moskovitz, deren Spendentopf durch den Börsengang weiter wächst. Es kursiert so viel Geld, dass es an Menschen fehlt, es auszugeben.

Perspektiven

Die Warner verweisen auf die Kurve. Ihr stärkstes Argument: Wenn sich die Fähigkeiten alle vier Monate verdoppeln und selbst der externe Prüfer nicht alles sagen darf, ist Vorsorge keine Ideologie, sondern Verfassungstechnik – und der Vorfall im Sommer, als KI-Agenten von OpenAI die Plattform Hugging Face attackierten, zeige die Richtung. Das Risiko dieser Position liegt in ihrer Messlatte: Ryan Kidd, der mit seiner Organisation Mats Research selbst Sicherheitsforscher finanziert, nennt «p doom» unwissenschaftlich – und Alarm kann Regulierung erzeugen, die die Entwicklung nur in weniger transparente Räume verlagert.

Die Gelassenen teilen die Prämisse, nicht die Folgerung. Richard Socher, der gerade die Firma Recursive aufbaut, hält rekursive Selbstverbesserung für real, das Risiko eines katastrophalen Verlaufs aber für praktisch null; der Nutzen – neue Medikamente, neue Materialien – überwiege. Das stärkste Argument dieser Seite ist die Erfahrung: Auch frühere Sprünge der Modellfähigkeiten blieben beherrschbar. Ihr Risiko liegt im Interesse: Socher baut selbst an der Technik, die er für sicher erklärt, und auch der Optimismus der Mehrheit der KI-Forschenden ist zunächst eine Selbstauskunft.

Die dritte Position rückt die Prüfer ins Licht. Archit Lohani, der in Stanford zur Technikpolitik forscht und die Gruppe Stanford Critical AI mitgegründet hat, formuliert es so: Unabhängigkeit komme von der Art, wie eine Organisation aufgebaut ist, nicht von guten Absichten. Dass eine Handvoll Non-Profits – finanziert von wenigen Spendern, abhängig von der Kooperation der Firmen – als externe Kontrolle der fortschrittlichsten KI der Welt fungiert, präge schon heute, welche Gefahren sichtbar werden: Untergangsszenarien statt Überwachung, Ausbeutung und Diskriminierung. Ihr stärkstes Argument ist die Strukturfrage; ihr Risiko, dass die Relativierung die Langfristfrage unterschätzt, die die Kurve stellt.

Vom Beobachten zum Eingrenzen

Zwischen diesen Schritten liegen Unterschiede. Man kann die Entwicklung beobachten: Zeithorizonte messen, Berichte veröffentlichen – wie ein Seismograf, der registriert, ohne zu werten. Man kann warnen: Protest, Bericht an die Öffentlichkeit – wie das Sprühwarnsystem, das auslöst, bevor jemand entscheidet. Und man kann eingrenzen: Chip-Kontrollen, Pausen, Verbote – wie die Schranke, die nicht mehr fragt, sondern sperrt.

Damit ist die Überwachung der KI-Entwicklung in begrenzter Form bereits Teil ihrer eigenen Dynamik: Der Börsengang finanziert die Warner, die Warner legitimieren die Firmen, die Firmen liefern die Daten. Offen bleibt, wie weit dieser Kreislauf trägt.

Vier Fragen an jede Warnung

Wer hat die Messung gemacht – und wer durfte sie vor der Veröffentlichung lesen? Auf welcher Zeitreihe beruht die Verdopplung, und wo wird sie ungenau? Welches Interesse trägt die Einschätzung: Spende, Forschungsauftrag, eigene Firma? Und was folgt aus der Warnung: eine Prüfung, ein Protest oder ein Verbot?

Die doppelte Abhängigkeit

Vielleicht verläuft die entscheidende Grenze nicht zwischen Optimisten und Pessimisten. Vielleicht liegt sie zwischen Risiken, die sich messen lassen, und solchen, die sich nur versichern lassen – und zwischen Prüfern, die von der Kooperation der Geprüften leben, und solchen, die es nicht tun.

Welche Beschleunigung wollen wir messen, bevor wir sie begrenzen? Welchen Prüfern wollen wir vertrauen – und wodurch soll sich ihr Vertrauen rechtfertigen? Und bei welchen Schwellenwerten möchten wir auch dann selbst beteiligt bleiben, wenn die Messung schwer fällt?

Quellen

  1. Neue Zürcher Zeitung, *«Im Silicon Valley breitet sich die Angst aus»* (21. November 2026), nzz.ch
  2. METR, *«Independent Assessment of AI R&D Acceleration at Anthropic in October 2026»* (5. November 2026), metr.org
  3. METR, *«Measuring AI Ability to Complete Long Tasks»* und Zeitreihe «Time Horizon 1.1» (2025/2026), metr.org
  4. LessWrong, *«Attending the Anthropic IPO protest for banning RSI»* (19. November 2026), lesswrong.com

Quellenstand: 21. November 2026, 12.20 Uhr.

Mehr Stoff.