Sind wir „auf dem Wege“ zu transformativer KI? (Wie wüssten wir das?)

Dieser Beitrag wurde am 24. August 2021 von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.

In diesem und dem nächsten Beitrag werde ich über die Prognosemethoden sprechen, die meiner derzeitigen Einschätzung zugrunde liegen: Ich glaube, die Wahrscheinlichkeit, dass wir eine Entität sehen werden, die PASTA hinreichend ähnelt um als „transformative KI“ durchzugehen, liegt innerhalb der nächsten 15 Jahre (bis 2036) bei über 10 %; innerhalb von 40 Jahren (bis 2060) bei ~50 %; und innerhalb dieses Jahrhunderts (bis 2100) bei ~⅔.

Im Folgenden möchte ich:

• erklären, welche Art von Prognose ich anstrebe.
  • Ich bin mir nicht sicher, ob es sich im Vorhinein so anfühlen wird, als ob die transformative KI „auf dem Weg“ ist, das heißt lange bevor sie eintrifft. Ich hoffe stattdessen, dass wir die Trends bei den grundlegenden Fakten über die Welt (wie KI-Fähigkeiten, Modellgröße usw.) nutzen können, um eine qualitativ ungewohnte Zukunft vorherzusagen.
  • Eine Analogie zu dieser Art von Prognose wäre etwa: „Das Wasser sprudelt nicht und es gibt keine Anzeichen von Blasenbildung, aber die Temperatur ist von 21° Celsius auf 66° gestiegen, und wenn sie 100° erreicht, wird das Wasser sprudeln.“ Oder: „Das ist so, als würde man auf der Grundlage von Trends bei gemeldeten Infektionen Schulschließungen und überlastete Krankenhäuser vorhersagen, obwohl es noch gar keine Fälle gibt.“
• erörtern, ob wir Trends darin, wie „beeindruckend“ oder „leistungsfähig“ KI-Systeme sind, entdecken können. Dieser Ansatz ist meiner Ansicht nach unverlässlich: (a) KI-Fortschritt mag möglicherweise nicht in der Art und Weise „trenden“, die wir erwarten; (b) nach meiner Erfahrung haben verschiedene KI-Forschende radikal unterschiedliche Ansichten darüber, welche Systeme beeindruckend oder leistungsfähig sind und wie der Fortschritt vorangeht.
• kurz den Bericht von Grace et al. (2017) besprechen – die beste vorhandene Umfrage unter KI-Forschenden über Timelines von transformativer KI. Die Schlussfolgerungen scheinen im Großen und Ganzen mit meinen eigenen Prognosen übereinzustimmen, obwohl es Anzeichen dafür gibt, dass die befragten Forschenden nicht sehr gründlich über die Fragen nachgedacht haben.

Der nächste Beitrag in dieser Serie legt dann den Schwerpunkt auf Ajeya Cotras Aufsatz Prognose transformativer KI: eine kurze Erklärung der „Bio-Anker“-Methode (im Folgenden kurz „Bio-Anker“), die Prognose, die ich mit Blick auf transformative KI am informativsten finde.

Was für eine Art von Prognose strebe ich an?

Die Vorhersage von transformativer KI unterscheidet sich in mehrfacher Hinsicht von der Art der Vorhersage, die wir üblicherweise gewohnt sind.

Erstens mache ich Vorhersagen über sehr lange Zeiträume (Jahrzehnte), anders als z. B. eine Wettervorhersage (Tage) oder eine Wahlvorhersage (Monate). Das erschwert sowohl die Aufgabe selbst² als auch die Beurteilung durch Außenstehende, da ich keine eindeutig relevante Erfolgsbilanz bei der Erstellung von Prognosen zu ähnlichen Themen habe.

Zweitens fehlen mir reichhaltige, eindeutig relevante Datenquellen und ich kann nicht auf einen Haufen ähnlicher vergangener Prognosen zurückblicken. Die FiveThirtyEight-Wahl-Prognosen werten Hunderte von Umfragen aus und haben ein retrospektives Modell um die Qualität der Wahlvorhersagen zu beurteilen. Die Vorhersage von transformativer KI muss sich mehr auf Intuition, Vermutungen und Urteilsvermögen stützen, wenn es darum geht, welche Daten am relevantesten sind und in welcher Hinsicht.

Schließlich versuche ich, eine qualitativ ungewohnte Zukunft zu prognostizieren. Transformative KI – und die seltsame Zukunft, die sie mit sich bringt – fühlen sich nicht wie etwas an, worauf wir von Jahr zu Jahr „zusteuern“.

• Wenn ich vorhersagen wollte, wann die Weltbevölkerung 10 Milliarden erreichen wird, könnte ich einfach bestehende Trends der Weltbevölkerung extrapolieren. Die Weltbevölkerung selbst wächst bekanntlich und kann direkt geschätzt werden. Meiner Meinung nach ist die Extrapolation eines langfristigen Trends eine der besseren Möglichkeiten, eine Prognose zu erstellen.
• Wenn FiveThirtyEight Wahlprognosen erstellt, geht man davon aus, dass zu einem bestimmten Datum eine Wahl stattfindet und der Sieger zu einem späteren Zeitpunkt sein Amt antritt. Wir alle glauben an dieses Grundgerüst und es herrscht allgemeines Einvernehmen darüber, dass bessere Umfragen auch bessere Gewinnchancen bedeuten.
• Im Gegensatz dazu ist die transformative KI – und die seltsame Zukunft, die sie mit sich bringt – nicht etwas, worauf wir in klar messbarer Weise „zusteuern“. Es gibt keine eindeutige Kennzahl wie „Transformativität der KI“ oder „Verrücktheit der Welt“, die regelmäßig jedes Jahr ansteigt, so dass wir sie in die Zukunft projizieren können und das Datum erhalten, an dem etwas wie PASTA entwickelt werden wird.

Vielleicht sind diese Punkte für einige Grund genug, die Möglichkeit einer transformativen KI ganz zu ignorieren oder davon auszugehen, dass sie in weiter Ferne liegt. Ich halte dies aus mehreren Gründen für keine gute Idee.

Erstens gehe ich davon aus, dass etwas wie PASTA in gewissem Sinne „unvermeidlich“ ist, vorausgesetzt, die Gesellschaft und die Informatik entwickeln sich weiter. Der Grundgedanke ist hier – und das könnte ich eingehender erörtern, wenn Interesse daran besteht – dass menschliche Gehirne zahlreich sind und zu ihrer Herstellung offenbar keine besonders seltenen Materialien benötigt werden, so dass es irgendwann möglich sein sollte, die wichtigsten ihrer Funktionen synthetisch nachzubilden.³

Gleichzeitig bin ich skeptisch, ob PASTA sich qualitativ so anfühlen wird, als sei es „auf dem Weg“, lange bevor es ankommt. (mehr dazu s. unten). Daher bin ich geneigt, nach Möglichkeiten zu suchen, um abzuschätzen, wann wir diese Entwicklung erwarten können, trotz der Herausforderungen und trotz der Tatsache, dass es sich heute nicht so anfühlt, als ob kurz bevorstehe.

Ich denke, es gibt viele Beispiele dafür, dass man eine qualitativ ungewohnte Zukunft im Voraus erkennen kann, indem man den Trend einiger zugrundeliegender, verwandter Fakten über die Welt aufzeichnet. Hier einige, die mir spontan einfallen:

• Als COVID-19 zum ersten Mal auftauchte, hatten viele Leute Schwierigkeiten, es ernst zu nehmen, weil es nicht so aussah, als ob wir auf eine Welt voller überfüllter Krankenhäuser, Büro- und Schulschließungen usw. „zusteuern“ würden. Zu diesem Zeitpunkt (z. B. im Januar 2020) gab es nur eine relativ geringe Zahl von Fällen, eine noch geringere Zahl von Todesfällen und kein qualitatives Gefühl eines globalen Notstands. Das einzig Beunruhigende an COVID-19 war zunächst, dass die Zahl der Fälle exponentiell anstieg (obwohl die Gesamtzahl immer noch gering war). Aber es war möglich, aus dem schnellen Anstieg der Fallzahlen auf das Risiko eines globalen Notfalls zu schließen — ein Schritt, den manche Leute machten (und andere nicht).  
• Klimaforschende prognostizieren einen globalen Temperaturanstieg, der deutlich über das hinausgeht, was wir in den letzten Jahrzehnten erlebt haben, und der weit über das hinausgehen könnte, was wir heute erleben. Sie tun dies, indem sie Trends bei den Treibhausgasemissionen vorhersagen und von diesen auf die Temperatur und die Folgen extrapolieren. Wenn Sie sich einfach fragen würden: „Wie schnell steigt die Temperatur?“ oder „Werden die Wirbelstürme schlimmer?“, und alle Vorhersagen für die Zukunft auf diese Fragen stützen würden, würden Sie wahrscheinlich nicht die gleichen Arten von Extremereignissen für das Jahr 2100 vorhersagen.⁴
• Um ein langfristigeres Beispiel zu geben, können wir ein Datum vorhersagen, an dem die Sonne ausbrennt, und zu dem Schluss kommen, dass die Welt zu diesem Zeitpunkt ganz anders aussehen wird als heute, auch wenn es noch keinen Trend zu größerer Kälte oder Dunkelheit gibt.

Eine Analogie für diese Art der Vorhersage wäre etwa so: „Das Wasser sprudelt nicht und es gibt keine Anzeichen für Sprudeln, aber die Temperatur ist von 21° Celsius auf 66° gestiegen, und wenn sie 100° erreicht, wird das Wasser sprudeln.“

Im Idealfall kann ich einige grundlegende Faktoren finden, die sich regelmäßig genug ändern, damit wir sie vorhersagen können (etwa Wachstum in Umfang und Kosten von KI-Modellen). Dann können wir argumentieren, dass, wenn diese Faktoren einen gewissen Grad erreichen, die Chance auf transformative KI hoch ist.

Man kann sich diesen Ansatz als Antwort auf die folgende Frage vorstellen: „Wenn ich glaube, dass so etwas wie PASTA unvermeidlich ist, und ich versuche, den Zeitpunkt seiner Entwicklung mithilfe verschiedener Analysemethoden zu schätzen, was schätze ich dann?“ Wir können gesondert fragen: „Und gibt es Gründe dafür, dass diese Vermutung unplausibel, unglaubwürdig oder zu ,wild‘ ist?“ – diese Fragen wurden im vorigen Beitrag in dieser Serie behandelt.

Subjektive Extrapolationen und „die Eindrücklichkeit von KI“

Für eine andere Darstellung ähnlicher Inhalte siehe diesen Abschnitt von Bio-Anker.

Sehen wir uns einige grundlegende Faktoren in der Welt an, die vorhersagen, wann eine transformative KI kommen wird, sollten wir vielleicht als Erstes nach Trends suchen, wie „beeindruckend“ oder „leistungsfähig“ KI-Systeme sind.

Am einfachsten wäre es, wenn sich die Welt zufällig folgendermaßen entwickeln würde:

• Eines Tages schaffte es ein KI-System zum ersten Mal, eine Naturwissenschaftsprüfung für Viertklässler zu bestehen.
• Dann sahen wir, wie die erste KI eine Prüfung der 5. Klasse bestand (und dann auch noch mit Bravour), dann eine Prüfung der 6. Klasse usw.
• Dann sahen wir die erste KI, die einen Doktortitel erwarb, dann die erste KI, die eine Publikation schrieb usw. bis hin zur ersten KI, die eine Nobelpreis-würdige wissenschaftliche Arbeit leisten konnte.
• All das hat sich regelmäßig über die Jahrzehnte verteilt, so dass wir deutlich sehen konnten, wie sich der Stand der Technik von der 4. über die 5. und 6. Klasse bis hin zum Postdoktoranden und darüber hinaus entwickelte. Und all dies geschah langsam und regelmäßig genug, dass wir das Datum der „voll entwickelten wissenschaftlichen KI“ schon mehrere Jahrzehnte im Voraus festlegen können.

Es wäre sehr bequem – ich möchte fast sagen „zuvorkommend“ –, wenn sich KI-Systeme auf diese Weise weiterentwickeln würden. Es wäre auch „zuvorkommend“, wenn sich die KI in der Weise weiterentwickeln würde, die so manche Leute spontan vor Augen haben: zunächst übernimmt sie Berufe wie „Lkw-Fahrerin“ und „Fließbandarbeiter“, dann Berufe wie „Lehrerin“ und „IT-Support“, dann Berufe wie „Ärztin“ und „Rechtsanwalt“, bevor sie zu „Wissenschaftler:innen“ aufsteigen.

Beides würde uns viel Vorlaufzeit verschaffen und eine solide Grundlage für die Prognose liefern, wann die Wissenschaft-automatisierende KI kommen wird. Leider glaube ich nicht, dass wir mit einem solchen Szenario rechnen können.

• KI scheint sich völlig anders zu entwickeln als der Mensch. So gab es beispielsweise übermenschliche Schach-KI⁵ lange bevor es eine KI gab, die zuverlässig Bilder von Hunden und Katzen unterscheiden konnte.⁶
• Eine Möglichkeit ist, dass KI-Systeme in der Lage sein werden, die schwierigsten intellektuellen Aufgaben zu bewältigen, die Insekten erledigen können, dann die schwierigsten Aufgaben, die Mäuse und andere kleine Säugetiere erledigen können, dann Affen, dann Menschen – und damit die Fähigkeiten von immer größeren Gehirnen erreichen. Wenn dies der Fall wäre, würden wir nicht unbedingt viele Anzeichen dafür sehen, dass KI in der Lage ist, z.B. Naturwissenschaften zu betreiben, bis wir sehr nah dran sind. Einem Viertklässler gerecht zu werden, würde vielleicht erst ganz am Ende passieren.
• Eine andere Möglichkeit ist, dass KI-Systeme in der Lage sein werden, alles zu tun, was ein Mensch innerhalb von einer Sekunde tun kann, dann alles, was ein Mensch innerhalb von zehn Sekunden tun kann, usw. Dies könnte außerdem eine ziemlich verwirrende Entwicklung sein, die es nicht offensichtlich macht, wie man den Fortschritt vorhersagen kann.

Wenn wir nicht bereits wüssten, wie Menschen reifen, könnten wir die Entwicklung eines Kindes ziemlich verwirrend und schwer zu extrapolieren finden. Wenn man jemanden von der Geburt bis zum Alter von 8 Jahren beobachtet, kann man nicht unbedingt davon ausgehen, dass sie, sagen wir, zu 1/3 in der Lage ist, ein Unternehmen zu gründen, eine wichtige wissenschaftliche Entdeckung zu machen usw. (Selbst wenn man den üblichen Verlauf der menschlichen Entwicklung kennt, ist es schwer, aus der Beobachtung einer Achtjährigen zu schließen, welche beruflichen Fähigkeiten sie im Erwachsenenalter haben könnte/wird.)

Insgesamt ist es ziemlich unklar, wie wir im Falle von KI über das Spektrum von „nicht beeindruckend/leistungsstark“ bis „sehr beeindruckend/leistungsstark“ nachdenken sollten. Und in der Tat haben meiner Erfahrung nach verschiedene KI-Forschende radikal unterschiedliche Vorstellungen davon, welche Systeme beeindruckend oder fähig sind und wie der Fortschritt verläuft. Ich habe schon oft erlebt, dass ein KI-Forscher auf ein neues Ergebnis hingewiesen wurden und gesagt haben:

„Das ist großartig, wie kann man nicht sehen, wie nah wir an einer leistungsstarken KI dran sind?“, während eine andere sagt: „Das ist ein kleiner Fortschritt von geringer Bedeutung“.⁷

Es wäre großartig, wenn wir das Jahr vorhersagen könnten, in dem transformative KI entwickelt wird, indem wir ein Diagramm wie dieses verwenden (aus Bio-Anker); „TAI“ bedeutet „transformative KI“):

Aber soweit ich das beurteilen kann, gibt es keine Möglichkeit, die Y-Achse zu definieren, die unter Expert:innen nicht heftig umstritten wäre.

Expert:innen befragen

Eine Möglichkeit, mit dieser Unsicherheit und Verwirrung umzugehen, bestünde darin, eine große Anzahl von Expert:innen zu interviewen und sie einfach zu fragen, wann sie mit der Entwicklung einer transformativen KI rechnen. Wir können hoffen, dass die Expert:innen (oder zumindest viele von ihnen) jeweils ihre eigene Version der obigen „Extrapolation der Eindrücklichkeit“ durchführen – oder wenn nicht, dass sie etwas anderes tun, was ihnen helfen kann, eine vernünftige Schätzung zu erhalten. Wenn wir den Durchschnitt vieler Schätzungen bilden, erhalten wir möglicherweise ein Aggregat, das die „Weisheit der Massen“ widerspiegelt.⁸

Die beste Version dieser Übung ist meiner Meinung nach Grace et al 2017, eine Befragung von 352 KI-Forschenden, worin eine Frage enthalten war zu: „Wenn Maschinen ohne fremde Hilfe jede Aufgabe besser und billiger erledigen können als menschliche Arbeitskräfte“ (wozu vermutlich auch Aufgaben gehören, welche die wissenschaftliche und technologische Entwicklung vorantreiben und sich daher als PASTA qualifizieren). Die zwei großen Erkenntnisse aus dieser Studie sind, wie der Bericht Bio-Anker und ich meinen:

• Eine ~20%-ige Wahrscheinlichkeit für diese Art von KI bis 2036; eine ~50%-ige Wahrscheinlichkeit bis 2060; eine ~70%-ige Wahrscheinlichkeit bis 2100. Dies entspricht den Zahlen, die ich in der Einleitung nenne.
• Viel spätere Schätzungen für leicht anders formulierte Fragen (die einer kleineren Gruppe von Befragten gestellt wurden), was (für mich) darauf hindeutet, dass die Forschenden einfach nicht sehr genau über die Fragen nachgedacht haben.⁹

Mein Fazit: Diese Beweise stimmen mit meinen derzeitigen Wahrscheinlichkeiten überein, obwohl sie möglicherweise nicht sehr informativ sind. Der nächste Beitrag in dieser Serie legt dann den Schwerpunkt ganz auf  Ajeya Cotras „Prognose transformativer KI mit der Bio-Anker-Methode“, der Vorhersagemethode, die ich hier am informativsten finde.

---

Fußnoten

1. Natürlich könnte die Antwort lauten „eine Fantastilliarde Jahre in der Zukunft" oder „nie". ↩︎
2. Ein paar Notizen zu Prognosen über längere Zeiträume sind hier zu finden. ↩︎
3. Siehe auch diesen Beitrag für eine etwas ausführlichere Argumentation in dieser Richtung, der ich nicht in vollem Umfang zustimme (ich glaube nicht, dass sie ein starkes Argument für eine baldige transformative KI darstellt), die aber meiner Meinung nach ein gutes Gefühl für meine Intuitionen hinsichtlich der prinzipiellen Machbarkeit vermittelt. Siehe auch On the Impossibility of Supersized Machines für einige implizite (scherzhafte) Antworten auf viele gängige Argumente, warum es unmöglich sein könnte, transformative KI zu entwickeln. ↩︎
4. Sieh dir zum Beispiel das Temperaturdiagramm hier an - die unterste Linie scheint eine vernünftige Projektion zu sein, wenn die Temperatur das Einzige wäre, was man betrachtet. ↩︎
5.  1997. ↩︎
6. The Kaggle "dogs vs. cats" challenge wurde 2013 ins Leben gerufen. ↩︎
7. Von Bio-Anker: "Wir haben ML-Expert:innen mit relativen kurzen Fristen argumentieren hören, dass KI-Systeme heute im Wesentlichen so gut sehen können wie Menschen, schriftliche Informationen verstehen und Menschen in fast allen Strategiespielen schlagen können, und die Palette der Dinge, die sie tun können, wächst schnell, was sie zu der Erwartung veranlasst, dass transformative KI in den nächsten zehn oder zwei Jahren durch das Training größerer Modelle auf eine breitere Verteilung von ML-Problemen, die mehr auf die Schaffung von wirtschaftlichem Wert ausgerichtet sind, erreichbar sein wird. Umgekehrt haben wir von ML-Expert:innen mit relativ langen Laufzeiten gehört, dass ML-Systeme viel mehr Daten zum Lernen benötigen als Menschen, dass sie nicht in der Lage sind, das, was sie in einem Kontext lernen, auf einen etwas anderen Kontext zu übertragen, und dass sie nicht zu strukturierten logischen und kausalen Schlussfolgerungen fähig zu sein scheinen; dies veranlasst sie zu der Annahme, dass wir mehrere große Durchbrüche brauchen, um TAI zu entwickeln. Mindestens ein technischer Berater von Open Philanthropy hat jede dieser Perspektiven vertreten." ↩︎
8. Wikipedia (ins Deutsche übersetzt): „Die klassische Weisheit der Massen ... Auf einer Landmesse in Plymouth im Jahr 1906 nahmen 800 Personen an einem Wettbewerb teil, bei dem das Gewicht eines geschlachteten und zugerichteten Ochsen geschätzt werden sollte. Der Statistiker Francis Galton stellte fest, dass der Mittelwert der Schätzungen, 1207 Pfund, bis auf 1 % genau auf das wahre Gewicht von 1198 Pfund zutraf." ↩︎
9. Bio-Anker: 
   
   *Einige Forschende wurden gebeten, "HLMI" gemäß der obigen Definition vorherzusagen [High-Level Machine Intelligence, worunter ich so etwas wie PASTA verstehen würde], während eine zufällig ausgewählte Untergruppe stattdessen gebeten wurde, die „vollständige Automatisierung der Arbeit" vorherzusagen, also den Zeitpunkt, zu dem „alle Berufe vollständig automatisierbar sind". Trotz der Tatsache, dass das Erreichen von HLMI anscheinend schnell zu einer vollständigen Automatisierung der Arbeit führen sollte, lag der Median der Schätzung für die vollständige Automatisierung der Arbeit bei ~2138, während der Median der Schätzung für HLMI bei ~2061 lag, also fast 80 Jahre früher.
   *Eine zufällige Untergruppe der Befragten wurde gebeten, zu prognostizieren, wann einzelne Meilensteine (z. B. Wäschefalten, StarCraft auf menschlichem Niveau oder Mathematikforschung auf menschlichem Niveau) erreicht sein würden. Der Median des Jahres, in dem die Befragten erwarteten, dass Maschinen die KI-Forschung automatisieren könnten, lag bei ~2104, während der Median der Schätzung für HLMI bei ~2061 lag - eine weitere klare Unstimmigkeit, da „KI-Forschung" eine Aufgabe ist, die von menschlichen Arbeitskräften erledigt wird. ↩︎