Prognose transformativer KI: eine kurze Erklärung der „Bio-Anker“-Methode 

Dieser Beitrag wurde am 31. August 2021 von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.

 

---

 

Dieser Beitrag ist eine für Laien geeignete Zusammenfassung von Ajeya Cotras „Prognose transformativer KI mit der Bio-Anker-Methode“ (im Folgenden kurz „Bio-Anker“) und ihrer Pro- und Kontra-Argumente.² Es ist die Prognose für die Entwicklung transformativer KI, die ich am informativsten empfinde – mit einigen Vorbehalten:

• Dieser Ansatz ist relativ komplex und erfordert eine große Anzahl von Annahmen und unsicheren Schätzungen. Dies macht ihn relativ schwer zu erklären und spricht gegen die Zuverlässigkeit der Methode.
• Daher halte ich diese Methode zum jetzigen Zeitpunkt für weniger vertrauenswürdig als die zuvor genannten Beispiele für die Vorhersage einer qualitativ anderen Zukunft. Sie ist nicht so einfach und direkt wie einige dieser Ansätze, z. B. die Modellierung der COVID-19-Ausbreitung. Und während die Klimamodellierung ebenfalls sehr komplex ist, wurde sie über Jahrzehnte hinweg von zahlreichen Expert:innen bearbeitet, während die Bio-Anker-Methode noch sehr jung ist.

Nichtsdestotrotz halte ich die Bio-Anker-Methode für die derzeit beste verfügbare Möglichkeit zur Schätzung des Zeitrahmens für transformative KI. Und wie im letzten Abschnitt erläutert, kann man von vielen Details absehen und trotzdem erkennen, dass wir in diesem Jahrhundert wahrscheinlich einige der „extremeren“ Meilensteine des Berichts erreichen werden, die stark auf die Machbarkeit einer transformativen KI hindeuten. (Anm.: Für skeptische Leser:innen habe ich einen Folgebeitrag zu diesem Rahmenwerk verfasst. Siehe Bei der „Bio-Anker“-Methode geht es ums Eingrenzen und genaue Festlegen von KI-Timelines)

Der Grundgedanke ist folgender:

• Moderne KI-Modelle können durch einen (kostspieligen) Prozess, der als „Training“ bezeichnet wird, lernen, Aufgaben zu erledigen. Man kann sich das Training als einen durch jede Menge Versuch und Irrtum geprägten Prozess vorstellen. So erhalten KI-Modelle für  Spracherkennung eine Audiodatei von einer sprechenden Person, raten, was die Person sagt, und bekommen dann die richtige Antwort.  Indem sie das Millionen Mal tun, „lernen“ sie Gesprochenes verlässlich in Text umzuwandeln. Mehr dazu: Training.
• Je größer ein KI-Modell und je komplexer die Aufgabe, desto mehr kostet der Trainingsprozess. Manche KI-Modelle sind größer als andere; bis heute ist keines auch nur annähernd so groß wie das menschliche Gehirn (was dies bedeutet, wird weiter unten erläutert).  Mehr dazu: Modellgröße und Aufgabenart.
• Die Methode des biologischen Ankers stellt die Frage: „Wie viel würde es kosten, ein KI-Modell von der Größe eines menschlichen Gehirns zu trainieren, das in der Lage ist, die schwierigsten von Menschen bewältigten Aufgaben zu übernehmen? Und wann wird das so billig sein, dass jemand es realistischerweise macht?“  Mehr dazu: Kostenschätzung.

Bio-Anker modelliert eine breite Palette unterschiedlicher Herangehensweisen an diese Frage, wobei die Schätzungen in einem weiten Bereich von „aggressiv“ (transformativen KI kommt früher) bis „konservativ“ (transformative KI kommt später) liegen. Aber im Grunde genommen messen alle diese Sichtweisen der Entwicklung transformativer KI binnen dieses Jahrhunderts eine hohe Wahrscheinlichkeit bei.

Ich werde nun auf jeden dieser Punkte ein wenig näher eingehen. Dies ist der detailreichste Teil dieser Serie und einige Leute werden es vielleicht vorziehen, es bei der obigen Zusammenfassung zu belassen und zum nächsten Beitrag zu springen.

Man beachte, dass Bio-Anker eine Reihe verschiedener Ansätze (die der Bericht als „Anker“ bezeichnet) verwendet, um Zeitpläne für transformative KI abzuschätzen, und diese in einer Gesamtansicht kombiniert. In dieser Zusammenfassung konzentriere ich mich vor allem auf eine bestimmte Gruppe von Ankern – die sogenannten „neuronalen Netzanker“ – die den Großteil der aggregierten Zeitreihen des Berichts bestimmen. Einiges von dem, was ich sage, gilt für alle Anker, manches wiederum nur für die „neuronalen Netzanker“.

Training

Wie weiter oben erörtert, gibt es im Wesentlichen zwei Möglichkeiten, einem Computer „beizubringen“, eine Aufgabe  zu erledigen:

1. „Programmieren“ sehr spezifischer, schrittweiser Anweisungen für die Ausführung der Aufgabe. Wenn dies möglich ist, kann der Computer die Anweisungen im Allgemeinen sehr schnell, zuverlässig und kostengünstig ausführen. Man kann zum Beispiel einen Computer so programmieren, dass er jeden Datensatz in einer Datenbank untersucht und die Datensätze ausdruckt, die den durch eine Benutzerin eingegebenen Suchbegriffen entsprechen – man würde ihm genau sagen, wie er dies tun soll, und er wäre dann in der Lage, diese Aufgabe sehr gut zu erledigen.
2. Man „trainiert“ eine KI, um die Aufgabe durch Ausprobieren zu lösen. Die gängigste Methode, dies zu tun, ist die Verwendung eines „neuronalen Netzes“, das man sich wie ein „digitales Gehirn“ vorstellen kann, das in einem zufälligen Zustand startet: es ist noch nicht für bestimmte Funktionen „verdrahtet“ worden. Angenommen, wir wollen, dass eine KI in der Lage ist, zu sagen, ob ein Foto einen Hund oder eine Katze zeigt. In diesem Fall ist es schwierig, eine genaue Schritt-für-Schritt-Anleitung zu geben; stattdessen können wir ein neuronales Netz nehmen und eine Million Beispielbilder (jedes mit der Bezeichnung „Hund“ oder „Katze“) einspeisen. Immer wenn die KI ein Beispiel sieht, wird sie ihre interne Verdrahtung so verändern, dass sie in ähnlichen, zukünftigen Fällen mit größerer Wahrscheinlichkeit die richtige Antwort erhält. Nach genügend Beispielen wird das neuronale Netz so verdrahtet sein, dass es Hunde und Katzen richtig erkennt.

(Möglicherweise können wir eine noch höhere Metaebene bespielen und versuchen, Modelle so zu „trainieren“, dass sie so effizient wie möglich aus dem „Training“ selbst lernen können. Das nennt man „Meta-Lernen“, aber soviel ich weiß, war dieser Ansatz bisher nicht sehr erfolgreich.)

„Training“ ist eine Art rohe Gewalt, eine teure Alternative zum „Programmieren“. Der Vorteil ist, dass wir nicht in der Lage sein müssen, spezifische Anweisungen zu geben – wir können einer KI einfach viele Beispiele für die richtige Ausführung einer Aufgabe geben und sie wird lernen, die Aufgabe zu erledigen. Der Nachteil ist, dass wir viele Beispiele brauchen, was viel Rechenleistung erfordert, die Geld kostet.

Wie viele? Das hängt von der Größe des Modells (neuronalen Netzes) und der Art der Aufgabe selbst ab. Für einige Aufgaben, die KIs ab 2021 gelernt haben, könnte das Training eines einzigen Modells Millionen von Dollar kosten. Bei komplexeren Aufgaben (wie etwa „innovative wissenschaftliche Forschung betreiben“) und größeren Modellen (welche die Größe des menschlichen Gehirns erreichen) würde das Training eines Modells noch viel mehr kosten.

Bio-Anker ist an der Frage interessiert: „Wann wird es erschwinglich sein, ein Modell mit einem relativ groben, auf Versuch und Irrtum basierenden Ansatz so zu trainieren, dass es die schwierigsten menschlichen Aufgaben bewältigen kann?“

Zu diesen Aufgaben könnten solche gehören, wie sie für PASTA nötig sind, etwa:

• Lerne über Wissenschaft von Lehrer:innen, Lehrbüchern und Hausaufgaben, und zwar so effektiv wie Menschen es tun würden.
• Bringe die Wissenschaft voran, indem du Fragen stellst, Analysen durchführst und Abhandlungen verfasst, und zwar so effektiv wie Menschen es tun würden.

Im nächsten Abschnitt wird erörtert, wie Bio-Anker die Vorstellung von den „schwersten Aufgaben, die ein Mensch bewältigen kann“ (wofür ein Modell in der Größe des menschlichen Gehirns erforderlich wäre) konkretisiert.

Modellgröße und Aufgabenart

Bio-Anker geht davon aus, dass wir anhand von zwei grundlegenden Parametern abschätzen können, „wie teuer es ist, ein Modell zu trainieren“: der Modellgröße und der Art der Aufgabe.

Modellgröße. Wie oben erwähnt, kann man sich ein neuronales Netz als ein „digitales Gehirn“ vorstellen, das in einem zufälligen, ungeprägten Zustand beginnt. Im Allgemeinen kann ein größeres „digitales Gehirn“ – mit mehr digitalen Versionen von Neuronen und digitalen Versionen von Synapsen³ – komplexere Aufgaben lernen.  Ein größeres „digitales Gehirn“ erfordert außerdem bei jeder neuen Nutzung (zum Beispiel für jedes Muster, aus dem es lernt) mehr Berechnungen – und ist daher teurer.

Ausgehend von Joe Carlsmiths Analyse in Wie viel Rechenleistung braucht es, um dem menschlichen Gehirn gleichzukommen? (in diesem Beitrag als „Gehirn-Rechenleistung“ abgekürzt), stellt Bio-Anker Vergleiche zwischen der Größe von „digitalen Gehirnen“ (KI-Modelle) und „Tiergehirnen“ (Bienengehirne, Mäusegehirne, menschliche Gehirne) an. Diese Schätzungen deuten an, dass die heutigen KI-Systeme manchmal so groß sind wie Insektengehirne, aber nie ganz so groß wie Mäusehirne – zum Zeitpunkt der Erstellung dieses Artikels war das größte bekannte Sprachmodell das erste, das ansatzweise an Mäusehirne heranreichte⁴ – und noch nicht einmal 1% der Größe des menschlichen Gehirns besaß.⁵

Je größer das Modell ist, desto mehr Rechenleistung wird für das Training benötigt. Bio-Anker geht davon aus, dass ein transformatives KI-Modell etwa 10-mal so groß wie ein menschliches Gehirn sein müsste, also viel größer als jedes aktuelle KI-Modell. (Das „10-mal so groß“ soll Raum für die Vorstellung lassen, dass „digitale Gehirne“ weniger effizient sein könnten als menschliche Gehirne; siehe diesen Abschnitt des Berichts. Das ist einer der Gründe, warum das Training sehr teuer sein könnte.)

Es könnte sich herausstellen, dass ein kleineres KI-Modell immer noch groß genug ist, um die oben genannte Art von Aufgaben zu lernen. Oder es zeigt sich, dass die benötigte Modellgröße größer ist, als Bio-Anker schätzt, vielleicht weil Bio-Anker die effektive „Größe“ des menschlichen Gehirns unterschätzt hat, oder die überlegene Konzipierung des menschlichen gegenüber dem digitalen Gehirn.

Aufgabenart. Um eine Aufgabe zu erlernen, muss ein KI-Modell die Aufgabe eine große Anzahl von Malen „ausprobieren“ (oder „beobachten“) und durch Versuch und Irrtum lernen. Je kostspieliger (in Bezug auf Rechenleistung und damit Geld) die Aufgabe ist, desto kostspieliger wird es für das KI-Modell sein, sie zu lernen.

Es ist schwer zu quantifizieren, wie teuer es ist, eine Aufgabe auszuprobieren/zu beobachten. Der Versuch von Bio-Anker, dies zu tun, ist der umstrittenste Teil der Analyse, so die technischen Gutachter, die sie bisher geprüft haben.

Man kann sich das Bio-Anker Framework in etwa so vorstellen:

• Es gibt Aufgaben, die ein Mensch mit nur einer Gedankensekunde erledigen kann, z.B. die Klassifizierung eines Bildes als Katze oder Hund.
• Es gibt andere Aufgaben, für die ein Mensch mehrere Minuten Bedenkzeit benötigt, z.B. das Lösen eines Logikrätsels.
• Andere Aufgaben können Stunden, Tage, Monate oder sogar Jahre dauern und erfordern nicht nur Denken, sondern auch Interaktion mit der Umwelt. Zum Beispiel das Schreiben einer wissenschaftlichen Arbeit.
• Die Aufgaben am längeren Ende dieses Spektrums sind kostspieliger auszuprobieren/zu beobachten, so dass es kostspieliger ist, ein KI-Modell für diese Aufgaben zu trainieren. So ist es beispielsweise teurer (mehr Zeit und mehr Geld), eine Million „Versuche“ für eine Aufgabe durchzuführen, die eine Stunde dauert, als eine Million „Versuche“ für eine Aufgabe, die eine Sekunde dauert.
• Doch der Rahmen ist nicht so einfach, wie es klingt. Viele Aufgaben, die wie „lange“ Aufgaben erscheinen (wie das Schreiben eines Aufsatzes), könnten in Wirklichkeit in eine Reihe „kürzerer“ Aufgaben (wie das Schreiben einzelner Sätze) aufgeteilt werden.
  • Wenn ein KI-Modell für eine kürzere „Teilaufgabe“ trainiert werden kann, könnte es in der Lage sein, die längere Aufgabe zu bewältigen, indem es die kürzere Teilaufgabe einfach immer wieder wiederholt — ohne dass es jemals explizit für die längere Aufgabe „trainiert“ werden muss.
  • So  könnte ein KI-Modell zum Beispiel eine Million „Versuche“ mit der Aufgabe bekommen: „Lies einen teilweise abgeschlossenen Aufsatz und schreib einen guten nächsten Satz.“ Wenn es schließlich lernt, diese Aufgabe gut zu lösen, könnte es möglicherweise einen langen Aufsatz schreiben, indem es diese Aufgabe ein ums andere Mal wiederholt. Es wäre kein separater Trainingsprozess nötig, bei dem es eine Million „Versuche“ für die zeitaufwändigere Aufgabe des Schreibens eines ganzen Aufsatzes erhält.
  • Es ist also entscheidend, ob die schwierigsten und wichtigsten Aufgaben (wie die oben genannten) in kurze/leichte Aufgaben „zerlegt“ werden können.

Kostenschätzung

Bio-Anker untersucht, wie teuer das Training bestehender KI-Modelle je nach Modellgröße und Art der Aufgabe (wie oben definiert) war. Daraus wird dann extrapoliert, wie teuer das Training eines KI-Modells sein würde, wenn:

• es mehr als zehn Mal so groß wie ein menschliches Gehirn wäre.⁶
• eine Aufgabe trainierte, bei der jeder „Versuch“ Tage, Wochen oder Monate intensiven „Denkens“ in Anspruch nähme.

Nach heutigem Stand würde ein solches Training etwa eine Trillion Dollar kosten, was weit mehr ist als das gesamte Weltvermögen. Daher ist es nicht verwunderlich, dass noch niemand versucht hat, ein solches Modell zu trainieren.

Jedoch projiziert Bio-Anker auch die folgenden Trends auf die Zukunft:

• Fortschritte bei Hardware und Software, die die Rechenleistung billiger machen könnten.
• Eine wachsende Wirtschaft und eine immer zentralere Rolle der KI, die den Betrag, den KI-Labore für das Training großer Modelle ausgeben können, auf 1 Billion Dollar und mehr ansteigen lassen könnte.

Diesen Projektionen zufolge wird der „Betrag, den KI-Labore ausgeben können“, irgendwann den „Kosten für das Training eines dem menschlichen Gehirn äquivalenten Modells für die schwierigsten Aufgaben“ entsprechen. Bio-Anker stützt seine Prognosen darüber, „wann eine transformative KI entwickelt sein wird“, auf den Zeitpunkt, an dem dies geschieht.

Bio-Anker modelliert ferner die Ungewissheit bei allen oben genannten Parametern und berücksichtigt alternative Ansätze für die Parameter „Modellgröße und Art der Aufgabe“.⁷ Auf diese Weise wird die Wahrscheinlichkeit geschätzt, dass transformative KI bis 2030, 2035 usw. entwickelt wird.

Aggressiv oder konservativ?

Bio-Anker beinhaltet eine Reihe von Vereinfachungen, die dazu führen könnten, dass es zu aggressiv (in der Erwartung, dass transformative KI früher kommt als realistisch ist) oder zu konservativ (in der Erwartung, dass sie später kommt als realistisch ist) ist.

Das häufigste Argument (dem ich begegnet bin), dass von einer übermäßig aggressiven Schätzung  ausgeht, lautet in etwa so: „Es gibt keinen Grund zu glauben, dass eine auf modernen Methoden basierende KI alles lernen kann, was ein Mensch tut, indem sie nach dem Prinzip von Versuch und Irrtum trainiert – egal wie groß das Modell oder wie umfangreich das Training ist. Menschliche Gehirne können auf einzigartige Weise denken, unübertroffen und unübertrefflich für jede KI, es sei denn, wir entwickeln grundlegend neue Ansätze für die KI.“ Diese Art von Argument wird oft mit der Behauptung verbunden, dass KI-Systeme nicht „wirklich verstehen“, worüber sie nachdenken, und/oder dass sie das menschliche Denken lediglich durch Mustererkennung imitieren.

Ich denke, das könnte sich als richtig erweisen, aber ich würde nicht darauf wetten. Eine ausführliche Erörterung meiner Skepsis würde den Rahmen dieses Beitrags sprengen, aber hier die Kurzversion:

• Ich bin nicht davon überzeugt, dass es einen tiefen oder stabilen Unterschied zwischen „Mustererkennung“ und „wahrem Verstehen“ gibt (dieser Slate Star Codex-Beitrag verdeutlicht das). „Wahres Verstehen“ könnte ohne Weiteres identisch mit einer wirklich guten Mustererkennung sein. Ein Teil meiner Überlegungen beruht auf der Intuition, dass selbst dann, wenn Menschen (mich eingeschlossen) oberflächlich betrachtet etwas zu „verstehen“ scheinen, ihre Argumentation oft (ich würde sogar sagen, meistens) zusammenbricht, wenn sie einen ungewohnten Kontext betrachten. Mit anderen Worten, ich denke, dass das, was wir als „wahres Verstehen“ bezeichnen, eher ein Ideal als eine Realität ist.
• Ich bin mäßig beeindruckt von der Erfolgsbilanz derjenigen, die diese Art von Argumenten vorgebracht haben – ich habe nicht das Gefühl, dass diese Autor:innen in der Lage waren, genau zu bestimmen, wie „wahres Denken“ aussieht, sodass sie robuste Vorhersagen darüber machen könnten, was sich für KI-Systeme als schwierig erweisen würde. (Siehe zum Beispiel diese Diskussion von Gary Marcus‘ letzter Kritik von GPT-3 und ähnliche Diskussionen auf Astral Codex Ten.)
• „Eine Notwendigkeit einiger Durchbrüche/grundlegender Fortschritte“ mag bestehen. Aber um „Bio-Anker“ zu einer übermäßig aggressiven Prognose zu machen, reicht es nicht aus, dass einige Durchbrüche erforderlich sind; die erforderlichen Durchbrüche müssen über das hinausgehen, wozu KI-Wissenschaftler:innen in den kommenden Jahrzehnten fähig sind – dem Zeitrahmen, für den Bio-Anker eine transformative KI prognostiziert. Es scheint schwer zu sein, darauf zu vertrauen, dass sich die Dinge so entwickeln werden – vor allem aus folgenden Gründen:
  • Selbst mäßige Fortschritte bei KI-Systemen könnten mehr Talente und Finanzmittel in diesen Bereich spülen (was bereits geschieht).⁸
  • Wenn Geld, Talent und Rechenleistung im Überfluss vorhanden sind und der Fortschritt in Richtung PASTA in erster Linie durch besondere Schwachstellen in Konzeption und Training der KI-Systeme gebremst wird, könnte ein nachhaltiger Versuch der Forschenden, diese Schwäche zu beheben, funktionieren. Wenn wir über Zeiträume von mehreren Jahrzehnten sprechen, könnte das genug Zeit für die Forschenden sein, um das zu finden, woran es den heutigen Techniken fehlt.

Allgemeiner ausgedrückt könnte Bio-Anker zu aggressiv sein, da es davon ausgeht, dass „die Rechenleistung der Engpass ist“:

• Es wird davon ausgegangen, dass, wenn man die gesamte Rechenleistung für das oben beschriebene Brute-Force-„Training“ für die wichtigsten Aufgaben (z.B. die Automatisierung wissenschaftlicher Arbeit) bezahlen könnte, eine transformative KI (wahrscheinlich) folgen würde.
• Das Training eines KI-Modells erfordert nicht nur den Kauf von Rechenleistung. Es erfordert die Einstellung von Forschenden, die Durchführung von Experimenten und, was vielleicht am wichtigsten ist, einen Weg zu finden, den „Versuch und Irrtum“-Prozess so einzurichten, dass die KI eine große Anzahl von „Versuchen“ für die tatsächliche Hauptaufgabe erhält. Es könnte sich herausstellen, dass dies schwierig bis unmöglich ist.

Andererseits könnten die Bio-Anker in mehrfacher Hinsicht zu konservativ sein (und die Wahrscheinlichkeit der baldigen Entwicklung einer transformativen KI unterschätzen).

• Vielleicht könnte man mit genügend Einfallsreichtum eine transformative KI schaffen, indem man sie für wichtige Aufgaben „programmiert“, anstatt sie zu „trainieren“ (zur Unterscheidung siehe oben). Dies könnte weit weniger Berechnungen erfordern und somit weit weniger Kosten verursachen. Oder man könnte eine Kombination aus „Programmierung“ und „Training“ verwenden, um eine bessere Effizienz zu erreichen, als es Bio-Anker impliziert, ohne dass man alles über Programmierung erreichen muss.
• Oder man könnte weitaus bessere Ansätze für KI finden, die viel effizienter „trainiert“ werden können. Eine Möglichkeit ist hier das „Meta-Lernen“: Ein KI-System wird effektiv auf die „Aufgabe“ trainiert, selbst trainiert zu werden.
• Oder es ist vielleicht am wahrscheinlichsten, dass KI im Laufe der Zeit ein immer größerer Teil der Wirtschaft wird, und es könnte eine Vielzahl verschiedener KI-Systeme geben, die jeweils individuell angepasst und großzügig finanziert wurden, um verschiedene Aufgaben in der realen Welt zu erfüllen. Je mehr dies geschieht, desto häufiger können individueller Erfindungsreichtum und Glück in bestimmten wirtschaftlichen Kontexten zu mehr Innovationen und leistungsfähigeren KI-Systemen führen.
  • Vielleicht wird es eines Tages möglich sein, viele Systeme mit unterschiedlichen Fähigkeiten zu integrieren, um eine besonders schwierige Aufgabe wie die „Automatisierung der Wissenschaft“ zu bewältigen, ohne dass ein spezieller, astronomisch teurer „Trainingslauf“ erforderlich ist.
  • Oder vielleicht ist KI, die nicht an PASTA heranreicht, immer noch nützlich genug, um viel Geld zu verdienen und/oder Forschenden dabei zu helfen, Computer billiger und effizienter zu machen. Dies wiederum könnte zu noch größeren KI-Modellen führen, welche die Verfügbarkeit von Geld und die Effizienz von Berechnungen weiter erhöhen. Das wiederum könnte einen Trainingslauf auf PASTA-Niveau früher erschwinglich machen als Bio-Anker vorhersagt.
• Zudem sind einige Fachprüfer:innen von Bio-Anker der Meinung, dass die Behandlung der Aufgabenart zu konservativ ist.  Sie glauben, dass die wichtigsten Aufgaben (und vielleicht alle Aufgaben), für die KI trainiert werden muss, am „einfacheren/günstigeren“ Ende des Spektrums liegen werden, relativ zur Prognose von Bio-Anker (siehe den Abschnitt oben zu dem, was es für eine Aufgabe bedeutet, „leichter/billiger“ oder „schwieriger/teurer“ zu sein). Ein diesbezügliches Argument findet sich in Spaß mit zwölf zusätzlichen Größenordnungen an Rechenleistung, worin  darauf hingedeutet wird, dass Bio-Anker sich vorstellt, dass für die Erstellung von PASTA ein enormer Rechenaufwand erforderlich ist, während weniger mit Leichtigkeit ausreichen könnte.

Ich glaube nicht, dass es offensichtlich ist, ob Bio-Anker insgesamt zu aggressiv (in der Erwartung, dass transformative KI früher kommt, als es realistisch ist) oder zu konservativ (in der Erwartung, dass sie später kommt) ist. Im Bericht selbst heißt es, dass er in den nächsten Jahren wahrscheinlich zu aggressiv und in >50 Jahren zu konservativ sein wird, und dass sein größter Nutzen wohl in der Zeit dazwischen liegt.⁹

Intellektuell habe ich den Eindruck, dass der Bericht eher zu konservativ ist. Ich finde seine Antworten auf die Kritik der Aggressivität oben recht überzeugend und ich denke, dass die Kritik des Konservativen sich am Ende als korrekt herausstellt. Ich denke, es ist schwer auszuschließen, dass der Einfallsreichtum zu einer transformativen KI führt, die weitaus effizienter ist als die hier in Betracht gezogene „Brute-Force“-Methode. Und ich denke, dass der Umgang mit der „Aufgabenart“ definitiv zu konservativ ausfällt.

Allerdings neige auch ich intuitiv dazu, bei solchen Schätzungen eher konservativ vorzugehen (was mit den zuvor erwähnten Analysen zur Beweislast zusammenhängt). Insgesamt sind meine besten Schätzungen über die Zeiträume für die Entwicklung von KI ähnlich wie die von Bio-Anker. 

Schlussfolgerungen der Bio-Anker Methode

Bio-Anker schätzt die Wahrscheinlichkeit einer transformativen KI auf > 10 % bis 2036, auf ~ 50 % bis 2055 und auf ~ 80% bis 2100.

Bemerkenswert ist auch, was der Bericht über die heutigen KI-Systeme sagt. Er schätzt, dass:

• die derzeit größten KI-Modelle, etwa GPT-3, etwas kleiner sind als Mäusegehirne und allmählich (wenn sie noch einmal um das 100- bis 1000-fache wachsen würden) in die Nähe menschlicher Gehirne kommen. Wir könnten uns also bald KI-Systemen nähern, die darauf trainiert werden können, alles zu tun, was Menschen mit ~ einer Sekunde Bedenkzeit tun können. Dementsprechend scheint mir, dass wir gerade erst den Punkt erreicht haben, an dem Sprachmodelle wie Menschen klingen, die sprechen, ohne groß nachzudenken.¹⁰ Wenn überhaupt, dann scheint „ein Mensch, der nicht mehr als 1 Sekunde pro Wort nachdenkt“ dem, was  GPT-3 tut, ziemlich nahe zu kommen, auch wenn das System viel kleiner ist als ein menschliches Gehirn.
• Erst in jüngster Zeit sind KI-Modelle so groß geworden. Ein „großes“ KI-Modell vor 2020 läge eher in der Größenordnung eines Honigbienengehirns. Selbst bei Modellen aus der jüngsten Vergangenheit sollten wir uns also fragen, ob KI-Systeme „so schlau wie Insekten“ zu sein scheinen.  Hier ein Versuch, KI- und die Fähigkeiten von Honigbienen zu vergleichen (von Open Philanthropy-Praktikant Guille Costa), mit der Schlussfolgerung, dass die beeindruckendsten Fertigkeiten der Honigbiene, die der Autor ausfindig machen konnte, für KI-Systeme durchaus machbar zu sein scheinen.¹¹

Ich füge diese Anmerkungen aus folgenden Gründen bei:

• Die Analyse von Bio-Anker scheint voll und ganz mit dem übereinzustimmen, was wir heute bei KI-Systemen beobachten (und in den letzten zehn oder zwei Jahren beobachtet haben), und deutet gleichzeitig an, dass wir in den kommenden Jahrzehnten wahrscheinlich mehr transformative Fähigkeiten sehen werden. 
• Ich finde es besonders bemerkenswert, dass wir uns dem Zeitpunkt nähern, an dem ein KI-Modell „so groß wie ein menschliches Gehirn“ ist (nach der Schätzmethode von Bio-Anker / Brain Computation). Es könnte sich herausstellen, dass ein solches KI-Modell in der Lage ist, eine Menge über die Welt zu „lernen“ und einen hohen wirtschaftlichen Wert zu schaffen, auch wenn es noch nicht die schwierigsten Dinge beherrscht, die Menschen tun.  Dies wiederum könnte zu einem sprunghaften Anstieg der Investitionen in KI führen (sowohl Geld als auch Talente), was wiederum zu mehr Innovation und weiteren Durchbrüchen führen könnte. Dies ist ein einfacher Grund zu glauben, dass eine transformative KI bis 2036 plausibel ist.

Abschließend möchte ich anmerken, dass Bio-Anker unter den verschiedenen Ansätzen auch eine „Evolutions“-Analyse berücksichtigt. Diese Analyse geht von der Hypothese aus, dass man, um eine transformative KI zu entwickeln, etwa so viele Berechnungen durchführen müsste wie alle Tiere in der Geschichte zusammen, um den Fortschritt, der durch die natürliche Selektion erzielt wurde, zu reproduzieren.

Ich halte die „Evolutions“-Analyse für sehr konservativ, da das maschinelle Lernen zu viel schnelleren Fortschritten fähig ist als die Art von Versuch und Irrtum, die mit der natürlichen Selektion verbunden ist. Selbst wenn man an etwas glaubt, was in die Richtung geht, dass „menschliche Gehirne auf einzigartige Weise denken, die von einer modernen KI nicht erreicht werden kann“, scheint es, dass alles, was an menschlichen Gehirnen einzigartig ist, wiederentdeckt werden kann, wenn man in der Lage ist, die gesamte Geschichte der natürlichen Selektion neu zu durchlaufen. Und selbst diese sehr konservative Analyse schätzt die Wahrscheinlichkeit einer transformativen KI bis zum Jahr 2100 auf etwa 50 %.

Pros und Kontras der Bio-Anker-Methode zur Vorhersage der Entwicklung transformativer KI

Kontras. Ich möchte mit dem aus meiner Sicht größten Nachteil beginnen: Es handelt sich um einen sehr komplexen Prognoserahmen, der sich vor allem auf mehrere extrem unsichere Schätzungen und Annahmen stützt. Z. B.:

• Ob es vernünftig ist, zu glauben, dass ein KI-System die oben aufgeführten Schlüsselaufgaben (die für PASTA erforderlich sind) lernen kann, wenn es ausreichend durch Versuch und Irrtum trainiert wird.
• Wie kann man die Größe von KI-Modellen mit der Größe von tierischen/menschlichen Gehirnen vergleichen?
• Wie kann man den „Aufgabentyp“ charakterisieren und abschätzen, wie „schwierig“ und teuer das einmalige „Ausprobieren“ oder „Beobachten“ einer Aufgabe ist.
• Verwendung der Modellgröße und des Aufgabentyps, um abzuschätzen, wie teuer es wäre, ein KI-Modell für die wichtigsten Aufgaben zu trainieren.
• Wie lassen sich künftige Fortschritte bei Hardware und Software einschätzen, die die Kosten für Rechenleistung senken?
• Wie kann man abschätzen, wie viel Geld KI-Labore in Zukunft für das Training von Modellen ausgeben können?

Diese Art von Komplexität und Ungewissheit bedeutet (meiner Ansicht nach), dass wir die Vorhersagen nicht als sehr zuverlässig ansehen sollten, vor allem heute, wo der gesamte Rahmen noch recht neu ist. Wenn wir an dem Punkt angelangt wären, an dem die KI-Prognosen genauso sorgfältig geprüft und mit so viel Aufwand erstellt worden wären wie die Klimaprognosen, wäre das vielleicht etwas anderes.

Pros. Abgesehen davon ist diese Methode im Wesentlichen die einzige mir bekannte Methode, die den Zeitrahmen für die Transformation der KI auf der Grundlage objektiver Fakten (wo möglich) und expliziteren Annahmen (anderswo) abschätzt.¹² Sie verzichtet auf vage und intuitive Konzepte wie etwa „wie schnell KI-Systeme beeindruckender werden“ (zuvor erörtert).  Jede Annahme und jede Schätzung in diesem Rahmen kann erläutert, diskutiert und – im Laufe der Zeit – getestet werden.

Selbst in seinem derzeitigen Anfangsstadium halte ich dies für eine wertvolle Eigenschaft der Bio-Anker-Methode. Es bedeutet, dass der Rahmen uns Schätzungen über die zeitlichen Abläufe liefern kann, die nicht einfach nur Auffrischungen von Intuitionen darüber sind, ob es sich so anfühlt, als würde die transformative KI sich nähern.¹³ Ich halte es ferner für ermutigend, dass die überprüfbaren „Vorhersagen“, die der Rahmen heute macht, trotz all dem Rätselraten vernünftig erscheinen (siehe vorheriger Abschnitt). Der Rahmen bietet eine Möglichkeit, darüber nachzudenken, wie es gleichzeitig wahr sein könnte, dass (a) die KI-Systeme von vor einem Jahrzehnt wenig beeindruckend erschienen; (b)  die KI-Systeme von heute viele beeindruckende Dinge tun können, aber noch weit von dem entfernt sind, was der Mensch zu leisten vermag; (c) es in den nächsten Jahrzehnten – oder sogar in den nächsten 15 Jahren – durchaus zur Entwicklung einer transformativen KI kommen könnte.

Darüber hinaus halte ich es für sinnvoll, auf einige wichtige Punkte von Bio-Anker hinzuweisen, die nicht auf so vielen Schätzungen und Annahmen beruhen:

• In den nächsten zehn Jahren werden wir wahrscheinlich zum ersten Mal KI-Modelle sehen, deren „Größe“ mit der des menschlichen Gehirns vergleichbar ist.
• Wenn KI-Modelle weiterhin in dem von Bio-Anker geschätzten Tempo größer und effizienter werden, wird es wahrscheinlich noch in diesem Jahrhundert erschwinglich werden, einige ziemlich extreme Meilensteine zu erreichen — das „obere Ende“ dessen, was Bio-Anker für notwendig hält.  Diese sind schwer zusammenzufassen, aber siehe die Rahmenwerke „Neuronales Netz mit langem Horizont“ und „Evolutionsanker“ in dem Bericht.
• Eine Möglichkeit, darüber nachzudenken, ist, dass wir im nächsten Jahrhundert wahrscheinlich von „nicht genug Rechenleistung, um ein Modell in der Größe eines Menschen zu betreiben“ zu „extrem viel Rechenleistung, gar die Menge, die konservative Schätzungen für nötig erachten“ übergehen werden.  Die Rechenleistung ist nicht der einzige Faktor für den KI-Fortschritt, aber in dem Maße, in dem andere Faktoren (Algorithmen, Trainingsprozesse) zu den neuen Engpässen werden, wird es wahrscheinlich starke Anreize (und mehrere Jahrzehnte) geben, um diese zu lösen.

Ein letzter Vorteil der Bio-Anker besteht darin, dass wir die Fortschritte der KI im Laufe der Zeit weiter beobachten und mit dem Rahmen des Berichts vergleichen können. Zum Beispiel können wir beobachten:

• ob es Aufgaben gibt, die auch mit viel Versuch und Irrtum nicht erlernt werden können, oder ob manche Aufgaben einen ganz anderen Trainingsaufwand erfordern, als im Bericht angegeben.
• wie sich die Fähigkeiten von KI-Modellen mit denen von Tieren vergleichen lassen, die wir derzeit als „ähnlich groß“ modellieren. Wenn KI-Modelle fähiger zu sein scheinen als solche Tiere, überschätzen wir möglicherweise, wie groß ein Modell sein müsste, um z.B. die Wissenschaft zu automatisieren. Wenn sie weniger fähig zu sein scheinen, unterschätzen wir das vielleicht.
• wie sich Hardware und Software weiterentwickeln und ob die KI-Modelle in dem Maße wachsen, wie es der Bericht derzeit prognostiziert.

Der nächste Beitrag wird all die verschiedenen bisher erwähnten Analysen über transformative KI-Timelines zusammenfassen. Dann wird auf einen noch bestehenden Vorbehalt eingegangen: dass es keinen zuverlässigen Expert:innenkonsens zu diesem Thema gibt.

---

Fußnoten

1. Natürlich könnte die Antwort lauten „eine Fantastilliarde Jahre in der Zukunft“ oder „nie“. ↩︎
2. Aus Gründen der Transparenz möchte ich darauf hinweisen, dass es sich hierbei um eine Analyse von Open Philanthropy handelt und  ich Co-CEO von Open Philanthropy bin. ↩︎
3. Ich halte (genau wie Bio-Anker), aus Gründen, die ich hier nicht näher erläutern werde, die Anzahl der Synapsen für wichtiger als die Anzahl der Neuronen. ↩︎
4. Wikipedia: Die größte Version von GPT-3 besitzt 175 Milliarden Parameter … Vor der Veröffentlichung von GPT-3 war Microsofts Turing NLG das größte Sprachmodell, dieses wurde im Februar 2020 vorgestellt und besaß mit 17 Milliarden Parametern weniger als ein Zehntel der Kapazität von GPT-3. Wikipedia gibt dies nicht an, aber ich glaube nicht, dass es öffentlich bekannte KI-Modelle gibt, die größer sind als diese Sprachmodelle (mit Ausnahme von „Mixture-of-Experts-Modellen“, die wir meiner Meinung nach für diese Zwecke außer Acht lassen sollten, aus Gründen, auf die ich hier nicht eingehen werde). Wikipedia schätzt etwa 1 Billion Synapsen für das Gehirn einer Hausmaus; die Methodik von Bio-Anker für den Vergleich von Gehirnen (basierend auf Brain Computation) setzt Synapsen im Wesentlichen mit Parametern gleich. ↩︎
5. Bio-Anker schätzt, dass das menschliche Gehirn etwa 100 Billionen Parameter hat, basierend auf der Tatsache, dass es etwa 100 Billionen Synapsen hat. ↩︎
6. Wie bereits erwähnt, soll das „10 mal so groß“ einen gewissen Spielraum für die Vorstellung lassen, dass „digitale Gehirne“ weniger effizient sein könnten als menschliche Gehirne. Siehe diesen Abschnitt des Berichts. ↩︎
7. Ein Ansatz geht beispielsweise davon aus, dass das Training durch das oben erwähnte „Meta-Lernen“ billiger werden könnte. Ein anderer Ansatz geht davon aus, dass man, um eine transformative KI zu entwickeln, etwa so viele Berechnungen durchführen müsste wie alle Tiere in der Geschichte zusammen, um den durch die natürliche Selektion erzielten Fortschritt zu reproduzieren. ↩︎
8. Siehe z. B. die Grafiken in den ersten Abschnitten des AI-Index-Reports von 2021. ↩︎
9.  Siehe diesen Abschnitt. ↩︎
10. Eine Sammlung von Links zu GPT-3-Demos findest du in diesem Beitrag. ↩︎
11.  Tatsächlich schätzt er, dass KI-Systeme etwa 1000-mal weniger Rechenleistung benötigen, was mit dem oben genannten Punkt übereinstimmt und darauf hindeutet, dass KI-Systeme möglicherweise effizienter sind als tierische/menschliche Gehirne und dass die Schätzungen von Bio Anchors zu konservativ sein könnten. Allerdings geht er nicht auf die Tatsache ein, dass Bienen wohl eine größere Vielfalt an Aufgaben erfüllen als die KI-Systeme, mit denen sie verglichen werden. ↩︎
12.  Abgesehen von  der bereits erwähnten Methode der Semi-informativen-A-priori-Wahrscheinlichkeiten. ↩︎
13. Das bedeutet natürlich nicht, dass die Schätzungen völlig unabhängig von Intuitionen sind - Intuitionen werden wahrscheinlich unsere Wahl der Schätzungen für viele der schwer zu schätzenden Zahlen beeinflussen. Aber die Möglichkeit, jede Schätzung einzeln zu prüfen und zu diskutieren, ist hilfreich und worauf ich mich hier beziehe. ↩︎