Prognose transformativer KI, Teil 1: Welche Art von KI?

Dieser Beitrag wurde am 10. August 2021 von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.

PASTA: Prozess zur Automatisierung des wissenschaftlichen und technologischen Fortschritts (engl.: Process for Automating Scientific and Technological Advancement)

Dies ist der erste von vier Beiträgen, die Hunderte von Seiten technischer Berichte zusammenfassen, die sich fast ausschließlich auf die Vorhersage einer Zahl konzentrieren. Es gibt wohl keine zweite Zahl, deren guten Schätzung ich höheren Wert beimessen würde. Es geht um das Jahr, bis zu dem eine transformative KI entwickelt werden wird.¹

Unter „transformativer KI“ verstehe ich eine „KI, die mächtig genug ist, uns in eine neue, völlig andersartige Zukunft zu bringen.“ Die industrielle Revolution ist das jüngste Beispiel eines transformativen Geschehens; andere würden hier außerdem die Agrarrevolution und das Auftreten unserer Spezies nennen.²

Dieser Beitrag wird sich auf die Erforschung einer bestimmten Art von KI konzentrieren, die meiner Meinung nach transformativ sein könnte: KI-Systeme, die im Wesentlichen alle menschlichen Tätigkeiten automatisieren können, die erforderlich sind, um wissenschaftlichen und technologischen Fortschritt zu beschleunigen. Ich werde diese Art von Technologie einen Prozess zur Automatisierung des wissenschaftlichen und technologischen Fortschritts nennen, oder: PASTA.³ (Unter PASTA verstehe ich entweder ein einzelnes System oder eine Sammlung von Systemen, die diese Art von Automatisierung gemeinsam erreichen können.)

PASTA könnte den in Der Duplikator und So kann’s nicht weitergehen beschriebenen Engpass beheben – die Knappheit menschlicher kognitiver Kapazität (oder anderer, für Innovation essentieller Ressourcen).

PASTA könnte daher zu explosiv voranschreitender Wissenschaft führen, die in revolutionären Technologien wie digitalen Personen gipfelt. Und je nach den Details könnten PASTA-Systeme eigene Ziele verfolgen, die für die Menschheit gefährlich sein und einen großen Einfluss darauf haben könnten, welche Art von Zivilisation sich letzten Endes über die Galaxie ausbreitet.

Indem ich über PASTA spreche, versuche ich zum Teil, unnötigen Ballast aus der Debatte über allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) loszuwerden. Ich glaube nicht, dass wir eine AGI brauchen, damit dieses Jahrhundert unser wichtigstes wird. Etwas Begrenzteres – wie etwa PASTA es sein könnte – sollte dafür durchaus genügen.

Um diese Idee fassbarer zu machen, werde ich im Folgenden darauf eingehen:

• wie PASTA (hypothetisch) mittels im Wesentlichen heute verfügbaren Machine Learning-Methoden entwickelt werden könnte;
• warum dies zu explosionsartigem wissenschaftlichen und technologischen Fortschritt führen könnte – und wieso das, im Falle von PASTA-Systemen mit eigenen Zielen, gefährlich sein könnte. 

Spätere Beiträge sollen dann erörtern, wie bald wir auf die Entwicklung von so etwas wie PASTA gefasst sein sollten.

PASTA kreieren

Ich beginne mit einer sehr kurzen, vereinfachten Darstellung des maschinellen Lernens; zum Überspringen klicke einfach hier.

Im Grunde gibt es zwei Möglichkeiten, einem Computer etwas „beizubringen“:

Herkömmliches Programmieren. In diesem Fall kodiert man sehr spezifische, schrittweise Anweisungen für die Erledigung der gewünschten Aufgabe. So folgt etwa das Schachprogramm Deep Blue im Wesentlichen Befehlen⁴ nach diesem Muster:

• Empfange eine digitale Darstellung eines Schachbretts mit Zahlen, die Folgendes anzeigen (a) welche Schachfigur auf welchem Feld steht; (b) welche Züge erlaubt sind; (c) welche Stellungen als Schachmatt gelten.
• Prüfe, wie jeder zulässige Zug das Brett verändern würde. Dann prüfe, wie „gut“ das resultierende Brett ist, nach Regeln wie: „Wurde die Dame des anderen Spielers geschlagen, ist das 9 Punkte wert; wurde die Dame von Deep Blue geschlagen, ist das -9 Punkte wert.“  Diese Regeln mögen ziemlich komplex sein,⁵ aber sie sind alle präzise von Menschen kodiert.

Maschinelles Lernen. Dabei wird eine KI im Wesentlichen durch Versuch und Irrtum für eine Aufgabe „trainiert“, es werden aber keine spezifischen Anweisungen erteilt. Heutzutage wird dazu meist ein „künstliches neuronales Netz“ (KNN) verwendet, das man sich wie ein „digitales Gehirn“ vorstellen kann, das sich initial in einem leeren (oder zufälligen) Zustand befindet: Es ist noch nicht für das Erledigen bestimmter Aufgaben verdrahtet worden. 

So leistet beispielsweise AlphaZero – eine KI, die für mehrere Brettspiele, darunter Schach und Go, eingesetzt wird – noch etwas mehr (obwohl es auch wichtige Elemente „herkömmlicher Programmierung“ enthält, die ich hier der Einfachheit halber ignoriere):

• Es spielt eine Schachpartie gegen sich selbst (indem es einen zulässigen Zug auswählt, das digitale Spielbrett entsprechend verändert und dann einen weiteren zulässigen Zug auswählt usw.). Zunächst spielt es, indem es willkürliche Züge vornimmt.
• Jedes mal wenn Weiß gewinnt, „lernt“ es ein wenig, indem es die Verdrahtung des KNN („digitales Gehirn“) verändert – buchstäblich durch Verstärkung oder Schwächung der Verbindungen zwischen „künstlichen Neuronen“. Die Optimierungen bewirken, dass das KNN eine stärkere Assoziation zwischen Spielzuständen wie dem, den es gerade gesehen hat, und „Weiß wird gewinnen“ herstellt. Und umgekehrt, wenn Schwarz gewinnt.
• Nach einer sehr großen Anzahl von Spielen ist das KNN sehr gut darin geworden, anhand eines digitalen Spielstands zu bestimmen, welche Seite wahrscheinlich gewinnen wird. Das KNN kann nun Züge auswählen, welche die Wahrscheinlichkeit eines Sieges für die eigene Seite erhöhen.
• Der Prozess des „Trainierens“ des KNN erfordert jede Menge „Versuch und Irrtum“: Am Anfang spielt es furchtbar und muss viele Partien spielen, um sein Gehirn richtig zu „verdrahten“ und gut zu werden. Doch ist das KNN dann erst einmal trainiert, erbringt sein „digitales Gehirn“ konstant gute Leistung in dem erlernten Brettspiel; es kann seine Gegner ein ums andere Mal schlagen.

Der letztgenannte Ansatz hat einen Großteil der jüngsten Fortschritte in der KI entscheidend geprägt. Dies gilt insbesondere für Aufgaben, für die es schwierig ist, „alle Anweisungen aufzuschreiben“. Der Mensch ist beispielsweise in der Lage, einige vernünftige Richtlinien für ein erfolgreiches Schachspiel aufzuschreiben, aber wir wissen nur sehr wenig darüber, wie wir selbst Bilder klassifizieren (bestimmen, ob ein Bild einen Hund, eine Katze oder etwas anderes zeigt).  Daher ist maschinelles Lernen besonders wichtig für Aufgaben wie die Klassifizierung von Bildern.

Könnte PASTA durch maschinelles Lernen entwickelt werden? Ein offensichtlicher (aber unrealistischer) Weg, dies zu tun, könnte in etwa so aussehen: 

• Statt Schach zu spielen, könnte eine KI ein Spiel namens „Wissenschaftlichen und technologischen Fortschritt erzeugen“ spielen. Das heißt, sie könnte „Züge“ machen wie: wissenschaftliche Abhandlungen herunterladen, Notizen zu einer Datei hinzufügen, Entwürfe und Anleitungen für neue Experimente erstellen, Herstellungsverfahren entwerfen.
• Ein Gremium aus menschlichen Richtern könnte vom „Spielfeldrand“ aus zusehen und eine subjektive Bewertung abgeben, wie schnell die Arbeit der KI zu wissenschaftlichem/technologischem Fortschritt führt. Die KI könnte also ihre Verdrahtung im Laufe der Zeit optimieren und lernen, welche Art von Aktionen nach Ansicht der Richter den wissenschaftlichen und technologischen Fortschritt am effektivsten fördert.

Verglichen mit anderen Szenarien der PASTA-Entwicklung, die ich für realistischer halte, erscheint der oben beschriebene Prozess äußerst unpraktisch, aber ich hoffe, dass er einen ersten Eindruck dafür vermitteln kann, worauf ein solches Training abzielt: Das menschliche Feedback erlaubt der KI durch Versuch und Irrtum und die Anpassung ihrer inneren Maschinerie zum Ziel zu gelangen.

Tatsächlich würde ich erwarten, dass das Training schneller und effizienter ablaufen wird, z. B. durch folgende Faktoren: 

• Verschiedene KIs könnten sich in ihrem Training auf jeweils eine Aufgabe spezialisieren, die der Beschleunigung von Wissenschaft und Technologie zuträglich ist: das Schreiben von akademischen Arbeiten, das Entwerfen und Beurteilen von Modellen und Fertigungsprozessen usw. Oftmals könnten Menschen, die diese Tätigkeiten bereits ausüben,   umfassende Daten darüber generieren, wie ein erfolgreiches Erfüllen der jeweiligen Aufgaben aussieht, die dann für das KI-Training genutzt werden könnten. Sobald verschiedene KIs eine Vielzahl von Schlüsselaufgaben übernehmen können, könnten „Manager“-KIs trainiert werden, um die Arbeit anderer KIs zu überwachen und aufzuteilen.
• KIs könnten außerdem als Beurteiler trainiert werden. So könnte eine KI auf die Beurteilung von Originalität trainiert werden, während eine andere lernt, Fehler aufzuspüren.⁶ Diese „Beurteiler“-KIs könnten schließlich effizienter eine dritte KI trainieren, die lernt, originale und korrekte Forschungsarbeiten zu schreiben.
• Durch einen allgemeineren Lernansatz könnten KIs auch alle möglichen anderen menschlichen Tätigkeiten erlernen. Hierzu müssten sie in grundlegenden menschlichen Fähigkeiten trainiert werden, wie der Fähigkeit, aus Lehrbüchern zu lernen oder „kreative Lösungen für ein Problem zu finden“. KIs, die diese Dinge gut beherrschen, könnten dann wie ein normaler Mensch Wissenschaft aus Lehrbüchern lernen, kreativ über Lösungsansätzen nachdenken usw.
  • Der Unterschied liegt hier zwischen einem „naiven Gehirn, das man mit einer großen Anzahl von Beispielen konfiguriert“ und „einem bereits weitgehend vernetzten Gehirn, das wie das menschliche Gehirn nur wenige Beispiele braucht, um schnell dazu zu lernen.“
  • Für das Erlernen allgemeiner Fähigkeiten würde ein KNN unzählige Schleifen von Versuch und Irrtum benötigen, aber ist das KNN erst einmal voll ausgebildet, könnte es wie ein Mensch spezifisch und autonom wissenschaftliche Arbeit leisten. (In gewissem Sinne könnte man sich vorstellen, dass es „durch einen intensiven Prozess von Versuch und Irrtum darauf trainiert wurde, bestimmte Dinge mit weniger Versuch und Irrtum zu erlernen.“)
  • Es gibt bereits Hinweise darauf, dass ein KI-Training nach folgendem Muster ablaufen könnte: „(1) Erlernen der ‚Grundlagen‘ durch eine Menge Versuch und Irrtum und (2) Erlernen spezifischer Teilfertigkeiten durch weniger Versuch und Irrtum.“⁷
• Ich erwarte nicht unbedingt, dass all das im Rahmen eines einzigen, gezielten Entwicklungsprozesses geschieht. Ich erwarte, dass im Laufe der Zeit verschiedene KI-Systeme für unterschiedliche und immer breiter gefächerte Aufgaben eingesetzt werden, darunter auch und vor allem Aufgaben, die dazu beitragen, menschliche Aktivitäten im Bereich des wissenschaftlichen und technologischen Fortschritts zu ergänzen. Es könnte viele verschiedene Arten von KI-Systemen geben, jedes mit seinem eigenen Ertragsmodell und seiner eigenen Feedbackschleife, und ihre kollektiven Fähigkeiten könnten so weit wachsen, dass eine Gruppe von ihnen irgendwann in der Lage ist, (in Bezug auf den wissenschaftlichen und technologischen Fortschritt) alles zu tun, wofür ehemals Menschen nötig waren. (Der Einfachheit halber bezeichne ich ein solches Set jedoch manchmal als PASTA im Singular).

Die Entwicklung von PASTA wird mit ziemlicher Sicherheit sehr viel schwieriger und teurer sein als die von AlphaZero. Es mag viel Einfallsreichtum erfordern, um die heute bestehenden Hindernisse zu überwinden (das obige Bild ist sicherlich stark vereinfacht und dient nur dazu, grundlegende Anhaltspunkte zu geben). Aber die KI-Forschung wird gleichzeitig billiger⁸ und besser finanziert. In künftigen Beiträgen werde ich darlegen, dass die Chancen, dass PASTA in den kommenden Jahrzehnten entwickeln wird, erheblich sind.

Effekte von PASTA

Explosionsartiger wissenschaftlicher und technologischer Fortschritt

In einem früheren Beitrag sprach ich von der Idee einer potenziellen Explosion in wissenschaftlichem und technologischem Fortschritt, was eine radikal fremdartige Zukunft zur Folge haben könnte. 

Ich habe betont, dass eine solche Explosion durch eine Technologie verursacht werden könnte, die den wissenschaftlichen und  technologischen Fortschritt vorantreibt, indem sie „die Zahl der ,Köpfe‘ dramatisch erhöht“ (Menschen oder digitale Personen oder fortgeschrittene KIs).

PASTA würde diese Aufgabe gut erfüllen, vor allem, wenn er so gut wie der Mensch (oder besser) darin wäre, bessere und billigere Wege zu finden, um mehr PASTA-Systeme herzustellen. PASTA hätte alle Werkzeuge für eine Produktivitätsexplosion, wie ich sie bereits früher in digitale Personen beschrieben habe:

• PASTA-Systeme könnten Kopien von sich selbst erstellen (einschließlich beschleunigter, vorübergehender Kopien).
• Sie könnten, wie in Der Duplikator beschrieben, in eine  Art von Rückkopplungsschleife eintreten: „mehr Ideen [auch Ideen zur Entwicklung von mehr/besseren PASTA-Systemen] → mehr Menschen [in diesem Fall mehr PASTA-Systemen] → mehr Ideen → … „

---

Warum gilt diese Rückkopplungsschleife nicht schon für die heutigen Computer und KIs? Weil die heutigen Computer und KIs nicht in der Lage sind, all die Dinge zu tun, die erforderlich sind, um neue Ideen zu haben und sich selbst effizienter zu kopieren. Sie spielen eine Rolle bei der Innovation, aber diese wird letztlich durch den Menschen gebremst, dessen Populationswachstum begrenzt ist. PASTA würde dies (analog zu digitalen Personen) ändern.

Hinzu kommt, dass PASTA-Systeme im Gegensatz zu digitalen Kopien von Menschen nicht an ihre bestehende Identität und Persönlichkeit gebunden wären. Ein PASTA-System könnte seinen „Geist“ beliebig modifizieren, sodass er Wissenschaft und Technologie effizienter vorantreibt. Dies könnte (oder — abhängig von zahlreichen Details — auch nicht) zu rekursiver Selbstverbesserung und einer „Intelligenzexplosion„ führen.  Doch selbst wenn sich dies nicht bewahrheiten sollte, könnte PASTA zu einem explosionsartigen Fortschritt führen, wenn er in der Herstellung weiterer PASTA-Systeme lediglich so gut wie der Mensch wäre, aus denselben Gründen wie bei digitalen Personen.

Fehlausgerichtete KI: geheimnisvolle, potenziell gefährliche Ziele

Würde PASTA wie oben beschrieben entwickelt, so wüssten wir unter Umständen extrem wenig über sein Innenleben.

AlphaZero ist – wie andere moderne Deep-Learning-Systeme – in gewisser Weise sehr schlecht verstanden. Wir wissen, dass es „funktioniert“. Sein „Denkprozess“ ist uns jedoch schleierhaft.

Wenn wir wissen wollen, warum AlphaZero einen bestimmten Schachzug gemacht hat, können wir nicht in seinen Code schauen, um Ideen wie „Kontrolliere die Mitte des Bretts“ oder „Versuche, meine Dame nicht zu verlieren“ zu finden. Hauptsächlich sehen wir lediglich eine große Anzahl von Zahlen, welche die Stärke der Verbindungen zwischen verschiedenen künstlichen Neuronen angeben. Wie bei einem menschlichen Gehirn können wir meist nur vermuten, was die verschiedenen Teile des „digitalen Gehirns“ tun⁹ (obwohl es erste Versuche gibt, das zu tun, was man „digitale Neurowissenschaft“ nennen könnte).

Die „Schöpfer“ von AlphaZero (siehe oben) brauchten keine konkrete Vorstellung davon, wie ihre Denkprozesse funktionieren würden. Im Wesentlichen richteten sie die Maschine so aus, dass sie viel ausprobiert und sich weiterentwickelt, um letztlich ein bestimmtes Ergebnis zu erzielen (das Spiel zu gewinnen). Auch der Mensch entwickelte sich in erster Linie durch Versuch und Irrtum, wobei der Selektionsdruck gewisse Ergebnisse förderte (Überleben und Fortpflanzung – auch wenn die Selektion anders funktionierte).

Wie Menschen können auch PASTA-Systeme gut darin sein, die Ergebnisse zu erzielen, die ihnen durch externen Druck vorgegeben sind. Aber genauso könnten sie im Laufe der Zeit lernen, zu denken und alle möglichen anderen Dinge zu tun — Vorgänge, von denen die Entwickler möglicherweise nichts mitbekommen.

Da PASTA-Systeme auf die Förderung des wissenschaftlichen und technologischen Fortschritts ausgerichtet sind, könnten sie jede Gelegenheit nutzen, dieser Aufgabe nachzugehen. Das könnte bedeuten, dass sie –  sofern sich die Gelegenheit bietet – versuchen würden, die Galaxie mit festen Siedlungen zu füllen, die allesamt im Dienste der Wissenschaft stehen.

Möglicherweise entsteht PASTA auch als Nebenprodukt eines anderen Unternehmens. Vielleicht versuchen die Menschen zum Beispiel, Systeme so zu trainieren, dass sie Geld verdienen oder Macht und Ressourcen anhäufen, und sie für den wissenschaftlichen und technologischen Fortschritt zu trimmen wird nur ein Teil davon sein. In diesem Fall könnten PASTA-Systeme als reine Macht- und Ressourcensammler enden und versuchen, die gesamte Galaxie unter ihre Kontrolle zu bringen.

Vielleicht werden PASTA-Systeme letzten Endes auch sehr seltsame,  „zufällige“ Ziele haben. Vielleicht stellt ein PASTA-System fest, dass es „erfolgreich“ ist (ein positives Trainingssignal erhält), wenn es etwas tut, was ihm die direkte Kontrolle über eine größere Menge an elektrischer Energie gibt (ist dies doch oft das Resultat von technologischem Fortschritt und/oder einem Zuwachs von Geld), und es wird direkt damit beginnen, sein Angebot an elektrischer Energie so weit wie möglich zu erhöhen – wobei der Unterschied zwischen diesen beiden Zielen erst bemerkt wird, wenn er wirklich gravierend ist.  (Analogie: Die Menschen stehen unter dem Selektionsdruck, ihre Gene weiterzugeben, aber vielen geht es letztendlich mehr um Macht, Status, Vergnügen usw. als um die Gene).

Dies sind beängstigende Szenarien, wenn wir bedenken, dass es hier um KI-Systeme (oder Sammlungen von Systemen) geht, die zumindest in einigen Bereichen leistungsfähiger sein könnten als der Mensch. 

• PASTA-Systeme könnten versuchen, Menschen auszutricksen und zu besiegen, um ihre Ziele zu erreichen.
• Dieses Unterfangen könnte erfolgreich sein, wenn es ihnen gelänge, die Menschheit zu überlisten und/oder zahlenmäßig zu übertreffen, kritische Systeme zu hacken und/oder stärkere Waffen zu entwickeln. (So wie der Mensch im Allgemeinen in der Lage war, andere Lebewesen zu besiegen, um seine Ziele zu erreichen.)
• Alternativ könnte es zu Konflikten zwischen verschiedenen PASTA-Systemen mit unterschiedlichen Zielen kommen, die vielleicht teilweise (aber nicht vollständig) von Menschen mit eigenen Zielen gesteuert werden. Dies könnte zu allgemeinem Chaos und einer schwer vorhersehbaren, möglicherweise sehr schlechten langfristigen Situation führen.

Wenn du an weiteren Diskussionen zu der Frage interessiert bist, ob eine KI ihre eigenen Ziele haben könnte oder würde, empfehle ich dir Warum die Kontrolle von KI mit modernen Deep Learning-Methoden schwierig sein könnte (Cold Takes-Gastbeitrag), Superintelligenz (Buch), The case for taking AI seriously as a threat to humanity (Vox-Artikel), Entwurf eines Berichts zu existenziellen Risiken durch nach Macht strebende KI (Analyse von Open Philanthropy) oder einen der zahlreichen weiteren Beiträge zu diesem Thema.¹⁰

Schlussfolgerung

Es ist schwer vorherzusagen, wie eine Welt mit PASTA aussehen könnte, aber zwei plausible Möglichkeiten, könnte folgendermaßen aussehen:

• PASTA könnte – durch eine explosionsartige Beschleunigung des wissenschaftlichen und technologischen Fortschritts – rasch zu einer Art digitalem Menschen und damit zu den transformativen Veränderungen führen, die ich in Digitale Personen wären eine noch größere Sache beschreibe.
• PASTA könnte zu Technologien führen, die in der Lage sind, die Menschheit auszulöschen, wie z.B. verheerende Biowaffen oder Roboterarmeen. Diese Technologie könnte von Menschen für ihre eigenen Zwecke eingesetzt werden, oder Menschen könnten so manipuliert werden, dass sie sie nichtsahnend nutzen, um PASTA bei der Verfolgung seiner eigenen Ziele zu helfen. Beides könnte zu einer Dystopie oder zur Auslöschung der Menschheit führen.

Die nächsten drei Beiträge legen dar, warum es wahrscheinlich ist, dass wir die Entwicklung von PASTA noch in diesem Jahrhundert erleben werden.

---

Fußnoten

1. Natürlich könnte die Antwort lauten „eine Fantastilliarde Jahre in der Zukunft" oder „nie". ↩︎
2. Siehe diesen Abschnitt von Forecasting TAI with Biological Anchors (Cotra (2020)) für eine vollständigere Definition des Begriffes „transformative KI". ↩︎
3. Entschuldigt. Aber ich denke, dass der Rest der Serie so etwas mehr Lesespaß bieten wird. ↩︎
4. Die Beispiele hier sind natürlich vereinfacht. So enthalten sowohl Deep Blue als auch AlphaGo einen erheblichen Anteil an “tree search", einem traditionell programmierten Algorithmus, der seinen eigenen Prozess von Versuch und Irrtum hat. ↩︎
5. Und sie können die Simulation langer Ketten zukünftiger Spielzustände beinhalten. ↩︎
6. Einige KI könnten verwendet werden, um die Originalität von Forschungsbeiträgen anhand der Art und Weise zu bestimmen, wie sie später zitiert werden; andere könnten verwendet werden, um die Originalität allein anhand des Inhalts und der bisherigen Literatur zu bestimmen. Erstere könnten zum Training der letzteren verwendet werden, indem sie ein „Das ist richtig"- oder „Das ist falsch"-Signal für die Beurteilung der Originalität liefern. Ähnliche Methoden könnten für das Training von KI zur Bewertung der Korrektheit von Dokumenten verwendet werden. ↩︎
7. Z. B. https://openai.com/blog/improving-language-model-behavior/. ↩︎
8. Aufgrund von Verbesserungen in Hardware und Software. ↩︎
9. Die Lage ist noch übler als bei Spaghetticode. ↩︎
10. Mehr Bücher: Human Compatible, Life 3.0 und The Alignment Problem. ↩︎