Wie holt man aus dem wichtigsten Jahrhundert das Beste heraus? 

Dieser Beitrag wurde am 14. September 2021 von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.

  1. „Das wichtigste Jahrhundert“: Eine kurze Darstellung des Arguments
  2. Die Beitragsreihe kurz zusammengefasst
  3. Sämtliche möglichen Ansichten über die Zukunft der Menschheit sind verrückt
  4. Der Duplikator
  5. Digitale Personen wären eine noch größere Sache
  6. So kann’s nicht weitergehen
  7. Prognose transformativer KI, Teil 1: Welche Art von KI?
  8. Warum die Kontrolle von KI mit modernen Deep Learning-Methoden schwierig sein könnte
  9. Prognose transformativer KI: Wie steht’s mit der Beweislast?
  10. Sind wir „auf dem Wege” zu transformativer KI? Wie wüssten wir das?
  11. Prognose transformativer KI: eine kurze Erklärung der „Bio-Anker-Methode“
  12. KI-Timelines: Wo die Argumente und die „Expert:innen“ stehen
  13. Wie holt man aus dem wichtigsten Jahrhundert das Beste heraus?
  14. Aufruf zur Wachsamkeit
  15. Digitale Personen: Häufig gestellte Fragen
  1. Einige zusätzliche Details dazu, was ich mit „das wichtigste Jahrhundert“ meine
  2. Eine Notiz zu historischem Wirtschaftswachstum
  3. Mehr zu „mehreren Volkswirtschaften, die so groß sind wie die gesamte heutige Weltwirtschaft, pro Atom“
  4. Schwachstelle in „Das wichtigste Jahrhundert“: Volle Automatisierung
  5. Schwachstelle in „Das wichtigste Jahrhundert“: Lock-in
  6. Bei der „Bio-Anker“-Methode geht es ums Eingrenzen und nicht genaues Festlegen von KI-Timelines

 

 

In der Reihe „Das wichtigste Jahrhundert“ habe ich bereits für ein hohe Wahrscheinlichkeit1 argumentiert, dass es in den kommenden Jahrzehnten zu Folgendem kommen wird:

Ist dies eine optimistische oder eine pessimistische Sicht auf die Welt? Für mich ist es beides und keines von beidem, denn diese Reihe von Ereignissen könnte sich als sehr gut oder sehr schlecht für die Welt erweisen, je nachdem, wie sie sich entwickelt.

Wenn ich davon spreche, dass wir uns im „wichtigsten Jahrhundert“ befinden, meine ich damit nicht nur, dass bedeutende Ereignisse eintreten werden. Ich meine damit, dass wir, die Menschen, die in diesem Jahrhundert leben, die Chance haben, einen enormen Einfluss auf eine große Zahl von Menschen zu haben – wenn wir die Situation gut genug einschätzen können, um hilfreiche Maßnahmen zu finden.

Aber es ist auch wichtig zu verstehen, warum das ein großes „Wenn“ ist – warum das wichtigste Jahrhundert ein schwieriges strategisches Bild bietet, so dass viele Dinge, die wir tun können, die Dinge besser oder schlechter machen könnten (und es schwer zu sagen ist, was von beidem).

In diesem Beitrag werde ich zwei gegensätzliche Ansätze vorstellen, wie man das Beste aus dem wichtigsten Jahrhundert machen kann:

  • Der „Vorsichts“-Rahmen. In diesem Rahmen sind viele der schlechtesten Ergebnisse auf eine zu schnelle, überstürzte oder unbedachte Entwicklung von Dingen wie PASTA zurückzuführen. Eventuell müssen wir eine (möglicherweise globale) Koordinierung erreichen, um den Druck zum Wettlauf abzuschwächen, und angemessene Sorgfalt walten lassen. (Vorsicht)
  • Der „Wettbewerbs“-Rahmen. Hier liegt der Fokus nicht darauf, wie und wann PASTA entwickelt wird, sondern darauf, wer (welche Regierungen, welche Unternehmen usw.) zuerst von der daraus resultierenden Produktivitätsexplosion profitiert. (Wettbewerb)
  • Menschen, die den Fokus auf „Vorsicht“ legen, und Menschen, die den Fokus auf „Wettbewerb“ legen, bevorzugen oft sehr unterschiedliche, sogar widersprüchliche Maßnahmen. Handlungen, die den Menschen in dem einen Rahmen wichtig erscheinen, erscheinen dem Menschen in dem anderen Rahmen oft aktiv schädlich.
    • Ich befürchte, dass der „Wettbewerbs“-Rahmen standardmäßig überbewertet wird, und erkläre im Folgenden, warum. (Mehr)
    • Um mehr Klarheit darüber zu gewinnen, wie diese Rahmen zu gewichten sind und welche Maßnahmen am ehesten hilfreich sind, brauchen wir weitere Fortschritte bei offenen Fragen über die Größe verschiedener Risiken transformativer KI. (Offene Fragen)
  • In der Zwischenzeit gibt es einige zuverlässig hilfreiche Maßnahmen, welche die Aussichten der Menschheit wahrscheinlich verbessern können. (Zuverlässig gute Maßnahmen)

Der „Vorsichts“-Rahmen

Ich habe ausgeführt, dass es in diesem Jahrhundert mit großer Wahrscheinlichkeit zu einem Übergang in eine Welt kommen wird, in der  digitale Personen oder fehlausgerichtete KI (oder sonst etwas, was sehr anders ist als die heutigen Menschen) die Hauptkraft im Weltgeschehen sind.

Der „Vorsichts“-Rahmen unterstreicht, dass einige Arten des Übergangs besser zu sein scheinen als andere. Aufgeführt in der Reihenfolge von der schlechtesten zur besten Art:

Am schlechtesten: fehlausgerichtete KI

Diese Möglichkeit habe ich  zuvor erörtert, gestützt auf eine Reihe anderer und eingehenderer Diskussionen.2 Die Grundidee ist, dass KI-Systeme ihre eigenen Ziele verfolgen und versuchen könnten, sich im Weltraum auszubreiten, um diese Ziele zu erreichen. Der Mensch bzw. alles, was für den Menschen von Wert ist, könnte an den Rand gedrängt (oder zum Aussterben gebracht werden, wenn wir andernfalls im Weg stünden).

Am zweitschlechtesten:3  Gegnerische Technologische Reife

Wenn wir an den Punkt gelangen, an dem es digitale Menschen und/oder (kontrollierbare) KI-Systeme gibt, die sich selbst unbegrenzt kopieren und sich im gesamten Weltraum ausbreiten können, könnte es einen starken Druck geben, sich so schnell wie möglich zu bewegen – und (durch Kopieren) zu vermehren – um mehr Einfluss über die Welt zu gewinnen. Dies könnte dazu führen, dass verschiedene Länder/Koalitionen wütend versuchen, einander auszustechen und/oder zu offenen militärischen Konflikten, da sie wissen, dass in kurzer Zeit viel auf dem Spiel stehen könnte. 

Ich würde erwarten, dass diese Art von Dynamik das Risiko birgt, dass ein Großteil der Galaxie in einen schlechten Zustand gerät.4 

Ein solcher schlechter Zustand wäre „permanent unter der Kontrolle einer einzigen (digitalen) Person (und/oder ihrer Kopien) stehen“. Aufgrund des Potenzials digitaler Personen, stabile Zivilisationen zu schaffen, scheint es, dass ein bestimmtes totalitäres Regime in weiten Teilen der Galaxis auf Dauer Fuß fassen könnte.

Völker/Länder/Koalitionen, die sich gegenseitig verdächtigen, eine derartige Gefahr darzustellen – potenziell stabile Zivilisationen unter ihrer Kontrolle zu errichten – könnten miteinander konkurrieren und/oder sich frühzeitig gegenseitig angreifen, um dies zu verhindern. Dies könnte zu einem Krieg mit schwer vorhersehbarem Ausgang führen (aufgrund des schwer vorhersehbaren technologischen Fortschritts, den PASTA bewirken könnte).

Am zweitbesten: Verhandeln und Governance

Länder könnten einer derartigen Dynamik der gegnerischen technologischen Reife vorbeugen, und zwar durch vorausschauendes Planen und Verhandeln. So könnte beispielsweise jedem Land — oder jeder Person — gestattet werden, eine bestimmte Anzahl digitaler Menschen zu schaffen (vorbehaltlich des Schutzes der Menschenrechte und anderer Vorschriften), die auf eine bestimmte Region des Weltraums beschränkt sind. Es scheint, als gäbe es hier eine riesige Bandbreite unterschiedlicher potenzieller Details, von denen einige viel besser und gerechter sind als andere.

Am besten: Reflexion

Die Welt könnte ein ausreichend hohes Maß an Koordinierung erreichen, um unumkehrbare Schritte zu verzögern (auch den Anstoß zu einer Dynamik der gegnerischen technologischen Reife).

Es könnte dann zu etwas kommen wie das, was Toby Ord (in The Precipice) die „Lange Reflexion“ nennt:5 einen längeren Zeitraum, in dem die Menschen gemeinsam über Ziele und Hoffnungen für die Zukunft entscheiden können, die im Idealfall einen möglichst fairen Kompromiss zwischen verschiedenen Perspektiven darstellen. Es ist vorstellbar, dass fortschrittliche Technologien dazu beitragen können, dass dies viel besser funktioniert als heute.6

Es gibt unendlich viele Fragen darüber, wie eine solche „Reflexion“ funktionieren würde und ob es wirklich eine Hoffnung gibt, dass sie zu einem einigermaßen guten und fairen Ergebnis führen könnte. Details wie „welche Arten von digitalen Menschen werden zuerst geschaffen“ könnten enorm wichtig sein. Derzeit gibt es kaum Diskussionen über diese Art von Thema.7

Anderes

Es gibt wahrscheinlich viele mögliche Arten von Übergängen, die ich hier nicht genannt habe.

Die Rolle der Vorsicht

Wenn die obige Reihenfolge richtig ist, dann sieht die Zukunft der Galaxie zu dem Ausmaß besser aus, zu dem:

Im Idealfall wäre jeder, der das Potenzial hat, etwas wie PASTA zu bauen, in der Lage, seine Energie darauf zu verwenden, etwas Sicheres (nicht unkontrollierbares) zu bauen und sorgfältig zu planen (und mit anderen darüber zu verhandeln), wie es eingeführt werden kann, ohne Eile oder Wettrennen. Mit diesem Gedanken im Hinterkopf, sollten wir vielleicht Dinge tun wie:

  • an der Verbesserung von Vertrauen und Kooperation zwischen Großmächten arbeiten.  Eventuell  mittels KI-zentrierter Versionen von Pugwash (einer internationalen Konferenz, die darauf abzielt, das Risiko militärischer Konflikte zu verringern), gegebenenfalls durch Aussprache gegen aggressive außenpolitische Schritte.
  • Regierungen und Investoren davon abhalten, Geld in die KI-Forschung zu stecken und KI-Labore dazu anhalten, die Auswirkungen ihrer Forschung gründlich abzuwägen, bevor sie diese veröffentlichen oder in größerem Umfang betreiben usw. Eine solche Verlangsamung der Dinge könnte der Forschung mehr Zeit für das Vermeiden von unkontrollierbarer KI verschaffen; mehr Zeit, um Vertrauen und Kooperationsmechanismen aufzubauen; mehr Zeit, um generell strategische Klarheit zu erlangen und es weniger wahrscheinlich zu machen, dass die Dynamik der gegnerischen technologischen Reife zunimmt.

Der „Wettbewerbs“-Rahmen

(Anmerkung: Es besteht eine gewisse Verwechslungsgefahr zwischen dem „Wettbewerbs“-Gedanken und der gegnerischen technologischen Reife.  Deshalb habe ich versucht, sehr unterschiedliche Begriffe zu verwenden. Den Unterschied erläutere ich in einer Fußnote.8) Der „Wettbewerbs-Rahmen“ ist weniger fokussiert auf die Art und Weise, wie der Übergang zu einer radikal anderen Zukunft vonstatten geht, als vielmehr auf die Frage, wer dabei die wichtigsten Entscheidungen trifft.

  • Wird etwas wie PASTA primär (oder zuerst) in Land X entwickelt, dann könnte die Regierung des Landes X viele wichtige Entscheidungen darüber treffen, ob und wie eine potenzielle Explosion neuer Technologien reguliert werden soll.
  • Außerdem  könnten die Personen und Organisationen, die zu diesem Zeitpunkt bei der Entwicklung von KI und anderen Technologien führend sind, bei solchen Entscheidungen besonders einflussreich sein.

Das bedeutet, dass es von enormer Bedeutung sein könnte, „wer bei der transformativen KI den Weg vorgibt“ – welches Land oder welche Länder, welche Personen oder Organisationen.

  • Werden die Regierungen, die den Weg für transformative KI bereiten, autoritäre Regime sein?
  • Bei welchen Regierungen ist es am wahrscheinlichsten, dass sie (tatsächlich) ein angemessenes Verständnis der Gefahren und Risiken haben, wenn sie wichtige Entscheidungen treffen?
  • Bei welchen Regierungen ist es am unwahrscheinlichsten, dass sie versuchen, fortschrittliche Technologien zu nutzen, um die Macht und Vorherrschaft einer bestimmten Gruppe zu festigen? (Leider kann ich nicht sagen, dass es hier besonders vielversprechende Kandidaten gibt).  Welche lassen am ehesten die Möglichkeit offen für so etwas wie „Vermeidung von eingerasteten Ergebnissen, so dass Zeit für allgemeinen globalen Fortschritt bleibt, um die Chancen auf ein gutes Ergebnis für alle zu erhöhen“?
  • Ähnliche Fragen stellen sich für die Menschen und Organisationen, die bei der transformativen KI eine Vorreiterrolle spielen. Welche sind am ehesten in der Lage, die Dinge in eine positive Richtung zu lenken?

Einige Leute sind der Meinung, dass wir heute zuversichtliche Aussagen darüber machen können, welche Länder und/oder welche Personen und Organisationen wir als Vorreiter für eine transformative KI ansehen sollten. Diese Menschen könnten sich für Maßnahmen wie diese einsetzen:

  • Erhöhung der Wahrscheinlichkeit, dass die ersten PASTA-Systeme in Ländern gebaut werden, die z. B. weniger autoritär sind, was z.B. bedeuten könnte, dass mehr Investitionen und Aufmerksamkeit für die KI-Entwicklung in diesen Ländern gefordert werden.
  • Unterstützung und Beschleunigung von KI-Laboren, die von Menschen geleitet werden, die wahrscheinlich kluge Entscheidungen treffen (z.B. darüber, wie man mit Regierungen zusammenarbeitet, welche KI-Systeme man veröffentlicht und einsetzt und welche man geheim hält, usw.)

Warum ich fürchte, dass der „Wettbewerb“ im Vergleich zur „Vorsicht“ überbewertet wird

Ich gehe grundsätzlich davon aus, dass sich viele Menschen eher für den „Wettbewerb“ als für die „Vorsicht“ entscheiden werden – aus Gründen, die ich für beunruhigend halte, wie zum Beispiel:

  • Ich gehe davon aus, dass die Menschen dazu neigen werden, sich übermäßig sicher zu sein, welche Länder, Organisationen oder Menschen sie als die „Guten“ ansehen.
  • Die Einstellung „Wettbewerb“ führt dazu, dass Maßnahmen ergriffen werden, die lukrativ und aufregend sind und für die man sich leicht begeistern kann, wie z.B. die Beschleunigung der KI-Entwicklung in einem bestimmten Land oder einer Organisation. Der „Vorsichts“-Rahmen läuft diesen Zügen eher zuwider.
  • Die größten Bedenken, die der „Vorsichts“-Rahmen in den Fokus rückt – fehlausgerichtete KI und gegnerische technologische Reife – sind ein wenig abstrakt und schwer zu fassen. In vielerlei Hinsicht scheinen sie die Risiken zu sein, bei denen am meisten auf dem Spiel steht, aber es ist einfacher, Angst davor zu haben, „hinter Länder/Organisationen/ Menschen zurückzufallen, die mir Angst machen“, als Angst vor etwas wie „ein schlechtes Ergebnis für die ferne Zukunft der Galaxie zu erzielen, weil wir in diesem Jahrhundert zu schnell gehandelt haben“.
    • Ich denke, fehlausgerichtete KI ist für viele ein besonders schwer ernst zu nehmendes Risiko. Es hört sich verrückt und nach Science-Fiction an; Menschen, die sich darüber Sorgen machen, neigen dazu so interpretiert zu werden, dass sie sich etwas wie den Terminator vorstellen und es kann schwierig sein, ihre detaillierten Sorgen nachzuvollziehen.
    • Ich hoffe, in Zukunft mehr Beiträge dazu zu veröffentlichen, die eine Intuition dafür geben, warum ich denke, dass eine fehlausgerichtete KI ein echtes Risiko darstellt.

Um Zweifel zu vermeiden, möchte ich also anmerken, dass meiner Meinung nach viel für den „Vorsichts“-Rahmen spricht. Insbesondere fehlausgerichtete KI und gegnerische technologische Reife scheinen deutlich schlimmer als andere potentielle Arten des Übergangs und und beide scheinen Dinge zu sein, die eine echte Gefahr darstellen, die gesamte Zukunft unserer Spezies (und ihrer Nachfolger) viel schlechter zu machen, als sie sein könnte.

Ich befürchte, dass eine zu starke Betonung des „Wettbewerbs“-Rahmens dazu führen wird, dass das Risiko der Fehlausrichtung heruntergespielt wird und unsichere, unberechenbare Systeme überstürzt eingesetzt werden, was viele negative Folgen haben könnte.Vor diesem Hintergrund gebe ich trotzdem beiden Perspektiven ein gewisses Gewicht in meinem Denken. Ich bin mir insgesamt nicht sicher, welcher Rahmen wichtiger und hilfreicher ist (wenn es überhaupt einer ist).

Wichtige offene Fragen zu „Vorsicht“ vs. „Wettbewerb“

Menschen, die sich für „Vorsicht“, und Menschen, die sich für „Wettbewerb“ entscheiden, bevorzugen oft sehr unterschiedliche, sogar widersprüchliche Maßnahmen. Handlungen, die den Menschen in dem einen Rahmen wichtig erscheinen, sind für die Menschen in dem anderen Rahmen oft aktiv schädlich.

So befürworten beispielsweise Menschen, die dem „Wettbewerbs“-Rahmen zuzuordnen sind, häufig ein möglichst schnelles Voranschreiten bei der Entwicklung leistungsfähigerer KI-Systeme; für Menschen, die dem „Vorsichts“-Rahmen zuzuordnen sind, ist Eile eines der wichtigsten Dinge, die es zu vermeiden gilt. Menschen, die dem „Wettbewerbs“-Rahmen angehören, bevorzugen oft feindliche Außenbeziehungen, während Menschen, die dem „Vorsichts“-Rahmen angehören, sich oft kooperative Außenbeziehungen wünschen.

(Natürlich ist diese Dichotomie eine Vereinfachung. Viele Menschen – mich eingeschlossen – fühlen sich von beiden Perspektiven angesprochen. Und jede der beiden Sichtweisen könnte Handlungen implizieren, die normalerweise mit der anderen assoziiert werden. Man könnte zum Beispiel den „Vorsichts“-Rahmen vertreten, aber der Meinung sein, dass jetzt Eile geboten ist, um ein Land mit einem so deutlichen Vorsprung in der KI zu etablieren, dass es sich dann Zeit lassen kann, fehlausgerichtete KI vermeiden kann usw.)

Ich wünschte, ich könnte meinen Leser:innen zuversichtlich sagen, wie viel Gewicht sie den jeweiligen Perspektiven geben sollten und welche Maßnahmen wahrscheinlich am hilfreichsten sind. Das kann ich aber nicht. Ich denke, wir hätten eine bessere Idee davon, wenn wir bessere Antworten auf einige zentrale offene Fragen hätten:

Offene Frage: Wie schwierig ist das Problem der Ausrichtung von KI?

Der Weg in die Zukunft, der am schlechtesten erscheint, ist fehlausgerichtete KI,  in der KI-Systeme am Ende eigene, nicht mit dem Menschen kompatible Ziele verfolgen und versuchen, die Galaxie mit diesen Zielen im Sinn zu füllen. Wie ernst sollten wir dieses Risiko nehmen – wie schwer wird es sein, dieses Ergebnis zu vermeiden? Wie schwer wird es sein, das „Problem der Ausrichtung“ zu lösen, was im Wesentlichen bedeutet, die technische Fähigkeit zu besitzen, Systeme zu bauen, die dies nicht tun?9

  • Einige sind der Meinung, dass das Problem der KI-Ausrichtung gewaltig sein wird; dass unsere einzige Hoffnung auf eine Lösung in einer Welt liegt, in der wir enorm viel Zeit haben und nicht in einem Wettlauf um den Einsatz fortgeschrittener KI stehen und dass die Vermeidung des Ergebnisses „fehlausgerichtete KI“ die bei weitem wichtigste Überlegung für das wichtigste Jahrhundert sein sollte. Diese Menschen neigen dazu, die oben beschriebenen „Vorsichts“-Maßnahmen zu bevorzugen: Sie glauben, dass eine überstürzte KI-Entwicklung unser ohnehin schon beträchtliches Risiko des schlimmstmöglichen Ergebnisses noch erhöht.
  • Manche Menschen glauben, dass es einfach sein wird und/oder dass die ganze Idee der „unkontrollierbaren KI“ fehlgeleitet, albern oder sogar inkohärent ist – die Planung für ein zu spezifisches zukünftiges Ereignis. Diese Menschen sind oft mehr an den oben beschriebenen „Wettbewerbs“-Interventionen interessiert:  Sie sind der Ansicht, dass fortschrittliche KI wahrscheinlich von dem Land (oder in einigen Fällen von einer kleineren Koalition oder einem Unternehmen), das sie zuerst entwickelt, effektiv eingesetzt werden wird, so dass die Krux ist, wer sie zuerst entwickelt.
  • Und  viele Menschen liegen irgendwo dazwischen.

Die Streuung ist hier extrem. Man betrachte zum Beispiel diese Ergebnisse aus einer informellen „Umfrage mit zwei Fragen an ~117 Personen, die sich mit langfristigen KI-Risiken befassen, in der nach dem Ausmaß des existenziellen Risikos gefragt wurde, das entsteht, wenn die Menschheit nicht genug technische KI-Sicherheitsforschung betreibt und wenn KI-Systeme nicht das tun/optimieren, was die Menschen, die sie einsetzen, wollen/beabsichtigen.“ (Wie das Streudiagramm zeigt, gaben die Befragten ähnliche Antworten auf die beiden Fragen).

Wir haben Befragte, die glauben, dass es eine Chance von <5 % gibt, dass das Problem der KI-Ausrichtung die Güte der Zukunft drastisch reduzieren wird; Befragte, die glauben, dass diese Chance bei >95 % liegt; und so ziemlich alles dazwischen. Ich habe den Eindruck, dass dies ein angemessenes Abbild der Situation ist: Selbst unter den wenigen Leuten, die am meisten Zeit damit verbracht haben, über diese Fragen nachzudenken, gibt es praktisch keinen Konsens oder Konvergenz darüber, wie schwer das Problem der KI-Ausrichtung sein wird.

Ich hoffe, dass die Zahl der Personen, die sich mit der KI-Ausrichtungsforschung befassen, im Laufe der Zeit zunehmen wird, und dass wir mit dem Fortschreiten der KI- und KI-Ausrichtungsforschung Klarheit über die Schwierigkeit des Problems der KI-Ausrichtung gewinnen werden. Dies wiederum könnte mehr Klarheit über die Priorisierung von „Vorsicht“ gegenüber „Wettbewerb“ schaffen.

Andere offene Fragen

Selbst wenn wir Klarheit über die Schwierigkeit des Ausrichtungsproblems hätten, blieben viele heikle Fragen offen.

Sollten wir mit transformativer KI innerhalb der nächsten 10-20 Jahre rechnen oder erst viel später? Werden sich die führenden KI-Systeme schnell („plötzliches Abheben“) oder allmählich („langsames Abheben“) von sehr begrenzten zu sehr leistungsfähigen Systemen entwickeln?10 Sollten wir hoffen, dass staatliche Projekte eine wichtige Rolle bei der KI-Entwicklung spielen oder dass transformative KI in erster Linie aus dem privaten Sektor kommt? Ist es wahrscheinlicher, dass einige Regierungen auf eine transformative KI hinarbeiten, die sorgfältig, inklusiv und human eingesetzt wird, als andere? Auf welches Handeln sollten wir seitens einer Regierung (oder eines Unternehmens) hoffen, wenn sie die Fähigkeit erlangt, den wissenschaftlichen und technologischen Fortschritt durch KI dramatisch zu beschleunigen?

Mit diesen und anderen Fragen im Hinterkopf ist es oft sehr schwer, eine Maßnahme — wie die Gründung eines neuen KI-Labors, das Eintreten für mehr Vorsicht und Sicherheitsvorkehrungen bei der heutigen KI-Entwicklung usw. — zu betrachten und festzustellen, ob sie die Wahrscheinlichkeit guter langfristiger Ergebnisse erhöht.

Zuverlässig gute Maßnahmen

Trotz dieser Ungewissheit gibt es einige Handlungsoptionen, die schon heute eindeutig wertvoll erscheinen:

Technische Forschung zum Ausrichtungsproblem. Einige Forschende arbeiten an der Entwicklung von KI-Systemen, die „bessere Ergebnisse“ erzielen können (mehr Brettspiele gewinnen, mehr Bilder richtig klassifizieren usw.). Eine kleinere Gruppe von Forschenden arbeitet jedoch an Dingen wie:

Diese Art von Arbeit könnte sowohl das Risiko einer fehlausgerichteten KI verringern als auch zu mehr Klarheit darüber führen, wie groß die Bedrohung ist. Einiges hiervon findet in der Wissenschaft statt, einiges in KI-Laboren und einiges in spezialisierten Organisationen.

Streben nach strategischer Klarheit: Durchführung von Forschung, die sich mit anderen wichtigen Fragen (wie den oben genannten) befasst, um zu klären, welche Arten von Sofortmaßnahmen am sinnvollsten erscheinen.

Hilfe für Regierungen und Gesellschaften, um, nun ja, netter zu werden. Wenn man Land X dabei hilft, bei der KI-Entwicklung weiterzukommen als andere, kann das die Dinge aus den oben genannten Gründen besser oder schlechter machen. Aber es scheint in jedem Fall gut zu sein, auf ein Land X mit besseren, inklusiveren Werten hinzuarbeiten, und auf eine Regierung, deren wichtige Entscheidungsträger mit größerer Wahrscheinlichkeit durchdachte, an guten Werten orientierte Entscheidungen treffen.

Ideen verbreiten und Gemeinschaften aufbauen. Ich habe den Eindruck, dass es der Welt heute an Menschen mangelt, die bestimmte grundlegende Erwartungen und Anliegen teilen, wie etwa:

  • die Überzeugung, dass die KI-Forschung zu schnellen, radikalen Veränderungen von (wie hier beschrieben) extremer Art führen könnte (Effekte, die weit über etwa steigende Arbeitslosigkeit hinausgehen).
  • die Überzeugung, dass das (oben erörterte) Ausrichtungsproblem zumindest plausibel ist und dass der „Vorsichts“-Rahmen ernst zu nehmen ist.
  • die Betrachtung der gesamten Situation durch die Brille „Wir wollen langfristig das bestmögliche Ergebnis für die ganze Welt erzielen“, im Gegensatz zu den üblichen Ansichten wie „Wir wollen Geld verdienen“ oder „Wir wollen sicherstellen, dass unser Heimatland in der KI-Forschung weltweit führend ist“.

Ich halte es für sehr wertvoll, wenn mehr Menschen diese grundlegende Sichtweise teilen, insbesondere wenn sie für KI-Labore und Regierungen arbeiten. Wenn wir mehr strategische Klarheit darüber haben, welche Maßnahmen die Chancen für ein gutes Gelingen des „wichtigsten Jahrhunderts“ maximieren könnten, erwarte ich, dass diese Leute in einer günstigen Position sind, um einen Beitrag zu leisten.

Eine Reihe von Organisationen und Personen haben sich dafür eingesetzt, dass mehr Menschen die obige Sichtweise kennenlernen und mit anderen zusammenkommen, die diese Sichtweise teilen. Ich denke, dass dies zu einem guten Teil zu Fortschritten (in Bezug auf wachsende Gemeinschaften) geführt hat.

Spenden? Man kann heute etwa hier spenden. Aber ich muss zugeben, dass es derzeit im Großen und Ganzen keine klare Übersetzung von „Geld“ in „Verbesserung der Chancen, dass das wichtigste Jahrhundert gut verläuft“ gibt. Es ist nicht so, dass wir im Angesicht von Herausforderungen wie dem Ausrichtungsproblem und Risiken digitaler Dystopien aufatmen könnten, wenn wir einfach, sagen wir, eine Billion Dollar an den richtigen Ort schicken würden.

Ich habe den Eindruck, dass es uns derzeit – als Spezies – akut an Menschen mangelt, die den wichtigsten Herausforderungen, die vor uns liegen, im Entferntesten Aufmerksamkeit schenken, und dass wir uns nicht die Mühe gemacht haben, eine gute strategische Klarheit darüber zu erlangen, welche konkreten Maßnahmen zu ergreifen sind. Wir können dieses Problem nicht lösen, indem wir mit Geld um uns schmeißen.11  Zuallererst müssen wir das Thema ernster nehmen und besser verstehen.

Weiter in „Das wichtigste Jahrhundert“: Aufruf zur Wachsamkeit

Fußnoten

  1.  Aus Prognose transformativer KI: Wie steht’s mit der Beweislast?: „Ich glaube, die Wahrscheinlichkeit, dass wir eine Entität sehen werden, die PASTA hinreichend ähnelt um als „transformative KI“ durchzugehen, liegt innerhalb der nächsten 15 Jahre (bis 2036) bei über 10 %; innerhalb von 40 Jahren (bis 2060) bei ~50 %; und innerhalb dieses Jahrhunderts (bis 2100) bei ~⅔.“ ↩︎
  2. Dazu gehören die Bücher Superintelligenz, Human Compatible, Leben 3.0 und The Alignment Problem. Die prägnanteste, zugänglichste Präsentation, die ich kenne, ist The case for taking AI seriously as a threat to humanity (Vox-Artikel von Kelsey Piper). Dieses Gutachten zu existenziellen Risiken durch nach Macht strebende KI von Joe Carlsmith von Open Philanthropy legt ein detailliertes Set von Prämissen dar, die zusammen implizieren würden, dass das Problem ein ernstes ist. ↩︎
  3. Die Reihenfolge der Gutartigkeit ist natürlich nicht absolut. Es gibt Versionen von „Gegnerischer Technologischer Reife“, die schlimmer sein können als „Fehlausgerichte KI“ — zum Beispiel, wenn Ersteres dazu führt, dass die Macht an diejenigen geht, die vorsätzlich Leid zufügen. ↩︎
  4. Das liegt unter anderem daran, dass schnell handelnde, weniger vorsichtige Parteien schnell in der Überzahl sein und die Zukunft der Galaxie bestimmen könnten. Es gibt auch ein längerfristiges Risiko, das in Nick Bostroms The Future of Human Evolution erörtert wird; siehe auch diese Diskussion von Bostroms Ideen im Slate Star Codex, siehe aber auch diesen Beitrag von Carl Shulman, der argumentiert, dass diese Dynamik wahrscheinlich nicht zur völligen Ausmerzung schöner Dinge führen würde. ↩︎
  5. Siehe Seite 191. ↩︎
  6. Siehe etwa diesen Abschnitt in Digitale Personen wären eine noch größere Sache. ↩︎
  7. Eine relevante Arbeit: Public Policy and Superintelligent AI: A Vector Field Approach von Bostrom, Dafoe und Flynn. ↩︎
  8.  Gegnerische technologische Reife meint eine Welt, in der bereits eine höchst fortschrittliche Technologie entwickelt wurde, wahrscheinlich mit Hilfe von KI, und in der verschiedene Koalitionen um den Einfluss auf die Welt ringen. Im Gegensatz dazu bezieht sich der Begriff „Wettbewerb“ auf eine Strategie, die vor der Entwicklung fortgeschrittener KI relevant ist. Man könnte sich eine Welt vorstellen, in der eine Regierung oder eine Koalition einen „Wettbewerbs“-Rahmen einnimmt, fortgeschrittene KI lange vor anderen entwickelt und dann eine Reihe guter Entscheidungen trifft, die eine gegnerische technologische Reife verhindern. (Oder umgekehrt, eine Welt, in der ein ungünstiges Verfolgen des „Wettbewerbs“-Rahmens das Risiko einer gegnerischen technologischen Reife erhöht). ↩︎
  9. Siehe Definitionen des Problem auf Wikipedia oder Paul Christianos Blogpost dazu. ↩︎
  10. Diskussionen zu dem Thema sind unter anderem hier zu finden: Distinguishing definitions of takeoff - AI Alignment Forum ↩︎
  11.  Für mehr Gedanken dazu, wann „Geld nicht genug ist“, siehe diesen älteren GiveWell-Beitrag. ↩︎