„Das wichtigste Jahrhundert“: Eine kurze Darstellung des Arguments

Dieser Beitrag wurde von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.

Dies ist ein Überblick darüber, wie sich die einzelnen Beiträge in der Reihe „Das wichtigste Jahrhundert„ auf das übergeordnete Argument beziehen. Als eine Art „Fahrplan“ bietet er einen guten Startpunkt, um ein Gefühl für das Zusammenspiel der einzelnen Teile zu bekommen.

Ich denke, wir haben guten Grund zu der Annahme, dass das 21. Jahrhundert das für die Menschheit wichtigste Jahrhundert sein könnte. Meiner Ansicht nach könnte dies am ehesten dadurch geschehen,  dass fortschrittliche KI-Systeme entwickelt werden, die zu explosivem Wachstum und wissenschaftlichem Fortschritt führen und uns schneller, als die meisten Menschen annehmen würden, in eine zutiefst ungewohnte Zukunft befördern könnten.

Genauer gesagt rechne ich mit einer beachtlichen Wahrscheinlichkeit dafür, dass:

1. wir in diesem Jahrhundert Technologien entwickeln werden, die uns in eine Position versetzen, in der der „Mensch, wie wir ihn kennen,“ nicht länger die treibende Kraft im Weltgeschehen wäre. Dies ist unsere letzte Chance zu gestalten, wie dieser Übergang vonstatten geht.
2. was auch immer die treibende Kraft im Weltgeschehen sein wird (vielleicht digitale Menschen, fehlausgerichtete KI oder etwas anderes),  äußerst stabile Zivilisationen gründen wird, die unsere gesamte Galaxie für Milliarden von Jahren bevölkern werden. Der Übergang, der in diesem Jahrhundert stattfindet, könnte all dies beeinflussen.

Ich halte es für sehr unklar, ob dies eine gute oder schlechte Sache wäre. Was zählt, ist, dass diese Entwicklung viele verschiedene Formen annehmen könnte, und wir die Chance haben, die Richtung dieser Entwicklung zu beeinflussen.

Ich glaube auch, dass das oben beschriebene Szenario nicht genügend Aufmerksamkeit, Diskussionen oder Investitionen erfährt, insbesondere von Menschen, deren Ziel es ist, die Welt zu verbessern. Von meinem Schreiben über „das wichtigste Jahrhundert“ erhoffe ich mir entweder, dies zu ändern, oder mehr Kritik anzuregen, die mich überzeugt, meine Meinung zu ändern. 

Dieser Text dient als Zusammenfassung und Überblick für eine 11-teilige Beitragsreihe zu diesen Punkten (wobei meine Beiträge selbst oft zusammenfassen, was andere Autoren in längerer Analysen erörtert haben). 

Unsere enorm wichtige Epoche

Der Beitrag Sämtliche möglichen Ansichten über die Zukunft der Menschheit sind verrückt argumentiert, dass zwei einfache Beobachtungen — (a) es erscheint wahrscheinlich, dass wir irgendwann in der Lage sein werden, uns in der gesamten Galaxie auszubreiten und (b) es scheint, dass keine andere Lebensform dies bisher getan hat — ausreichen, um zu zeigen, dass wir in einer unglaublich wichtigen Zeit leben. Ich veranschauliche dies mit einem Zeitstrahl der Galaxie.

Der Duplikator erklärt den grundlegenden Mechanismus, durch den das „irgendwann“ von oben zum „bald“ werden könnte: Die Fähigkeit, „den menschlichen Verstand zu kopieren“, könnte zu einer Produktivitätsexplosion führen. Dies bildet den Hintergrund für die nächsten Beiträge.

Digitale Personen wären eine noch größere Sache erörtert, wie realistisch erscheinende Technologien — insbesondere Mind-Uploads — zu

beispielloser Produktivität, größerer Kontrolle über die Umwelt und weiteren transformativen Veränderungen führen könnten. Das Ergebnis könnte eine stabile, galaktische Zivilisation sein, deren Merkmale aus heutiger Sicht völlig fremdartig sind.

Das Beschleunigungspotenzial unseres Jahrhunderts 

So kann’s nicht weitergehen untersucht das Wirtschaftswachstum und den wissenschaftlichen Fortschritt im Laufe der Menschheitsgeschichte. In den letzten paar Generationen war das Wachstum ziemlich konstant. Betrachtet man jedoch einen längeren Zeitraum, so scheint sich das Wachstum in jüngster Vergangenheit stark beschleunigt zu haben; tatsächlich nähert es sich seinem historischen Höhepunkt so rasch, dass es in nicht allzu ferner Zukunft zwangsläufig sistieren wird (es gibt nicht genug Atome in der Galaxie, um diese Wachstumsrate auch nur für weitere 10.000 Jahre beizubehalten).

Die Zeit, in der wir leben, ist ungewöhnlich und unbeständig. Anstatt auf mehr vom Gleichen zu setzen, sollten wir uns auf Stagnation (Verlangsamung von Wachstums und wissenschaftlichem Fortschritt), Explosion (weitere Beschleunigung) oder Zusammenbruch einstellen.

Prognose transformativer KI, Teil 1: Welche Art von KI? stellt die Möglichkeit von KI-Systemen vor, die den wissenschaftlichen und technologischen Fortschritt automatisieren, wodurch es zu einer explosiven Produktivitätssteigerung kommen könnte. Ich behaupte, dass solche Systeme „transformativ“ in dem Sinne wären, dass sie uns in eine neuartige Zukunft von völlig ungewohntem Charakter führen würden.

Warum die Kontrolle von KI mit modernen Deep Learning-Methoden schwierig sein könnte geht näher darauf ein, warum fortgeschrittene KI-Systeme „unkontrollierbar“ sein könnten, womöglich mit katastrophalen Folgen.

Prognose transformativer KI in diesem Jahrhundert

Prognose transformativer KI: Wie steht’s mit der Beweislast? argumentiert, dass wir die „Beweislast“ nicht zu hoch ansetzen sollten, wenn es um die Frage geht, ob eine transformative KI noch in diesem Jahrhundert entwickelt werden könnte, unter anderem weil unser Jahrhundert bereits in vielerlei Hinsicht beispiellos ist — ein Umstand, der auch ohne detaillierte Analysen von KI-Systemen erkennbar ist.

Sind wir „auf dem Wege“ zu transformativer KI? Wie wüssten wir das? erklärt die grundlegende Struktur von Prognosen zu transformativer KI, die Probleme, die bei dem Versuch aufkommen, transformative KI auf der Grundlage von Trends in der „Imposanz von KI-Fertigkeiten“ vorherzusagen und das Meinungsbild von KI-Forschenden zu Timelines für transformative KI.

Prognose transformativer KI: eine kurze Erklärung der „Bio-Anker-Methode“ fasst das Bio-Anker-Framework für die Prognose der Entwicklung von KI zusammen. Dieses Framework ist der Hauptfaktor in meinen spezifischen Prognosen.

Ich halte die Entwicklung transformativer KI innerhalb von 15 Jahren (bis 2036) für mehr als 10 % wahrscheinlich; ich halte es für circa 50 % wahrscheinlich, dass sie innerhalb von 40 Jahren entwickelt wird (bis 2060); und ich setze eine ~ ⅔ Chance dafür an, dass sie in diesem Jahrhundert entwickelt wird (bis 2100).

KI-Timelines: Wo die Argumente und die „Expert:innen“ stehen fasst kurz den Stand der Argumente zusammen und geht auf die Frage ein:

„Was sind die Expert:innenmeinungen zu all diesen Fragen?“

• Die Behauptungen, die ich aufstelle, widersprechen weder einem bestimmten Expert:innenkonsens, noch werden sie von einem solchen unterstützt (wobei die meisten zentralen Berichte, die ich hier zitiere, von externen Expert:innen geprüft wurden). Es sind vielmehr Behauptungen über Themen, für die es schlicht kein etabliertes Forschungsfeld gibt, und demnach keine Expert:innen, die sich mit diesen Themen befassen.
• Einige Leute mögen sich dafür entscheiden, alle Behauptungen zu ignorieren, die nicht aktiv von einem soliden Expert:innenkonsens unterstützt werden; aber ich denke nicht, dass wir das in diesem Fall tun sollten.

Implikationen 

Wie holt man aus dem wichtigsten Jahrhundert das Beste heraus? erörtert verschiedene, gegensätzliche Ansichten darüber, wie man das für die Menschheit wichtigste Jahrhundert so gut wie möglich gestalten kann — und gibt eine Liste von „gesichert hilfreichen Maßnahmen“, die wir trotz dieser Unsicherheit ergreifen können.

Der Aufruf zur Wachsamkeit steht anstelle eines „Aufrufs zum Handeln“. Angesichts all der Ungewissheit, mit der wir konfrontiert sind, denke ich nicht, dass Menschen vorschnell „etwas tun“ und dann einfach weitermachen sollten. Stattdessen sollten wir so viele solide und gute Maßnahmen ergreifen, wie wir es zum jetzigen Zeitpunkt können, und uns ansonsten stetig in eine Position bringen, die uns gutes Handeln erlaubt, wenn die Zeit reif ist. 

Einige weitere Beiträge, die manche Punkte in der Beitragsreihe genauer beleuchten:

• Einige zusätzliche Details dazu, was ich mit „das wichtigste Jahrhundert“ meine
• Eine Notiz zu historischem Wirtschaftswachstum: Was es für das Argument vom „wichtigsten Jahrhunderts“ bedeutet, wenn sich unser Verständnis von langfristigem Wirtschaftswachstum ändert.
• Mehr zu „mehreren Volkswirtschaften, die so groß sind wie die gesamte heutige Weltwirtschaft, pro Atom“: Eine Fortführung von So kann’s nicht weitergehen für die Skeptiker.
• Schwachstelle in „Das wichtigste Jahrhundert“: Volle Automatisierung: Hier räume ich ein, dass ich mehr auf die Frage hätte eingehen können, wie vollständig die Automatisierung durch KI sein muss, um die von mir erörterten Folgen herbeizuführen. Hier gebe ich einige zusätzliche Details zu diesem Punkt.
• Schwachstelle in „Das wichtigste Jahrhundert“: Lock-in: Ich hätte genauer beschreiben können, wie KI zu einem „Lock-in“ des Charakters der Zukunft des Universums führen könnte. In diesem Beitrag diskutiere ich die Frage etwas ausführlicher.
• Bei der „Bio-Anker“-Methode geht es ums Eingrenzen und nicht genaues Festlegen von KI-Timelines: mehr dazu, wie ich das „Bio-Anker-Framework“ genutzt habe, geschrieben für skeptische Leser.

Für jene, die selbst tiefergehende Recherchen anstellen möchten, habe ich hier einige zentrale Quellen dieser Serie zusammengestellt.