Dieser Beitrag wurde am 7. September 2021 von Holden Karnofsky im englischen Original auf Cold Takes veröffentlicht und im Jahr 2023 ins Deutsche übersetzt.
Inhaltsverzeichnis der Reihe
- „Das wichtigste Jahrhundert“: Eine kurze Darstellung des Arguments
- Die Beitragsreihe kurz zusammengefasst
- Sämtliche möglichen Ansichten über die Zukunft der Menschheit sind verrückt
- Der Duplikator
- Digitale Personen wären eine noch größere Sache
- So kann’s nicht weitergehen
- Prognose transformativer KI, Teil 1: Welche Art von KI?
- Warum die Kontrolle von KI mit modernen Deep Learning-Methoden schwierig sein könnte
- Prognose transformativer KI: Wie steht’s mit der Beweislast?
- Sind wir „auf dem Wege” zu transformativer KI? Wie wüssten wir das?
- Prognose transformativer KI: eine kurze Erklärung der „Bio-Anker-Methode“
- KI-Timelines: Wo die Argumente und die „Expert:innen“ stehen
- Wie holt man aus dem wichtigsten Jahrhundert das Beste heraus?
- Aufruf zur Wachsamkeit
- Digitale Personen: Häufig gestellte Fragen
Einige zusätzliche Erläuterungen (Englisch)
- Einige zusätzliche Details dazu, was ich mit „das wichtigste Jahrhundert“ meine
- Eine Notiz zu historischem Wirtschaftswachstum
- Mehr zu „mehreren Volkswirtschaften, die so groß sind wie die gesamte heutige Weltwirtschaft, pro Atom“
- Schwachstelle in „Das wichtigste Jahrhundert“: Volle Automatisierung
- Schwachstelle in „Das wichtigste Jahrhundert“: Lock-in
- Bei der „Bio-Anker“-Methode geht es ums Eingrenzen und nicht genaues Festlegen von KI-Timelines

Dieser Beitrag beginnt mit einer Zusammenfassung darüber, wann wir mit der Entwicklung einer transformativen KI rechnen sollten, basierend auf den verschiedenen Aspekten, die zuvor in dieser Reihe behandelt wurden.
Anschließend gehe ich auf die Frage ein: „Warum gibt es keinen soliden Expert:innenkonsens zu diesem Thema und was bedeutet das für uns?“
Ich schätze, dass es eine mehr als 10 %-ige Chance gibt, dass wir innerhalb von 15 Jahren (bis 2036) eine transformative KI sehen werden; eine ~ 50 %-ige Chance, dass wir sie innerhalb von 40 Jahren (bis 2060) sehen werden; und eine ~ ⅔ Chance, dass wir sie in diesem Jahrhundert (bis 2100) sehen werden.
(Unter „transformativer KI“ verstehe ich „eine KI, die leistungsstark genug ist, um uns in eine qualitativ andersartige Zukunft zu befördern.“ Ich habe bereits dafür argumentiert, dass fortschrittliche KI ausreichen könnte, um dieses Jahrhundert zum wichtigsten Jahrhundert zu machen.)
Das ist mein Gesamtfazit, das sich auf eine Reihe von technischen Berichten stützt, die sich der KI-Prognose aus verschiedenen Blickwinkeln nähern – viele davon wurden von Open Philanthropy in den letzten Jahren erstellt, als wir versuchten, ein umfassendes Bild der Prognose von transformativer KI zu entwickeln, um unsere langfristig angelegte Fördertätigkeit zu unterstützen.
Hier ist eine eine tabellarische Zusammenfassung der verschiedenen bereits besprochenen Perspektiven auf das Prognostizieren transformativer KI mit Link zu den detaillierteren Diskussionen in vorigen Beiträgen sowie den zu Grunde liegenden technischen Berichten:
| Thema | Prognose-Perspektive | Zentrale, detaillierte Texte (abgekürzte Titel) | Meine Takeaways |
| Geschätzte Wahrscheinlichkeiten transformativer KI | Expert:innenbefragung. Was erwarten KI-Forschende? | Evidenz von KI-Expert:innen | Die Expert:innenbefragung impliziert eine Wahrscheinlichkeit von ~ 20 % bis 2036; ~50 % bis 2060; ~ 70 % bis 2100. Leicht anders formulierte Fragen (einem kleineren Teil der Expert:innen gestellt) ergeben deutlich spätere Timelines. |
| Geschätzte Wahrscheinlichkeiten transformativer KI | „Bio-Anker“-Framework. Basierend auf üblichen Mustern davon, wie viel das „Training von KI“ kostet, wie viel würde es kosten, ein KI-Modell von der Größe eines menschlichen Gehirns so zu trainieren, dass es die schwierigsten Aufgaben erledigen kann, die ein Mensch erledigen kann? Wann wird das günstig genug sein, dass es jemand tun wird? | Bio-Anker, informiert durch Brain Computation | Wahrscheinlichkeiten von > 10 % bis 2036; ~ 50 % bis 2055; ~ 80 % bis 2100. |
| Perspektiven auf die Beweislast | Für ein jedes Jahrhundert ist es unwahrscheinlich, dass es das „wichtigste“ sein sollte. (Mehr dazu) | Dreh- und Angelpunkt; Reaktion auf die Hypothese vom Dreh- und Angelpunkt | Wir haben viele Gründe zu glauben, dass dieses Jahrhundert ein „besonderes“ ist – noch bevor wir uns Details zu KI anschauen. Viele wurden in vorigen Beiträgen beleuchtet; ein weiterer wird in der nächsten Reihe dieser Tabelle erwähnt. |
| Perspektiven auf die Beweislast | Was würde man über die Entwicklung transformativer KI prognostizieren, wenn man nur grundlegende Informationen dazu hätte, (a) wie viele Jahre Leute bereits an der Entwicklung transformativer KI gearbeitet haben; (b) wie „investiert“ sie darin sind (was die Zahl der KI-Forschenden und die Menge an genutzter Rechenleistung angeht); (c) ob sie es schon getan haben (bisher haben sie es nicht)? (Mehr dazu) | Semi-informative A-priori-Wahrscheinlichkeiten | Zentrale Schätzungen: 8 % bis 2036; 13 % bis 2060; 20 % bis 2100.1 Meiner Ansicht nach zeigt dieser Report, dass die Geschichte von KI kurz ist, Investitionen in KI sich schnell steigern und wir daher nicht allzu überrascht sein sollten, wenn transformative KI bald entwickelt wird. |
| Perspektiven auf die Beweislast | Wie wahrscheinlich ist „explosives Wachstum“ – definiert als > 30 % jährliches Wachstum der Weltwirtschaft – bis zum Jahr 2100 basierend auf Analysen ökonomischer Modell und der Wirtschaftsgeschichte? Ist das so wenig „normal“, dass wir an der Schlussfolgerung zweifeln sollten? (Mehr dazu) | Explosives Wachstum; Modellieren der menschlichen Trajektorie | Der Bericht zum Modellieren der menschlichen Trajektorie projiziert die Vergangenheit nach vorne, was explosives Wachstum zwischen 2043-2065 impliziert. Der Bericht zu explosivem Wachstum kommt zu folgendem Schluss: „Ich stelle fest, dass ökonomische Betrachtungen keinen guten Grund zum Zurückweisen der Möglichkeit, dass transformative KI dieses Jahrhundert entwickelt wird, darstellen. In der Tat gibt es plausible ökonomische Perspektiven laut denen explosives Wachstum in diesem Jahrhundert durch hinlänglich fortschrittliche KI-Systeme erwartbar ist.“ |
| Perspektiven auf die Beweislast | „Wie lauteten Prognosen zu KI … in der Vergangenheit und sollten wir unsere Ansichten heute anpassen, um Muster in früheren Prognosen zu berücksichtigen? … Wir sind der Ansicht begegnet, dass KI mehrfach anfällig für übermäßigem Hype war und dass wir daher erwarten sollten, dass die heutigen Projektionen wahrscheinlich zu optimistisch sind.“ (Mehr dazu) | Vergangene Prognosen über KI | „Der Höhepunkt des KI-Hypes scheint von 1956-1973 gewesen zu sein. Jedoch ist das Ausmaß des Hypes, das durch einige der am besten bekannten KI-Prognosen aus dieser Zeit impliziert wird, oft übertrieben.“ |
Ich erwarte, dass manche Leser nach Betrachtung dieser Perspektiven immer noch ein Gefühl des Unbehagens haben. Selbst wenn sie denken, dass mein Argument schlüssig ist, wundern sie sich: Wenn das stimmt, warum wird es nicht breiter diskutiert und akzeptiert? Welche Meinung haben Expert:innen dazu?
Meine Zusammenfassung der aktuellen Einschätzung von Expert:innen ist folgende:
- Es ist nicht so, dass die Aussagen, die ich treffe, irgendeinem bestimmten Expert:innenkonsens widersprechen würden. (Tatsächlich sind die Wahrscheinlichkeiten, die ich angegeben habe, nicht allzu weit von dem entfernt, was KI-Forschende scheinbar prognostizieren, wie ich in der ersten Reihe der Tabelle gezeigt habe.) Es gibt jedoch Anzeichen, dass die Forschenden nicht allzu tief über die Frage nachdenken.
- Die technischen Berichte von Open Philanthropy, auf die ich mich gestützt habe, wurden intensiv von Expert:innen begutachtet. Expert:innen im maschinellen Lernen haben Bio-Anker begutachtet; Neurowissenschaftler:innen begutachteten Brain Computation; Wirtschaftswissenschaftler:innen begutachteten Explosives Wachstum; Akademiker, die sich auf relevante Themen in den Bereichen der Unsicherheits- und/oder Wahrscheinlichkeitforschung konzentrieren, begutachteten Semi-informative A-priori-Wahrscheinlichkeiten.2 (Bei einigen dieser Gutachten gab es erhebliche Meinungsverschiedenheiten, aber in keinem dieser Punkte schienen die Berichte einem klaren Expert:innenkonsens oder der wissenschaftlichen Literatur zu widersprechen).
- Es gibt andererseits auch keinen aktiven, zuverlässigen Expert:innenkonsens, der Behauptungen wie „Es besteht eine mindestens 10 %-ige Chance, dass bis 2036 eine transformative KI entsteht“ oder „Es besteht eine gute Chance, dass wir uns im wichtigsten Jahrhundert für die Menschheit befinden“ unterstützt, so wie es z. B. bei der Notwendigkeit von Maßnahmen gegen den Klimawandel der Fall ist.
Im Endeffekt drehen sich meine Aussagen um Themen, für die schlicht und ergreifend kein „Feld“ von Expert:innen, die sich damit beschäftigen, existiert. Das ist an und für sich eine besorgniserregende Tatsache und ich hoffe, dass sich das ändern wird.
Sollten wir in der Zwischenzeit willens sein, nach der Hypothese vom „wichtigsten Jahrhundert“ zu handeln?
Im Folgenden bespreche ich:
- wie ein „KI-Prognose-Feld“ aussehen könnte.
- eine „skeptische Sichtweise“, die besagt, dass die derzeitigen Diskussionen zu dem Thema zu klein, homogen und isoliert sind (womit ich übereinstimme) – und dass wird daher nicht nach der Hypothese vom „wichtigsten Jahrhundert“ handeln sollten, bis es ein etabliertes Forschungsfeld gibt (womit ich nicht übereinstimme).
- Warum ich denke, dass wir die Hypothese in der Zwischenzeit ernst nehmen sollten, bis sich ein solches Feld entwickelt:
- Wir haben keine Zeit, auf einen soliden Expert:innenkonsens zu warten.
- Wenn es gute Gegenargumente gibt – oder potentielle zukünftige Expert:innen, die solche Gegenargumente entwickeln könnten – haben wir sie noch nicht gefunden. Je ernster die Hypothese genommen wird, desto wahrscheinlicher ist es, dass solche Gegenargumente auftauchen. (Auch bekannt als die Theorie des Cunningham Gesetzes: „Der beste Weg, eine richtige Antwort zu erhalten, ist, eine falsche Antwort zu geben.“)
- Ich denke, dass das ständige Beharren auf einem soliden Expert:innenkonsens ein gefährliches Denkmuster ist. Meiner Meinung nach ist es in Ordnung, ein gewisses Risiko der Selbsttäuschung und der Insularität einzugehen, um im Gegenzug das Richtige zu tun, wenn es am wichtigsten ist.
Welche Art von Expertise ist Expertise beim Prognostizieren der Entwicklung von KI?
Zu den in den oben aufgelisteten Fachberichten analysierten Fragen gehören:
- Werden die Fähigkeiten der KI mit der Zeit immer beeindruckender? (KI, Geschichte der KI)
- Wie können wir KI-Modelle mit tierischen/menschlichen Gehirnen vergleichen? (KI, Neurowissenschaften)
- Wie können wir die Fähigkeiten von KI mit denen von Tieren vergleichen? (KI, Ethologie)
- Wie können wir die Kosten für das Training eines großen KI-Systems für eine schwierige Aufgabe abschätzen, basierend auf Informationen, die wir über das Training früherer KI-Systeme haben? (KI, Kurvenanpassung)
- Wie können wir eine Schätzung über transformative KI vornehmen, die nur darauf basiert, wie viele Jahre/Forschende/Gelder bisher in das Feld geflossen sind? (Philosophie, Wahrscheinlichkeit)
- Wie wahrscheinlich ist ein explosionsartiges Wirtschaftswachstum in diesem Jahrhundert, basierend auf der Theorie und den historischen Trends? (Wachstumsökonomie, Wirtschaftsgeschichte)
- Wie hat sich der „KI-Hype“ in der Vergangenheit dargestellt? (Geschichte)
Wenn ich über die weitreichenden Auswirkungen der transformativen KI für das „wichtigste Jahrhundert“ spreche, habe ich auch Dinge erörtert wie „Wie machbar sind digitale Personen und die Errichtung von Siedlungen überall in der Galaxie?“ Diese Themen berühren Physik, Neurowissenschaften, Technik, Philosophie und vieles mehr.
Es gibt keinen offensichtlichen Beruf oder eine Qualifikation, die jemanden zu einer Expertin für die Frage macht, wann wir eine transformative KI erwarten können oder ob wir uns im wichtigsten Jahrhundert befinden.
(Ich würde insbesondere der Behauptung widersprechen, dass wir uns bei diesen Prognosen ausschließlich auf die KI-Forschenden verlassen sollten. Neben dem Umstand, dass sie offenbar nicht sehr gründlich über das Thema nachdenken, denke ich, sich auf Leute zu verlassen, die sich auf die Entwicklung immer leistungsfähigerer KI-Modelle spezialisiert haben, um uns zu sagen, wann eine transformative KI kommen könnte, ist so, als würde man sich auf Solarenergie-Forschungs- und -Entwicklungsunternehmen verlassen – oder auf Ölförderunternehmen, je nachdem, wie man es betrachtet – um Kohlenstoffemissionen und den Klimawandel vorherzusagen. Diese Berufsgruppe hat sicherlich eine relevante Perspektive. Aber die Vorhersage ist eine andere Tätigkeit als die Innovation oder die Entwicklung moderner Systeme).
Und ich bin mir nicht einmal sicher, ob diese Fragen die richtige Form für ein akademisches Fachgebiet haben. Der Versuch, transformative KI vorherzusagen oder die Wahrscheinlichkeit zu bestimmen, dass wir uns im wichtigsten Jahrhundert befinden, scheint:
- dem FiveThirtyEight Wahlmodell („Wer wird die Wahl gewinnen?“) ähnlicher als der akademischen Politikwissenschaft („Wie interagieren Regierungen und Wählerschaft?“);
- dem Handel auf den Finanzmärkten („Wird dieser Preis in Zukunft steigen oder fallen?“) ähnlicher als der akademischen Wirtschaftswissenschaft („Warum gibt es Rezessionen?“);3
- der Forschung von GiveWell („Welche Wohltätigkeitsorganisation hilft den Menschen pro Dollar am meisten?“) ähnlicher als der akademischen Entwicklungsökonomie („Was verursacht Armut und was kann sie verringern?“).4
Das heißt, dass mir unklar ist, wie eine natürliche „institutionelle Heimat“ für Fachwissen über transformative KI-Prognosen und „das wichtigste Jahrhundert“ aussehen würde. Aber man kann wohl mit Fug und Recht behaupten, dass es heute keine großen, soliden Institutionen gibt, die sich mit dieser Art von Fragen beschäftigt.
Wie sollten wir in Ermangelung eines zuverlässigen Expert:innenkonsens handeln?
Die skeptische Sichtweise
In Ermangelung eines soliden Expert:innenkonsenses erwarte ich, dass einige (oder eher die meisten) Menschen skeptisch sein werden, egal welche Argumente vorgetragen werden.
Hier eine Version einer sehr allgemeinen skeptischen Reaktion, für die ich recht viel Verständnis habe:
- Das ist alles einfach zu verrückt.
- Man stellt die übertriebene Behauptung auf, im wichtigsten Jahrhundert zu leben. Dieses Muster deutet auf Selbsttäuschung hin.
- Man bleibt bei dem Argument, dass die Beweislast nicht so groß sein sollte, da es unzählige Möglichkeiten gibt, in einer bemerkenswerten und instabilen Zeit zu leben. Aber … ich traue mir nicht zu, diese Behauptungen oder Ihre Behauptungen über KI oder wirklich alles zu diesen wilden Themen zu beurteilen.
- Mich beunruhigt, wie wenig Menschen sich mit diesen Argumenten auseinanderzusetzen scheinen. Darüber, wie klein, homogen und isoliert die Diskussion zu sein scheint. Insgesamt wirkt das Ganze eher wie eine Geschichte, die sich kluge Leute selbst erzählen – mit vielen Diagrammen und Zahlen, um sie zu rationalisieren – über ihren Platz in der Geschichte. Es fühlt sich nicht „echt“ an.
- Ruf mich also wieder an, wenn es ein ausgereiftes Feld von vielleicht Hunderten oder Tausenden von Expert:innen gibt, die sich gegenseitig kritisieren und bewerten und die zu einem ähnlichen Konsens gelangt sind wie beim Klimawandel.
Ich verstehe, wie man sich so fühlen kann, und ich habe mich auch manchmal so gefühlt – insbesondere bei den Punkten 1 bis 4. Aber ich werde drei Gründe nennen, warum Punkt 5 nicht richtig zu sein scheint.
Grund 1: Wir haben keine Zeit, auf einen soliden Expert:innenkonsens zu warten
Ich befürchte, dass sich die Ankunft der transformativen KI als eine Art Zeitlupenversion der COVID-19-Pandemie mit höheren Risiken entwickeln könnte. Wenn man sich die besten heute verfügbaren Informationen und Analysen ansieht, spricht vieles dafür, dass etwas Großes passieren wird. Aber die Situation ist im Großen und Ganzen ungewohnt; sie passt nicht in die Muster, mit denen unsere Institutionen regelmäßig umgehen. Und jedes zusätzliche Jahr des Handelns ist wertvoll.
Man könnte es sich auch als eine beschleunigte Version der Dynamik des Klimawandels vorstellen. Stell dir vor, die Treibhausgasemissionen würden erst seit kurzem ansteigen5 (statt seit der Mitte des 19. Jahrhunderts) und es gäbe kein etabliertes Gebiet der Klimawissenschaft. Es wäre eine wirklich schlechte Idee, Jahrzehnte auf das Entstehen eines Fachgebiets zu warten, bevor man versucht, die Emissionen zu reduzieren.
Grund 2: Cunninghams Gesetz („Der beste Weg, eine richtige Antwort zu bekommen, ist, eine falsche Antwort zu geben“) ist vielleicht unsere beste Hoffnung, den Fehler in diesen Argumenten zu finden
Aber ich meine es ernst.
Vor einigen Jahren hatten ein paar Kollegen und ich den Verdacht, dass die Hypothese des „wichtigsten Jahrhunderts“ wahr sein könnte. Doch bevor wir uns zu sehr darauf einließen, wollten wir sehen, ob wir fatale Schwachstellen in ihr finden konnten.
Eine Möglichkeit, unser Handeln in den letzten Jahren zu interpretieren, ist, dass wir alles getan haben, um zu herauszufinden, dass die Hypothese falsch ist.
Zunächst haben wir versucht, mit Leuten über die wichtigsten Argumente zu sprechen – KI-Forschende, Wirtschaftswissenschaftler:innen usw. Aber:
- Wir hatten eine vage Vorstellung von den Argumenten in dieser Serie (die wir größtenteils oder vielleicht sogar vollständig von anderen Leuten übernommen haben). Wir waren nicht in der Lage, sie klar und deutlich zu formulieren.
- Es gab viele wichtige Fakten, von denen wir dachten, dass sie sich wahrscheinlich bestätigen würden,6 die wir aber nicht genau festgehalten hatten und nicht zur Kritik vorlegen konnten.
- Insgesamt konnten wir nicht einmal genügend konkrete Argumente vorbringen, um den Anderen eine faire Chance zu geben, sie abzuschmettern.
Deshalb haben wir viel Arbeit in die Erstellung technischer Berichte über viele der Hauptargumente gesteckt. (Diese sind jetzt öffentlich zugänglich und in der Tabelle oben in diesem Artikel enthalten.) Dadurch waren wir in der Lage, die Argumente zu veröffentlichen und möglicherweise auf fatale Gegenargumente zu stoßen.
Dann haben wir externe Sachverständigengutachten in Auftrag gegeben.7
Ich spreche nur für meine eigene Meinung, aber die Hypothese des „wichtigsten Jahrhunderts“ scheint all dies überlebt zu haben. Nachdem ich die vielen Aspekte untersucht und mich eingehender mit den Details befasst habe, glaube ich noch stärker daran als zuvor.
Aber nehmen wir an, dass dies nur daran liegt, dass die wirklichen Expert:innen – Leute, die wir noch nicht gefunden haben, mit verheerenden Gegenargumenten – die ganze Sache so dumm finden, dass sie sich nicht damit herumplagen wollen. Oder nehmen wir an, dass es heute Menschen gibt, die eines Tages Expert:innen für diese Themen werden und diese Argumente widerlegen könnten. Was könnten wir tun, um dies zu erreichen?
Die beste Antwort, die mir eingefallen ist, lautet: „Wenn diese Hypothese bekannter, akzeptierter und einflussreicher würde, würde sie auch kritischer hinterfragt werden.“
Diese Serie ist ein Versuch, die Hypothese vom „wichtigsten Jahrhundert“ glaubwürdiger zu machen. Das wäre eine gute Sache, wenn die Hypothese wahr wäre; es scheint auch der beste nächste Schritt zu sein, wenn mein einziges Ziel darin bestünde, meine Überzeugungen zu hinterfragen und zu lernen, dass sie falsch ist.
Ich sage natürlich nicht, dass du die Hypothese des „wichtigsten Jahrhunderts“ akzeptieren oder fördern solltest, wenn sie dir nicht korrekt erscheint. Aber ich denke, wenn dein einziger Vorbehalt das Fehlen eines soliden Konsenses ist, erscheint es seltsam, die Situation weiterhin zu ignorieren . Wenn sich die Menschen generell so verhalten würden (und jede Hypothese ignorieren würden, die nicht durch einen soliden Konsens gestützt wird), dann weiß ich nicht, wie irgendeine Hypothese – auch eine wahre – vom Randbereich zur Akzeptanz gelangen könnte.
Grund 3: ein so allgemeiner Skeptizismus scheint eine schlechte Idee zu sein
Als mich noch auf GiveWell konzentrierte, sagten die Leute gelegentlich etwas in der Art von: „Wissen Sie, man kann nicht alle Argumente auf den Standard bringen, den GiveWell für seine Top-Wohltätigkeitsorganisationen anlegt — Suche nach randomisierten kontrollierten Studien, zuverlässigen empirischen Daten usw. Einige der besten Gelegenheiten, Gutes zu tun, sind die, die weniger offensichtlich sind – diese Norm läuft also Gefahr, dass einige der größten Chancen, etwas zu bewirken, ungenutzt bleiben.“
Ich denke, das stimmt. Ich denke, es ist wichtig, den eigenen allgemeinen Ansatz in Bezug auf Argumentation und Beweisstandards zu überprüfen und sich zu fragen: „In welchen Szenarien versagt mein Ansatz und in welchen würde ich es wirklich bevorzugen, dass er erfolgreich ist?“ In meinen Augen ist es in Ordnung, ein gewisses Risiko der Selbsttäuschung und der Insularität einzugehen, wenn man im Gegenzug das Richtige tut, wenn es am wichtigsten ist.
Ich denke, das Fehlen eines soliden Expert:innenkonsens – und die Sorge vor Selbsttäuschung und Insularität – sind gute Gründe, die Hypothese vom „wichtigsten Jahrhundert“ genau zu untersuchen, statt sie sofort zu akzeptieren. Zu fragen, wo es einen unentdeckten Fehler geben könnte, nach einer Voreingenommenheit zu suchen, mit der wir unsere eigene Bedeutung aufblähen, die fragwürdig erscheinenden Teile des Arguments zu untersuchen usw.
Aber wenn du die Angelegenheit so weit untersucht hast, wie es für dich vernünftig/praktisch ist — und keinen anderen Fehler gefunden hast als Überlegungen wie „Es gibt keinen soliden Expert:innenkonsens“ und „Ich mache mir Sorgen über Selbsttäuschung und Insularität“ — dann denke ich, dass das Abschreiben der Hypothese die Art von Dingen ist, die im Grunde genommen garantiert, dass man nicht zu den ersten Leuten gehört, die ein enorm wichtiges Problem bemerken und handeln, wenn sich die Gelegenheit ergibt. Ich denke, das ist ein zu großes Opfer, wenn man bedenkt, dass man die Möglichkeit aufgibt, eine Menge Gutes zu tun.
Fußnoten
- Technisch gesehen sind diese Wahrscheinlichkeiten für „maschinelle Intelligenz auf menschlichem Niveau“. Im Allgemeinen vereinfacht dieses Diagramm die Dinge, indem es eine einheitliche Reihe von Wahrscheinlichkeiten präsentiert. Im Allgemeinen beziehen sich alle diese Wahrscheinlichkeiten auf etwas, das mindestens so fähig ist wie PASTA, so dass sie die Wahrscheinlichkeit von PASTA tendenziell unterschätzen sollten (obwohl ich nicht glaube, dass dies ein großes Problem ist). ↩︎
- Rezensionen zu Bio-Anker findest du hier; Rezensionen zu Explosive Growth hier; Rezensionen zu Semi-informative-A-priori-Wahrscheinlichkeiten hier. Brain Computation wurde zu einem früheren Zeitpunkt rezensiert, als wir den Prozess noch nicht auf die Veröffentlichung von Rezensionen ausgelegt hatten, aber über 20 Gespräche mit Experten, die in den Bericht eingeflossen sind, sind hier verfügbar. Human Trajectory wurde nicht geprüft, obwohl viele seiner Analysen und Schlussfolgerungen in Explosive Growth enthalten sind, das bereits geprüft wurde. Frühere KI-Prognosen wurden nicht geprüft. ↩︎
- Die akademischen Bereiche sind recht breit gefächert, und ich gebe hier nur Beispiele für Fragen, die sie behandeln. ↩︎
- Die Klimawissenschaft ist jedoch ein Beispiel für einen akademischen Bereich, in dem viel in Zukunftsprognosen investiert wird. ↩︎
- KI gibt es schon seit 1956, aber erst in den letzten zehn Jahren haben die Modelle des maschinellen Lernens begonnen, sich der Größe von Insektengehirnen anzunähern und relativ schwierige Aufgaben gut zu lösen. ↩︎
- Oftmals gaben wir einfach nur unsere Eindrücke von dem wieder, was andere, die viel über das Thema nachgedacht hatten, dachten. ↩︎
- Rezensionen zu Bio-Anker findest du hier; Rezensionen zu Explosive Growth hier; Rezensionen zu Semi-informative-A-priori-Wahrscheinlichkeiten hier. Brain Computation wurde zu einem früheren Zeitpunkt rezensiert, als wir den Prozess noch nicht auf die Veröffentlichung von Rezensionen ausgelegt hatten, aber über 20 Gespräche mit Experten, die in den Bericht eingeflossen sind, sind hier verfügbar. Human Trajectory wurde nicht geprüft, obwohl viele seiner Analysen und Schlussfolgerungen in Explosive Growth enthalten sind, das bereits geprüft wurde. Frühere KI-Prognosen wurden nicht geprüft. ↩︎
