Eigentlich lese ich Bücher über Maschinen, die klüger sein oder werden wollen als Menschen, nicht gerne; denn ich habe noch keines gefunden, das ‚auf dem Boden‘ der Wirklichkeit bleibt. Im Gegenteil, meistens strotzen sie von Hype und Hybris.
Mindestens zu Beginn erweckt Bostrom den Eindruck, auch in diesem Strom zu schwimmen: Schon zu Beginn des ersten Kapitels (Seite 4) schreibt er: «The main reason why progress (Anmerkung BB: in AI) has been slower than expected ist that the technical diffuculties of constructing intelligent machines have proved greater than the pioneers foresaw.» Als ob das Verständnis der menschlichen Intelligenz nicht die erste und schwierigste Voraussetzung für die Konstruktion sogenannt intelligenter Maschinen wäre!
Jedenfalls kommen im ersten Kapitel «Past developments and present capabilities» Stichworte wie ‚Kreativität, Intuition, Assoziationsvermögen, Zielfindung oder Teamwork‘ nicht vor. Also: Meine Skepsis bleibt, aber: Let’s give him (i.e. Bostrom) a chance to improve.
Immerhin. Bostrom macht in der Einleitung einen klaren Unterschied zwischen ‚artificial specific intelligence‘ (in der mit GOFAI – ‚good old-fashioned AI‘) Bemerkenswertes erreicht wurde, und ‚artificial general intelligence‘, bei der von den Prognosen, dass in 20 Jahren ein Durchbruch erreicht werden soll, nur die Anzahl Jahre konstant bleibt… Er liefert sogar einen Ansatz zu dem, was unter SUPERINTELLIGENCE versteht. Er zitiert dabei den Mathematiker aus Alan Turings Team, I. J. Good, der 1965 schrieb: «Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of such machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an ‚intelligence explosion‘, and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is he last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.»
In Chapter 2 «Paths to superintelligence» werden verschiedene denkbare Möglichkeiten dargelegt und analysiert, wie man zu dieser SUPERINTELLIGENCE kommen könnte:
- Herstellung künstlicher Intelligence über ein ‚re-enactment‘ der Evolution (der Autor nennt es ‚recapitulation‘), wobei alle Schritte der Evolution, welche der Entstehung und Entwicklung des menschlichen Gehirns dienten, nachgebildet werden sollen – und darüber hinaus, eben bis zurSUPERINTELLIGENCE
- ‚‚whole brain emulation‘: dabei wird über ein Schichten-Scanning eines toten ‚vitrifizierten‘ (d.h. in Glas verwandeltes) menschlichen Gehirns das Gehirn modelliert, woraus dann intelligente Software entstehen soll; es bleibt allerdings völlig unklar, wie aus der kristallisierten Struktur eines Gehirns Prozesse abgeleitet und modelliert werden sollen, und erst recht, wie aus einem einzigen oder wenigen eingescannten Gehirnen ein allgemein gültiges Intelligenz-Modell entstehen soll
- ‚biological cognition‘: hier geht es schlicht und ergreifend um die ‚Verbesserung‘ (enhancement) der Leistung des biologischen Gehirns, entweder durch ‚selective breeding‘, das allerdings wegen politischer und ethischer Bedenken und wegen des Zeitbedarfs für allfällige substantielle Resultate gleich wieder verworfen wird, oder durch Verbesserung der Ernährung oder Entgiftung der Umwelt, wovon jedoch keine grossen Fortschritte erwartet werden dürfen; biomedizinische Interventionen (Drogen) werden ebenfalls nicht weiter verfolgt, weil deren Erfolg zu gering sein dürfte; es verbleibt das weite Feld von genetischen Manipulationen, mit denen Resultate von ‚selective breeding‘ in wesentlich kürzerer Zeit erzielbar wären, wobei auch hier Zeiträume von 50 und mehr Jahren zur Diskussion stehen (abgesehen von ethischen und gesetzlichen Schranken, die zuerst beseitigt werden müssten…
Anmerkung BB: aus der Evolution ist bekannt, dass ein sehr direkter Zusammenhang zwischen Hirngrösse, Hirngewicht und Intelligenz besteht, sowie dass der Hirngrösse des Menschen durch biomechanische Randbedingungen und durch den Energiehaushalt enge Grenzen gesetzt sind; eine wesentliche Erhöhung der Intelligenz des menschlichen Gehirns müsste also auch durch physische ‚Neuerungen‘ des menschlichen Körpers unterstützt werden; davon redet Bostrom jedoch nicht.
- ‚brain-computer interfaces‘ (vom Autor ‚cyborgization‘ genannt): für direkte Interfaces erforderliche Hirn-Implantate zu gefährlich und zu umständlich (Lebensdauer, Software-Updates, etc.) – bestenfalls für Reparatur oder Therapie kranker oder verletzter Gehirne brauchbar, aber nicht für ‚enhancement‘ gesunder Hirne; ausserdem: konventionelle sensorische Interfaces zwischen Mensch und Computer genügen vollauf, u.a. auch weil die Geschwindigkeit direkter Interfaces vom Gehirn gar nicht aufgenommen werden könnte; direktes Interfacing von Hirn zu Hirn und Übertragung von Wissen von Mensch zu Mensch nicht realistisch, weil Semantik, Speicherung, Abruf von Informationen und Bedeutungen von Mensch zu Mensch zu unterschiedlich; Hauptgrund aus meiner Sicht (vom Autor leider nicht erwähnt: Lösung würde vollständige Kenntnis von Funktionsweise und Logik jedes Gehirns voraussetzen
- ‚networks and organizations‘: eine schrittweise Erweiterung von Netzwerken und Organisationsformen, welche Menschen und deren ‚minds‘ miteinander sowie mit ‚various artifacts and bots‘ (was immer das sein mag) verbinden, könnte im so gebildeten Gesamtsystem eine Art von superintelligence entstehen lassen – eine ‚collective superintelligence‘, auf die Bostrom im nächsten Kapitel näher eingehen will.
Der Autor erkennt schliesslich, dass der Weg ‚networks and organizations‘ impliziert, dass eine ‚general artificial intelligence‘ schon da sein müsste, um aus der Vernetzung von ‚Dingen‘ mit ‚minds‘ etwas Höheres, d.h. eben ‚superintelligence‘ erzeugen zu können; und diesen Weg hat er ja selbst bereits als unrealistisch verworfen.
Auch nach der Beschreibung dieser verschiedenen Pfade zur ‚superintelligence‘ bleibt diese für mich ein Phantom. Sie wird weder klar definiert, noch leuchten die aufgezeigten Wege ein, solange die ‚natürliche Intelligenz‘ nicht verstanden wird.
Trotzdem: es geht dabei in der gleichen Science Fiction-Tonart wie in der Einleitung weiter (Seiten 23/24): «We know that blind evolutionary processes can produce human-level general intelligence, since they have done so at least once. Evolutionary processes with foresight – that is, genetic programs designed and guided by an intelligent human programmer – should be able to achieve a similar outcome with far greater efficiency. … The existence of several examples of intelligence designed under these constraints should give us great confidence that we can achieve the same in short order. The situation is analogous to the history of heavier than air flight, where birds, bats and insects clearly demonstrated the possibility before our culture mastered it.» In meinen Augen ist es hanebüchen, die Evolution mit menschlichem Engineering zu vergleichen; die Implikation, dass menschliches Engineering je den Menschen erfunden und hergestellt haben könnte, ist schlicht und einfach anmassend, irr und an den Haaren herbeigezogen. Man bleibe nur beim Vergleich mit den fliegenden Tieren: alle anderen Aspekte als die schlichte Tatsache, dass unsere Flugzeuge sich in die Lüfte erheben und – wenn alles gut geht – wieder Boden unter die Räder bekommen können, bleiben unberücksichtigt. Wie sähe wohl der Vergleich aus, wenn Lärm- oder Luftimmissionen, Energiekonsum, Flugeigenschaften, oder die am Boden erforderliche Infrastruktur, etc. ebenfalls in den Vergleich einfliessen würden; oder alles Schädliche, Zerstörende und Bösartige, das man mit Flugzeugen begehen kann und begangen hat, was aber fliegenden Tieren, Vögeln oder Insekten – bis auf Moskito-Stiche, wozu sie allerdings nicht einmal fliegen können müssten – verwehrt ist. Ausserdem wer garantiert, dass ein Mensch, wenn er das Vorbild von Vögeln oder Fledermäusen nicht hätte, je auf die kreative Idee gekommen wäre, dass Fliegen etwas Gutes sein könnte? Bis jetzt kann der Mensch nur zeigen, dass er gewisse Eigenschaften, die im Verlauf der Evolution durch ‚trial and error‘, oder spontan (durch eine Sequenz von infinitesimal kleinen Schritten) über genetische Mutationen entstanden sind sowie durch ‚survival of he fittest‘ bis jetzt überlebt haben, mit Mimikry, auf jeden Fall durch ganz anderen Technikeinsatz nachahmen kann. Letztlich ist es absurd, die Herstellbarkeit von SUPERINTELLIGENCE – whatever that may be – durch den Menschen damit zu begründen, dass es der Evolution bereits gelungen ist, wenigstens ‚general normal intelligence‘ zu produzieren; die Logik impliziert, dass der Mensch nach wie vor die Krone der Schöpfung ist, was je gerade durch die Evolution widerlegt wird. Die Katze beisst sich ins eigene Gehirn…
In Kapitel 3 «Forms of superintelligence» beginnt Bostrom endlich, sich mit dem Wesen der sogenannten ‚superintelligence‘ zu befassen: Originalton Bostrom: «So what, exactly, do we mean by ‚superintelligence‘? While we do not wish to get bogged down (steckenbleiben, sich festfahren, sich verzetteln) in terminological swamps, something needs to be said to clarify the conceptual ground. This chapter identifies three forms of superintelligence, and argues that they are, in a practically relevant sense, equivalent. We also show that the potential for intelligence in a machine substrate is vastly greater than in a biological substrate. Machines have a number of fundamental advantages which will give them overwhelming superiority. Biological humans, even if enhanced, will be outclassed.»
So, jetzt wissen wir’s: Die natürliche Intelligenz brauchen wir nicht zu verstehen. Obwohl wir noch nicht wissen, was ‚superintelligence‘ ist – es gibt sie. Maschinen sind besser als der Mensch.
Ich bin jetzt auf Seite 52 von total 260 Textseiten (Anmerkungen, Bibliographie, etc. nicht inbegriffen). Die Fortsetzung der Lektüre wird zur Strafaufgabe; entsprechend wird sie kursorisch, und die Kommentare werden spartanisch.
Kapitel 4 setzt sich mit der Geschwindigkeit, in der die verschiedenen Wege zu einem Ergebnis führen können – Kaffeesatz lesen. Damit es klug tönt, lautet der Titel «The kinetics of an intelligence explosion»
Kapitel 5 befasst sich mit der Frage, ob am Ende eine einzige ‚superintelligent power‘ entstehen wird, oder mehrere – Kaffeesatz. Unter Anwendung der Evolutionslogik müsste eigentlich a priori feststehen, dass – falls überhaupt – mehrere entstehen müssten und nach dem Prinzip ‚survival of the fittest‘ miteinander konkurrieren, eventuell Krieg führen und am Ende die anpassungsfähigste Version überleben wird. Man kann oder sollte sich allerdings auch fragen, wie und weshalb es dem Menschen, der sich ja weder durch besonders intelligenten Umgang mit seiner Umwelt oder mit seinen Mitmenschen auszeichnet, je gelingen soll, ein ‚superintelligentes‘ Wesen zu konzipieren und herzustellen, das genau diese Schwächen (des Menschen) nicht haben sollte; umgekehrt gefragt: falls es dem Menschen gelingen sollte, ein solches Wesen zu entwickeln, wieso wählt er dann diesen komplizierten und gefährlichen Umweg, anstatt die menschliche Intelligenz schlicht und einfach besser zu machen und von den offensichtlichen bekannten menschlichen Schwächen zu erlösen.
Kapitel 6 «Cognitive superpowers» geht der Frage nach, ob ‚superintelligent machines‘ sich zu ‚superpowers‘ mausern und was sie alles anrichten könnten. Leider wird meine Frage, wie denn Maschinen, die vielleicht einmal viel intelligentere Maschinen selbst konzipieren könnten, diese auch physisch herstellen können sollten, nicht ebenfalls behandelt. Wie stellt ein superintelligenter Computer einen noch superintelligenteren Computer her? Baut er selber aus sich selbst heraus die erforderlichen Maschinen, oder versklavt er die Menschen – aber wie? – und zwingt er diese, als Produktions-Roboter zur Herstellung dieser Höllenmaschinen? Da scheint mir vieles noch gar nicht durchdacht…
Bostrom’s Terminologie wird immer vager. Die ‚superintelligenten Dinger‘ die er kommen sieht, nennt er manchmal ‚superinteligent powers‘, ‚singleton‘, ‚superpowers‘ oder ganz einfach ‚AI‘.
Unter einem ‚singleton‘ versteht Bostrom eine «sufficiently internally coordinated political structure with no external opponents»; und ein ‚wise singleton‘ ist «sufficiently patient and savvy about existential risks to ensure a substantial amount of well-directed concern for then very-long-term consequences of the system’s actions». Allerdings bleibt völlig rätselhaft, wie ein derartiger ‚singleton‘ entweder hergestellt oder sich aus einem AI-System selbständig weiter entwickeln und erst recht, wie er seine Herrschaft überhaupt ausüben könnte.
Die Vielfalt der Namen für die von Bostrom behandelten ‚superintelligenten‘ Wesen ist vielleicht ein Mass für die Vagheit der Konzepte. Jedenfalls will (mir) trotz der kreativen Ideen Bostroms nicht einleuchten, wie die von Menschen konzipierten und produzierten Maschinen sich eines Tages verselbständigen und zu ‚superpowers‘ mausern können sollten. Und falls es je möglich würde, wären diese Maschinen a priori auf dasjenige Potential begrenzt, das ihre Erfinder in sie hineingedacht und hineinprogrammiert hätten. Sie wären also ‚von Natur aus‘ anthropomorph, also auf die Konzepte und Möglichkeiten fixiert, die sich Menschen eben vorstellen und ausdenken können. Insofern sind Bostroms wiederholte Warnungen, bei AIs oder Superpowers nicht anthropomorph zu denken, etwas an den Haaren herbeigezogen, denn auch seine eigenen Vorstellungen, was von diesen ‚Dingern‘ erwartet werden könnte, bleibt er selbst auch ziemlich anthropomorph. Oder er behauptet einfach, sie hätten Eigenschaften, die man nicht konkret nennen oder beschreiben könne, weil sie ausserhalb des menschlichen, anthropomorphen Vorstellungsraums lägen.
Jedenfalls ist sein ‚AI takeover scenario‘, in welchem er beschreibt, dass und wie ein AI sich selbständig machen und die Macht übernehmen könnte, ziemlich abstrus und unglaubwürdig.
In Kapitel 7 «The superintelligent will» nimmt er uns die Angst davor wieder und zeigt Wege, wie man diese Ais auf gute Zwecke limitieren könnte. Aber schon die Idee, dass eine Maschine je eigene, d.h. nicht vom Design her in sie hineingelegte Ziele entwickeln könnte, ist befremdend.
Kapitel 8 «Is the default outcome doom?» ist dann wieder Kontrastprogramm. Es behandelt die Möglichkeit, Wahrscheinlichkeit, wenn nicht die Gewissheit, dass ein AI sich eigene Ziele setzt, die ausserhalb des menschlichen Wertesystems liegen, die Macht über die Welt übernimmt und letztlich die Menschen und die menschliche Zivilisation ausrottet. Die Beispiele allerdings sind in dem Sinn ‚rührend‘, als sie selbstverständlich anthropomorph gedacht sind und Ereignisse als Ergebnis eines ‚ ‚Amok laufenden AI‘ präsentieren, die wir aus der Gegenwart längst kennen: «a driverless truck crashes into oncoming traffic, a military drone fires at innocent civilians … the incidents to have been caused by judgment errors by the controlling AI». Zum Glück – oder leider, je nach Temperament – braucht es dafür weder Superpowers noch ‚AIs with superhuman general intelligence‘!
Ausserdem:
- Da ja offensichtlich die Menschen zu allem fähig sind, und es bisher auch stets fertig gebracht haben, jede Grenze, die von Menschen selbst gesetzt wurde, zu durchstossen, und jedes System, das Missbrauch verhindern sollte, zu überlisten, sehe ich nicht ein, dass das bei den von Bostrom erdachten Monstern nicht auch der Fall sein sollte. Für mich ist das ein klassischer Fall von «Die ich rief, die Geister / wird’ ich nun nicht los…» (Zauberlehrling, Goethe). Bostroms Erzählung suhlt sich hier im Sumpf der Hybris, weil die Menschen – nicht zum ersten Mal – Gott spielen wollen. Das muss schief gehen. Siehe dazu auch R.U.R. (Rossum’s Universal Robots) von Karel Ĉapek (1920).
- Bostrom scheint die uralte Definition des Unterschieds zwischen Mensch und Computer nicht zu kennen, oder nicht machen zu wollen: Der Computer ist eine ‚rule following‘ Maschine, der Mensch ein ‚goal seeking‘ Wesen. ‚goal seeking‘ nun impliziert ein Bewusstsein, die Fähigkeit, ‚ich will‘ denken oder sagen zu können. Der Computer hingegen kennt dieses ‚ich‘ nicht; er befolgt schlicht und einfach von aussen eingegebene Regeln, und zwar nach dem Prinzip, dass er macht, was ihm die Regel gebende Instanz sagt, und nicht das, was diese eventuell meint – womit ein weiterer zentraler Unterschied zwischen Maschine und Mensch festgehalten ist.
Ab Kapitel 9 wird die ganze Geschichte sehr spekulativ. Alle Vorbehalte und ‚caveats‘, die Bostrom zu Beginn zur ‚feasability‘ oder Wahrscheinlichkeit von ‚general AI‘ macht, sind jetzt inexistent. Er spekuliert und fantasiert ohne jede Einschränkung über alle denkbaren Aspekte solcher Wesen, wie wenn bereits feststünde, dass der Mensch sie konzipieren und realisieren könnte. In Kapitel 9 behandelt er das ‚control problem‘, also die Frage, wie superintelligente Wesen gesteuert und daran gehindert werden könnten, sich selbständig zu machen. In Kapitel 10 kategorisiert er diese Wesen in ‚oracles, genies, sovereigns, tools‘. Da erscheint zum ersten Mal explizit die Vorstellung, dass jede menschgemachte Software (gibt es überhaupt andere als menschgemachte?) in dem Sinne ein ‚tool‘ ist, als sie a priori das, und nur das tut, was in sie hineinprogrammiert ist (inklusive alle Fehler) – basta.
Bostrom definiert ein ‚tool‘ als ein ‚system not designed to exhibit goal-directed behaviour‘ – so weit so gut. Er gibt aber keine Antwort auf die Frage, wie denn aus einem Tool plötzlich ein ‚sovereign‘ werden kann, also ein ‚system that has an open-ended mandate to operate in the world in pursuit of broad and possibly very long-range objectives‘. Siehe dazu meine obigen Kommentare zur Frage der notwendigen Koppelung von Zielen und Ich-Bewusstsein. Immer impliziert Bostrom, dass ‚superintelligent AIs‘ ‚values and beliefs‘ haben müssen, leider auch hier, ohne eine konkrete Vorstellung zu entwickeln, wie sie dazu gelangen könnten.
In Kapitel 11 behandelt Bostrom die Frage, ob es denn im ‚superintelligent‘ Kontext auch möglich wäre, dass nicht ein singulärer ‚singleton‘ die Welt beherrschen könnte, sondern dass mehrere, untereinander konkurrierende ‚singletons‘ entstehen könnten. Er begnügt sich mit der Antwort, dass das Ergebnis unerwünscht wäre; und wendet sich in Kapitel 12 und 13 wieder der Frage zu, wie wir (ich nehme an, er meint uns, die menschlichen Menschen) die Steuerung über ein singuläres ‚singleton‘ behalten könnten; und ds halte ich, solange wir nicht einmal wissen, wie ein ‚singleton‘ entstehen oder hergestellt werden könnte, für ein ziemlich müssiges Gedankenspiel. in Kapitel 14 «The strategic picture» präsentiert Bostrom einige analytische Konzepte, die helfen sollen, über langfristige Gestaltungsfragen von Wissenschaft und Technologie nachzudenken (diese Formulierungen sind nicht meine Erfindung, sondern wortgetreue Übersetzungen des Originaltexts). Dazu gehören so bahnbrechende wie unbewiesene Behauptungen oder Prinzipien wie:
- «If scientific and technological development do not effectively cease, then all important basic capabilities that could be obtained through some possible technology, will be obtained.»
- Retard the development of dangerous and harmful technologies, especially ones that raise the level of existential risk; and accelerate the development of beneficial technologies, especially those that reduce the existential risks posed by nature or by other technologies.»
Wenn ich nur wüsste, wie derjenige, der Entwicklungen verlangsamen oder beschleunigen soll, im Vornhinein wissen soll, welche davon ‚existential risks‘ erhöhen oder vermindern, dann wäre ich jetzt klüger.
Als praktische Beispiele, wie ‚risks posed by nature‘ dank Superintelligenz eliminiert werden könnten, nennt Bostrom ‚asteroid impacts, supervolcanoes, and natural pandemics … for instance, via space colonization‘.
Die Superintelligenz hält wohl den Asteroiden eigenhändig auf, oder verstopft den Supervulkan mit Plastilin, oder findet irgendwo im Weltall den richtigen Impfstoff gegen den Verursacher einer Pandemie. Erstens hat all das wenig mit Superintelligenz zu tun, und mit Weltraumkolonien noch weniger…
Also bitte: so nicht!
Im Schlusskapitel 15 «Crunch time» geht’s – endlich – um die Wurst: «We find ourselves in a thicket of strategic complexity, surrounded by a dense mist of uncertainty. … What are we to do in this predicament?»
Leider ist die Aussicht nicht rosig: «Before the prospect of an intelligence explosion, we humans are like small children playing with a bomb. (Anmerkung BB: mit dem Unterschied, dass die kleinen Kinder nicht wissen, dass sie mit einer Bombe spielen, wir aber – jedenfalls nach der Lektüre Bostroms – sehr wohl!)Such is the mismatch between the power of our plaything and immaturity of our conduct. Superintelligence is a challenge for which we are not ready now and will not be ready for a long time.»