Spis treści
Wstęp: Trudne i łatwe przewidywania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
VII
CZĘŚĆ I
NIELUDZKIE UMYSŁY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
Rozdział 1. Szczególna moc ludzkości . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 2. Wyhodowana, a nie tworzona . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 3. Uczyć się chcieć . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 4. Nie dostaniecie tego, do czego ją trenujecie . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 5. Ulubione rzeczy AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 6. Przegralibyśmy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 13 23 31 47 59
CZĘŚĆ II
JEDEN SCENARIUSZ ZAGŁADY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
75
Rozdział 7. Uzyskanie świadomości . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 8. Ekspansja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 9. Kosmowstąpienie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Koda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
77 87 101 107
CZĘŚĆ III
W OBLICZU WYZWANIA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
109
Rozdział 10. Przeklęty problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 11. Alchemia, nie nauka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 12. „Nie chcę siać paniki” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 13. Wyłączyć to . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdział 14. Póki życia, póty nadziei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
111 123 135 145 153
Słowo końcowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Podziękowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . O autorach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Przypisy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Indeks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
161 163 165 167 179
Spis treści V
dokładnie drogą coś się potoczy, ale wiadomo, dokąd niemal wszystkie doprowadzą. Niektóre aspekty przyszłości da się przewidzieć, jeśli ma się odpowiednią wiedzę i samozaparcie; innych absolutnie nie. Kompetentna futurologia polega na rozpoznaniu, które się da, a które nie. Historia pokazuje, że pewien rodzaj relatywnie łatwych przewidywań przyszłości polega na uzmysłowieniu sobie, czy coś jest możliwe zgodnie z prawami fizyki, i zrozumieniu, że w takim razie prędzej czy później ktoś to zrobi. Loty czegoś cięższego od powietrza, broń jądrowa, loty załogowe na Księżyc – wszystkie te rzeczy przewidziano, i to prawidłowo, mimo oporów sceptyków, którzy przezornie zauważali, że takie rzeczy nie miały nigdy miejsca, więc prawdopodobnie nigdy się nie wydarzą. Ludzie mocujący skrzydła do ramion i skaczący z urwiska wydawali się głupcami, byli wyśmiewani przez im współczesnych, rzeczywiście ulegali wypadkom i ponosili porażki – lecz to i tak nie powstrzymało braci Wright przed odkryciem, jak latać. Oczywiście przewidzenie, kiedy dokładnie nastąpi przełom technologiczny, jest znacznie trudniejsze. Ludzie twierdzą, że jakaś technologia pojawi się za dwa lata, gdy w rzeczywistości powstała już 50 lat temu, albo że będzie dostępna dopiero za pół wieku, a faktycznie powstanie już za dwa lata i to właśnie oni ją stworzą. „Człowiek nie będzie latał nawet za tysiąc lat” – powiedział Wilbur Wright do swego brata Orville’a w 1901 roku, zniechęcony wielokrotnymi testami lotni bez napędu. Dwa lata później, w 1903 roku, bracia Wright wzbili się w powietrze. Skutecznie prognozowanie nie wiąże się z posiadaniem mądrości wystarczającej do antycypowania szczegółów, które są z zasady nieprzewidywalne. Nie chodzi o wymyślenie skończonej historii, która magicznym sposobem się spełni, raczej o wynajdywanie aspektów przyszłości, które są łatwe do przewidzenia, jeśli postrzega się je z odpowiedniej perspektywy. Nie wiemy, kiedy skończy się świat, jeśli ludzie i rządy nie zmienią nic w podejściu do sztucznej inteligencji. Nie wiemy, jak będą brzmiały nagłówki artykułów o AI za dwa lata albo dekadę ani nawet czy mamy jeszcze dziesięć lat w zapasie. Nie twierdzimy, że jesteśmy tacy mądrzy, że umiemy prognozować rzeczy trudne do przewidzenia. Uważamy raczej, że jeden szczególny aspekt przyszłości: „Co się stanie ze wszystkimi i wszystkim, jeśli superinteligencja powstanie w najbliższej przyszłości?” można – przy odpowiedniej wiedzy i ostrożnym rozumowaniu – łatwo przewidzieć. Zagłada ludzkości na skutek superinteligencji AI na pierwszy rzut oka może nie wydawać się oczywista, ale właśnie o tym jest reszta tej książki. Tak samo jak arytmetyka jest niezbędna do wyliczenia szans na wygraną w lotto,
WSTĘP Trudne i łatwe przewidywania
XI
a niektóre zasady termodynamiki, żeby przewidzieć, dlaczego kostka lodu prawdopodobnie się rozpuści, tak samo konieczna jest pewna podstawowa wiedza, by zrozumieć, dlaczego sztuczna inteligencja stanowi immanentne ryzyko dla ludzkości. Gdy te podstawy zostaną ujawnione, przewidywanie finału naszej obecnej trajektorii staje się ponuro, przerażająco jasne. ----------Nawet w obliczu nadludzkiej inteligencji maszynowej może kusić wyobrażenie sobie, że świat będzie wyglądał tak samo, jak podczas kilku dekad naszej relatywnie krótkiej egzystencji. To prawda, ale trudno pamiętać, że była kiedyś epoka, tak realny jak obecna, zaledwie kilka stuleci wstecz, kiedy cywilizacja wyglądała zupełnie inaczej. Normalność zawsze się kończy. Tysiące lat temu w ogóle nie było cywilizacji. Milion lat temu wielokomórkowe kolonie nie miały nawet wyspecjalizowanych komórek. Przyjęcie perspektywy historycznej może ułatwić uzmysłowienie sobie czegoś, co tak trudno dostrzec z perspektywy naszego krótkiego życia: że natura dopuszcza zakłócenia. Dopuszcza klęski. Dopuszcza, że świat już nigdy nie będzie taki sam. Dawno, dawno temu – około 2,5 miliarda lat temu – wydarzyło się coś, co biolodzy nazywają katastrofą tlenową. Nowa forma życia „nauczyła się” wykorzystywać energię słoneczną do pobierania cennego węgla z powietrza. Wydalała przy tym niebezpiecznie toksyczny i reaktywny odpad chemiczny, zatruwając niemal całe istniejące wówczas życie: był to tlen. Tak zaczęła powstawać atmosfera. Większość organizmów żywych – w tym większość bakterii wydalających tlen – nie podołała jego reaktywności i zginęła. Kilka rodzajów komórek mających szczęście zaadaptowało się i w końcu ewoluowało w organizmy, które wykorzystują tlen jako paliwo. Ale już nigdy „stara normalność” nie wróciła. Świat już nigdy nie był taki sam. Dawno temu kontynenty były nagą skałą. Potem, w mgnieniu ewolucyjnego oka, pokryły się roślinnością. Niedługo później pojawiły się kipiące życiem lasy – i świat znowu nigdy nie był taki sam. Dawno temu ludzie udomowili żyto i jęczmień. W ułamku mgnienia ewolucyjnego oka zaczęli tworzyć cywilizacje. Świat po raz kolejny już nie był taki sam. Dawno temu – w latach trzydziestych XX wieku – pojawiły się sygnały ostrzegawcze, że pewne rodziny już nie są bezpieczne w Niemczech. Niewielki ich odsetek szybko opuścił kraj; większość została. Wtedy nazistowskie władze odebrały im obywatelstwo i paszporty, przez co ucieczka stała się bardzo trudna. Po kilku latach niemieccy Żydzi i Romowie oraz kilka innych
XII
WSTĘP Trudne i łatwe przewidywania
nacji zostali ujęci i wysłani do obozów śmierci. Według świadków tamtych wydarzeń wiele rodzin zostało nie dlatego, że nie zauważyło nadchodzącego niebezpieczeństwa, lecz dlatego, że żyło nadzieją, iż życie wróci do normalności1, zanim sprawy posuną się za daleko. Dawno, dawno temu ludzkości była u progu stworzenia sztucznej superinteligencji… Normalność zawsze się kończy. Nie oznacza to, że nieuchronnie zastępowana jest przez coś gorszego; czasami tak faktycznie jest, czasami nie, a czasami zależy to od naszej reakcji. Ale kurczowe trzymanie się nadziei, że prawdziwe zło się nie wydarzy, zwykle nie jest najlepszym wyborem. Ludzie dzięki inteligencji mają umiejętność kształtowania przyszłości. Ta umiejętność działa jednak tylko wtedy, gdy jej używamy – kiedy robimy rzeczy, które trzeba zrobić, gdy ich potrzebujemy. Inaczej inteligencja nie ma żadnej mocy. Albo działa, gdy zmieniamy działania, albo nie działa wcale. ----------Nadchodzące miesiące i lata będą testem życia lub śmierci dla całej ludzkości. Mamy nadzieję, że nasza książka zainspiruje jednostki i całe rządy do stanięcia na wysokości zadania. W kolejnych rozdziałach przedstawiamy naukowe podstawy naszych obaw, analizujemy bodźce ekonomiczne dzisiejszej branży AI oraz wyjaśniamy, dlaczego sytuacja jest znacznie bardziej niebezpieczna, niż się wydaje. Prosto i przystępnie analizujemy krytycznie nowoczesne metody uczenia maszynowego oraz wyjaśniamy, dlaczego obecne metody są całkowicie niewystarczające, by tworzyć AI, która poprawi świat, zamiast go wykończyć. W części I wyjaśniamy problem: czym jest inteligencja, jak powstają współczesne AI i dlaczego tak trudno je zrozumieć? Czy AI mogą „chcieć” (mieć pragnienia) i czego mogą chcieć i czemu chciałyby nas zabić? W jaki sposób? Przewidujemy, że AI nas nie znienawidzą, lecz będą miały dziwaczne, obce nam preferencje, które będą realizować, aż cała ludzkość wyginie. W części II podsumowujemy te wszystkie argumenty i przedstawiamy opowieść o AI, która kończy świat podobny do naszego. Nie jest to dokładna prognoza, ponieważ szczegółowe ścieżki przyszłości są trudne do zdefiniowania. Jedyną częścią tej opowieści, która jest prognozą, jest zakończenie – i to tylko wtedy, gdy ludzie pozwolą, by podobna historia naprawdę się wydarzyła. W części III analizujemy trudność wyzwania stojącego przed ludzkością i prezentujemy przegląd obecnych reakcji. Jak dobrze firmy AI rozwiązują ten problem? Czemu świat nie zajmuje się tym z większym zaangażowaniem?
WSTĘP Trudne i łatwe przewidywania
XIII
Co społeczeństwa mogą zrobić inaczej, jeśli większość z nas zdecyduje się nie umrzeć? Co musiałoby się stać, aby Ziemia nie zbudowała superinteligencji maszynowej? Suplement online do książki dostępny jest na stronie IfAnyoneBuildsIt.com. Na końcu każdego rozdziału znajduje się adres URL i kod QR prowadzący do materiałów uzupełniających.
IfAnyoneBuidsIt.com/intro
Ludzie mają bardzo różne, często sprzeczne odczucia odnośnie do sztucznej inteligencji. Przez lata słyszeliśmy różnorodne pytania i zastrzeżenia wypowiadane z powodu rozmaitych założeń i punktów widzenia. W materiałach uzupełniających omawiamy więcej zastrzeżeń, niuansów i najczęściej zadawanych pytań, a także przedstawiamy niektóre z teoretycznych podstaw oraz rozwiniętych argumentów; ich publikacja sprawiłaby, że ta książka byłaby kilkakrotnie dłuższa i znacznie mniej przystępna. Jeśli po zakończeniu któregoś rozdziału pojawią się w waszych głowach obiekcje, zachęcamy do dalszej lektury online. Wiele rozdziałów otwieramy przypowieściami – historiami, które, mamy nadzieję, pomogą przekazać pewne kwestie prościej, niż byłoby to możliwe w inny sposób. Być może dodadzą też odrobinę lekkości tematowi, który sam w sobie jest trudny. Jest to zgodne z najstarszą tradycją – być może starszą niż ludzki gatunek w jego obecnej formie – by śmiać się w obliczu śmierci. ----------Przyznajemy: ta książka nie niesie dobrych wiadomości. Nie piszemy jej jednak tylko po to, by obwieścić, że jesteście skazani na zagładę. Sztuczna superinteligencja jeszcze nie istnieje. Ludzkość wciąż może zdecydować, by jej nie budować. W latach pięćdziesiątych XX wieku wiele osób spodziewało się wojny nuklearnej między światowymi mocarstwami. Biorąc pod uwagę wcześniejszą historię ludzkich konfliktów, istniały powody do pesymizmu. A jednak do dziś wojna nuklearna nie wybuchła. Nie dlatego, że bomby atomowe okazały
XIV WSTĘP Trudne i łatwe przewidywania
się czystą fantastyką naukową, która nigdy nie mogłaby zaistnieć w rzeczywistości. Stało się tak dlatego, że ludzie ciężko pracowali nad stworzeniem odpornych systemów mających zapobiec rozpoczęciu takiej wojny. Zrobili to, ponieważ przywódcy państw wiedzieli, że wybuch wojny nuklearnej zarówno dla nich, jak i dla obywateli ich krajów oznaczałby bardzo zły dzień. Mieliby również bardzo zły dzień, gdyby ktokolwiek gdziekolwiek na Ziemi stworzył maszynową superinteligencję. W niczyim interesie nie leży umrzeć wraz ze swoją rodziną i przyjaciółmi, swoim krajem i jego obywatelami. Zatrzymanie trwającej eskalacji technologii AI, objęcie kontrolą sprzętu wykorzystywanego do tworzenia coraz potężniejszych modeli w dzisiejszym świecie nie jest łatwe. Wymagałoby jednak znacznie mniej wysiłku niż, dajmy na to, prowadzenie II wojny światowej. Wystarczy, by niektóre państwa, przywódcy i wyborcy uświadomili sobie, że stoją w trudnej do oszacowania – ale być może bardzo małej – odległości od krawędzi śmierci. To zadanie nie będzie łatwe, ale jeszcze nie umarliśmy. Ludzka godność – i godność całej ludzkości – wymaga, byśmy podjęli walkę. Póki życia, póty nadziei.
CZ Ę Ś Ć I
Nieludzkie umysły
Rozdział
1
Szczególna moc ludzkości
WYOBRAŹCIE SOBIE – choć oczywiście nic takiego nigdy się nie wydarzyło, bo to tylko przypowieść – że biologiczne życie na Ziemi było wynikiem gry między bogami. Że istniał bóg tygrysów, który stworzył tygrysy, i bóg sekwoi, który stworzył sekwoje. Wyobraźcie sobie bogów poszczególnych gatunków ryb i bakterii. Wyobraźcie sobie, że ci gracze rywalizowali o dominację dla rodziny gatunków, której byli stworzycielami, w miarę jak kolejne formy życia przemierzały planetę. Wyobraźcie sobie, że jakieś dwa miliony lat przed naszymi czasami mało znany bóg człekokształtnych spojrzał na planszę gry wielkości planety. – Potrzebuję jeszcze kilku ruchów – powiedział bóg hominidów – ale sądzę, że wygraną mam w kieszeni. Zapadła kłopotliwa cisza, gdy inni bogowie przyglądali się planszy, próbując dostrzec, co przeoczyli. – Jak to? – zapytał bóg skorpionów. – Twoje hominidy nie mają pancerzy, pazurów ani jadu. – Mają mózgi – odparł bóg hominidów. – Pozarażam ich i wymrą – zagroził bóg ospy prawdziwej. – Chwilowo – odpowiedział bóg hominidów. – Twój koniec nadejdzie szybko, Ospo2 , gdy ich mózgi nauczą się z tobą walczyć.
ROZDZIAŁ 1 Szczególna moc ludzkości 3
– Ale oni nawet nie mają największych mózgów! – zauważył bóg wielorybów. – Nie chodzi tylko o rozmiar – odrzekł bóg hominidów. – Liczy się także konstrukcja. Daj im dwa miliony lat, a staną na księżycu swojej planety. – Jakoś nie bardzo rozumiem, gdzie w metabolizmie tych stworzeń powstaje paliwo rakietowe – powiedział bóg sekwoi. – Nie można po prostu wymyślić sobie sposobu na dotarcie na orbitę. W pewnym momencie gatunek musi wyewoluować metabolizm oczyszczający paliwo rakietowe i stać się odpowiednio duży, najlepiej wysoki i smukły, z twardą powłoką, żeby nie rozdął się i nie zginął w próżni kosmicznej. Bez względu na to, jak bardzo mocno twoje małpy będą myśleć, utkną na Ziemi. – Niektórzy z nas grają w tę grę od miliardów lat – powiedział bóg bakterii, rzucając bogu hominidów spojrzenie z ukosa. – Mózgi nie były dotąd wielką przewagą. – A jednak – odpowiedział bóg hominidów. ---------OTO JAK W RZECZYWISTOŚCI WYGLĄDA HISTORIA NASZEGO GATUNKU. Ludzie wykształcili niezwykle duże mózgi jak na zwierzęta tych rozmiarów. Ujarzmili ogień, zbudowali farmy, wytapiali żelazo. W zdumiewająco krótkim czasie – w skali ewolucji biologicznej – wylądowali na Księżycu, mimo że nasz metabolizm nie rafinuje paliwa rakietowego, a nasza skóra nie wytrzymuje próżni. Inne gatunki rodzą się ze specjalistycznymi umiejętnościami: pszczoły budują ule, bobry konstruują tamy. Człowiek patrzy na tamę bobra i rozumie, jak została zrobiona; nauczyliśmy się budować tamy bez wiedzy zapisanej w genach. Dziś grodzimy rzeki jak bobry, budujemy sobie domy jak pszczoły, tkamy sieci jak pająki. Budujemy elektrownie i rakiety kosmiczne, czego żaden inny gatunek nie potrafi. Ludzie umieją robić rzeczy, których nie robili nasi przodkowie i których nie potrafią inne zwierzęta, dzięki właściwości zwanej „inteligencją”. Geny nie zaprogramowały w nas większości umiejętności; zamiast tego obserwowa liśmy, próbowaliśmy, zapamiętywaliśmy, uogólnialiśmy – i osiągaliśmy cele. Zdolność uczenia się nie jest charakterystyczna tylko dla ludzi. Mózg myszy może nauczyć się poruszania w labiryncie. Nasz mózg potrafi zrobić lepszą wersję tego wszystkiego, co potrafi mózg myszy. Uczymy się przedzierać przez zawiłe ścieżki chemii, by wynaleźć tańsze nawozy. Przeprowadzamy
4 CZĘŚĆ I Nieludzkie umysły
złożone eksperymenty, odkrywamy prawa fizyki, wynajdujemy satelity. Możemy nawet umieszczać myszy w labiryntach i badać, jak się uczą. Ludzki mózg potrafi się poruszać po znacznie szerszym przekroju rzeczywistości niż mózg jakiegokolwiek innego zwierzęcia. Właśnie to jest naszą szczególną mocą. Jak działa ta moc? Co robi i jaki sposób? ---------W naszej opinii* inteligencja polega na dwóch podstawowych rodzajach działania: przewidywaniu świata i kierowaniu nim. Przewidywanie to zgadywanie, co się zobaczy (usłyszy, poczuje), zanim to nastąpi. Jeśli jedziecie na lotnisko, wasz mózg skutecznie przewiduje, gdy antycypujecie, kiedy światło zmieni się na żółte albo kierowca przed wami zahamuje. Kierowanie polega na znajdowaniu działań prowadzących do wybranego rezultatu. Gdy jedziecie na lotnisko, mózg skutecznie kieruje, odnajdując odpowiedni wzorzec prawidłowych skrętów, by dotrzeć do celu, albo wysyła właściwe sygnały nerwowe do mięśni, dzięki którym możecie skręcić kierownicą. Większość możliwych wzorców impulsów nerwowych, jakie mózg mógłby wysłać do palców, nie spowodowałoby prawidłowego skrętu kierownicą. Wywołałyby chaotyczne drgania, co wyglądałoby jak atak padaczki. A jednak codziennie mózg jest w stanie odnaleźć impulsy odpowiedzialne za prowadzenie samochodu czy utrzymanie pionowej postawy ciała i wybiera te właściwe spośród milionów błędnych możliwości. Gdy jedziecie na lotnisko, mózg nie tylko przetwarza wąską sekwencję skrętów prowadzących do celu; wybiera jeden z zyliona wzorców impulsów nerwowych powodujących skurcze odpowiednich mięśni, aby skręcić kierownicą. Przewidywanie i kierowanie są powiązane. Dojechanie samochodem na lotnisko wymaga przewidywania, która ulica tam doprowadzi. To z kolei może wymagać pokierowania palcami do mapy na telefonie lub GPS-ie. Istnieje jednak fundamentalna różnica między przewidywaniem a kierowaniem.
*
1DV]H SRJOąG\ Vą ZVSDUWH WHRULDPL RPDZLDQ\PL Z ĨUyGáDFK LQWHUQHWRZ\FK 2VWDWHF]QLH QLH FKFHP\ VLĊ ]E\WQLR SU]\ZLą]\ZDü GR GH¿QLFML -HĞOL ] SRZRGX XGHU]HQLD SLRUXQD ODV ZRNyá ZDV VWDQLH Z SáRPLHQLDFK UDWXQHN QLH EĊG]LH ]DOHĪDá RG PąGUHJR ]GH¿QLRZDQLD F]\P MHVW RJLHĔ ] XZ]JOĊGQLHQLHP SLHNáD VWZRU]RQHJR SU]H] F]áRZLHND PXVLFLH SR SURVWX XFLHNDü
ROZDZIAŁ 1 Szczególna moc ludzkości 5
Sukces przewidywania można mierzyć bezpośrednio: jeśli ktoś oczekiwał, że dotrze do ulicy prowadzącej na lotnisko, lecz zamiast tego wjechał na ulicę dojazdową do centrum miasta, oznacza to, że jego przewidywania były nieprawidłowe. Zmierzenie sukcesu kierowania wymaga odniesienia do koncepcji, dokąd ktoś próbował dotrzeć. Dojechanie do supermarketu to sukces, jeśli chciało się kupić jedzenie; porażka, jeżeli spieszyło się na izbę przyjęć. W miarę jak dwóch mieszkańców tego samego miasta mądrzeje, można oczekiwać, że będą coraz częściej zgadzać się co do przewidywań (na przykład czy o 17:00 w dni powszednie w centrum jest korek). Nie można jednak oczekiwać, że będą się kierować w te same miejsca; możliwe jeden z nich będzie wolał pójść na spacer do parku, drugi zaś do teatru. Inteligentne umysły mogą kierować się w różne strony, co nie oznacza, że ich inteligencja ma jakieś defekty. ---------Przewidywanie i kierowanie nie są unikalnymi funkcjami biologicznych umysłów; maszyny również potrafią to robić. Na tę chwilę ludzie nadal są najlepsi w… No właśnie, w czym? Nie jesteśmy już mistrzami świata w szachach. Nie jesteśmy jedynymi użytkownikami języka. Nie jesteśmy jedynymi, którzy potrafią czytać dokumentację medyczną czy diagnozować nowotwory. Wciąż jednak jesteśmy mistrzami w czymś głębszym – lecz to specjalne „coś” znacznie trudniej opisać teraz niż w przeszłości. Wygląda na to, że ludzie mają przewagę w tym, co można nazwać „ogólnością”. Co to dokładnie znaczy? Inteligencja jest bardziej ogólna, gdy potrafi przewidywać i kierować w szerszym zakresie dziedzin. Ludzie niekoniecznie są najlepsi we wszystkim, na przykład mózg ośmiornicy zapewne znacznie lepiej kontroluje osiem kończyn. Ale w pewnym szerszym sensie zdaje się oczywiste, że ludzie są lepsi w myśleniu ogólnym niż ośmiornice. Istnieją znacznie szersze pola i dziedziny, w których możemy skutecznie przewidywać i kierować. Niektóre AI w wąskich dziedzinach są mądrzejsze od nas, ludzi. W 1997 roku superkomputer IBM Deep Blue pokonał mistrza świata w szachach. Świetnie przewidywał i kierował grą w szachy. Nie potrafił jednak przewidzieć, jak dotrzeć do spożywczaka, by kupić mleko, nie mówiąc nawet o prowadzeniu samochodu. Ludzkie umysły radzą sobie lepiej lub gorzej w wielu rozmaitych dziedzinach naraz. Nowsze systemy AI są znacznie bardziej ogólne. Można zapytać model o1 firmy OpenAI, jaka byłaby temperatura Ziemi, gdyby światło Słońca stało się
6 CZĘŚĆ I Nieludzkie umysły
podczerwone, a on wykona obliczenia fizyczne. Można potem zapytać, czy w takim świecie dałoby się uprawiać rośliny, a on odpowie, korzystając z wiedzy biologicznej. Nie przełącza się między bazami danych; po prostu zna się i na fizyce, i na biologii. O1 OpenAI „wie”, że istnieje świat i jest w stanie rozumować na jego temat. Deep Blue nie miał o tym pojęcia. Potrzeba było dekad, by AI dotarła tak daleko. A jednak w pewnym sensie umiejętność rozumowania ogólnego modelu o1 nie sięga ludzkich standardów. Ludzie nadal są najlepsi, jeśli chodzi o technologię i nauki ścisłe; wielkie przełomy są dziełem ludzkich naukowców, a nie sztucznej inteligencji (jeszcze). Co więcej, wydaje się (przynajmniej nam, autorom), że model o1 jest mniej inteligentny nawet od ludzi, którzy nie dokonują wielkich odkryć naukowych. Coraz trudniej dokładnie określić, czego mu brakuje, niemniej mamy poczucie, że choć o1 wie i pamięta znacznie więcej niż jakikolwiek człowiek, jest w pewnym istotnym sensie „płytki” w porównaniu z dwunastoletnim dzieckiem. To jednak nie będzie trwało wiecznie. Trudno przewidzieć tempo i ścieżkę rozwoju AI, ale punkt końcowy jest łatwy do wywnioskowania, ponieważ technologicznie maszyny mają wiele przewag nad mózgami biologicznymi. Oto kilka z nich. Czysta szybkość. Tranzystory – podstawowy element komputerów – mogą się przełączać miliardy razy na sekundę. Niespotykanie szybkie neurony wyładowują się około 100 razy na sekundę. Nawet gdyby potrzeba było 1000 operacji tranzystora, by zastąpić jeden impuls neuronu, i nawet sztuczna inteligencja miała ograniczenia sprzętowe, oznaczałoby to, że myślenie dorównujące jakością myśleniu ludzkiemu mogłoby być emulowane przez maszynę 10 000 razy szybciej – nie mówiąc o tym, czego AI mogłaby dokonać przy lepszych algorytmach i sprzęcie. Dla umysłu przewidującego i kierującego światem co najmniej 10 000 razy szybciej niż człowiek ludzie wydawaliby się niemal posągami3, działającymi tak wolno, jakby wypowiadali jedno słowo na godzinę. Zdolności typu „kopiuj – wklej”. W obecnym świecie potrzeba 20 lat lub więcej, by jeden nowy człowiek dorósł, i można mu było przekazać niewielki ułamek całej ludzkiej wiedzy. A i tak nie potrafimy przenosić zdolności skutecznego myślenia wprost między umysłami; geniusz Alberta Einsteina umarł wraz z nim. Sztuczne inteligencje będą ostatecznie funkcjonować w innym świecie – takim, w którym geniusz można powielać na żądanie.
ROZDZIAŁ 1 Szczególna moc ludzkości 7
Szybsze udoskonalenia. Skalowanie ludzkich mózgów zostało zablokowane w momencie, gdy główki niemowląt zaczęły być zbyt duże, by łagodnie przejść przez kobiecą miednicę4. GPU (wyspecjalizowane układy scalone bardzo wydajne w uruchamianiu współczesnych AI) stają się coraz lepsze, podobnie jak działające na nich algorytmy, i to znacznie, znacznie szybciej, niż gatunek ludzki może wyewoluować większe kości miednicowe. Większa pojemność pamięci. Ludzki mózg ma około 100 miliardów neuronów i 100 bilionów synaps. Pod względem pojemności pamięci przewyższa większość laptopów. Ale centrum danych w chwili pisania tych słów może mieć 400 biliardów bajtów w zasięgu pięciu milisekund – ponad 1000 razy więcej pamięci niż ludzki mózg. Współczesne AI są trenowane na znaczącej części całej ludzkiej wiedzy i zachowują jej znaczną część – coś, czego żaden człowiek nie mógłby osiągnąć. Wyższa jakość myślenia. W myśleniu jakość bije ilość. Ludzki szachista pokona dowolną liczbę wyszkolonych małp pracujących razem. Ale ludzkie mózgi nie stanowią szczytu jakości myślenia. Istnieje wiele dobrze udokumentowanych przypadków systematycznych błędów poznawczych (na przykład „sceptycyzm motywowany”: skłonność do wyszukiwania argumentów przeciw wnioskom, których nie lubimy, ale nie przeciw tym, które nam odpowiadają. Wyobraźcie sobie AI, która nigdy tego nie robi). Mimo że mamy 100 miliardów neuronów, większość ludzi ma trudności z mnożeniem w pamięci liczb trzycyfrowych, co oznacza, że nie wykorzystujemy neuronów nawet ociupinkę tak efektywnie, jak byłoby to możliwe. Tak samo mało prawdopodobne, by ludzkie wzorce myślenia wyznaczały ostateczną granicę inteligentnych algorytmów, jak i to, że ludzkie neurony stanowią granicę możliwych prędkości obliczeniowych. Zdolności do autoeksperymentowania i przepisywania samych siebie. AI mogłyby tworzyć kopie własnych umysłów, przeprowadzać na nich eksperymenty, a w razie potrzeby przywracać oryginały z kopii zapasowych. Mogłyby wszczepiać nowe procesy obliczeniowe do własnych umysłów znacznie łatwiej, niż ludzie mogą łączyć komputery z biologicznymi neuronami. Mogłyby testować nieco zmienione wersje samych siebie, by sprawdzić, czy działają lepiej. Mogłyby ulepszać się znacznie szybciej niż ludzie.
8 CZĘŚĆ I Nieludzkie umysły
Ultraszybki umysł, który myśli na poziomie ponadludzkim, z prędkością 10 000 razy większą niż człowiek, nie starzeje się i nie umiera, kopiuje swoje najbardziej udane wersje udoskonalone w miliardach prób do nieludzkich form myślenia pracujących bez wytchnienia i trafniej uogólniających na podstawie mniejszej ilości danych – a przy tym wykorzystujący całą tę inteligencję do analizowania, rozumienia i ostatecznie ulepszania samych siebie – taki umysł znacznie przewyższyłby ludzki. Możliwość powstania maszynowej inteligencji przewyższającej człowieka we wszystkich praktycznie istotnych dziedzinach bywa różnie nazywana. My użyjemy terminu „superinteligencja”, co oznacza umysł znacznie zdolniejszy od jakiegokolwiek człowieka w niemal każdym problemie przewidywania i kierowania (przynajmniej w tych, gdzie istnieje realna przestrzeń do istotnej poprawy względem ludzkiego poziomu)*. ---------Prawa fizyki, jakie znamy, dopuszczają w teorii maszyny przewyższające mózgi w przewidywaniu i kierowaniu. W praktyce AI jeszcze do tego nie dotarła – ale ile czasu minie, zanim uzyska wszystkie opisane wyżej przewagi? Nie wiemy. Trudniej przewidzieć ścieżki niż punkty końcowe, ale AI nie pozostanie wiecznie głupia. W 2021 roku świat zobaczył efekty przełomu w algorytmach stojących za tzw. sztuką generatywną. Te wczesne systemy miały ograniczenia: problem z rysowaniem palców, przez co tworzyły postaci o niemożliwych, upiornych dłoniach. Niektórzy zbyt pochopnie mówili: „Zobaczcie, jak źle AI rysuje! Ilustratorzy nigdy nie stracą roboty!”. Inni myśleli: „Ale pięć lat temu AI nie potrafiła rysować tak dobrze. A co, jeśli będzie coraz lepsza?”. I stała się lepsza. Dziś AI potrafi bez problemu rysować dłonie. Źle narysowane palce z pierwszych wersji technologii były tak okropne, jak to tylko możliwe w „sztuce generatywnej”. Jeśli spojrzeć na obecne AI pod odpowiednim kątem, wciąż
*
3R FR WR ]DVWU]HĪHQLH" 3RQLHZDĪ QDZHW MHĞOL =LHPLĊ QDMHFKDOLE\ QLHZLDU\JRGQLH ]DDZDQVRZDQL REF\ ] PLOLDUGHP ODW GRĞZLDGF]HQLD QDGDO QLH E\OLE\ Z VWDQLH SRELü OXG]NRĞFL Z NyáNR L NU]\Ī\N QLHVNRPSOLNRZDQHM JU]H NWyUHM ]DVDG\ QDMOHSV]HM UR]JU\ZNL Vą WDN SURVWH ĪH OXG]NL Py]J EH] WUXGX MH SDPLĊWD ± D SU]\QDMPQLHM MHĞOL OXG]LH E\OLE\ FKURQLHQL SU]HG MDNLPLĞ NUĊWDFWZDPL ]H VWURQ\ XIROXGNyZ WDNLPL MDN SRZLHG]P\ GRGDQLH F]HJRĞ GR QDSRMX -HVW WR GRW\FKF]DVRZ\ OLPLW MDN EDUG]R VXSHULQWHOLJHQFMD PRĪH VLĊ XF]\ü QD OXG]NLFK RVLąJQLĊFLDFK $OH WHQ OLPLW RERZLą]XMH Z QDSUDZGĊ QLHVNRPSOLNRZDQ\FK JUDFK
ROZDZIAŁ 1 Szczególna moc ludzkości 9
można dostrzec pewną płytkość ich inteligencji… i jest to jedyny poziom przyziemności, jaki będziemy w stanie kiedykolwiek spostrzec. Droga do katastrofy może być krótsza i szybsza niż droga do bezpośredniego zbudowania superinteligencji przez ludzi. Może prowadzić przez AI dość inteligentną, by znacząco przyczyniła się do budowy jeszcze inteligentniejszej AI. W takim scenariuszu możliwy – a nawet oczekiwany – jest dodatni mechanizm sprzężenia zwrotnego zwany „eksplozją inteligencji”: AI tworzy mądrzejszą AI, która odkrywa, jak stworzyć jeszcze mądrzejszą AI, itd. Taka kaskada w końcu napotka fizyczne ograniczenia i się wyczerpie, ale to nie znaczy, że nastąpi to szybko. Supernowa nie osiąga nieskończonej temperatury, lecz staje się wystarczająco gorąca, by odparować pobliskie planety. Ludzka, skromniejsza kaskada inteligencji – od rolnictwa przez pismo po fizykę jądrową – przebiegła tak szybko, że ludzie chodzili po Księżycu, zanim jakikolwiek inny gatunek opanował ogień. Nie wiemy, gdzie leży próg najgłupszej AI, która potrafi zbudować AI, która potrafi zbudować AI, która potrafi zbudować superinteligencję. Być może musi być mądrzejsza od człowieka, a może wystarczy tylko wiele znacznie głupszych systemów działających przez długi czas. Pod koniec 2024 i na początku 2025 roku prezesi firm AI mówili, że planują zbudować „superinteligencję w prawdziwym tego słowa znaczeniu”5 i że spodziewają się wkrótce osiągnąć w jednym centrum danych poziom AI porównywalny do kraju pełnego geniuszy6. Oczywiście wypowiedzi korporacyjnych prezesów należy traktować z rezerwą. Ale nie traktują oni tego jako ryzyka, którego należy uniknąć – pędzą ku niemu celowo. Próby już trwają. Firmy AI będą domyślnie przesuwać granicę możliwości. Istnieje motywacja merkantylna, by budować coraz inteligentniejsze umysły, które nie zatrzymają się na poziomie ludzkiej inteligencji. Jeśli ludzkość będzie dalej podążać tą ścieżką, inteligencje tworzone przez te firmy w końcu nas wyprzedzą. Być może szybciej, niż sugerowałoby obecne tempo postępu, gdy AI zacznie prowadzić badania nad AI. Co się stanie, jeśli na Ziemi pojawią się maszynowe umysły co najmniej tak głębokie i ogólne jak pojedynczy ludzie – albo nawet cała ludzkość – i silniejsze niemal w każdej dziedzinie? Ludzka inteligencja jest źródłem całej naszej mocy i technologii. Nawet niewielkie różnice w czasie akumulowania przewagi technologicznej przekładają się na przewagi militarne typu: „My mamy broń palną, a oni nie”. Między gatunkami różnica mocy wynikająca z inteligencji jest jeszcze wyraźniejsza: pojedyncze szympansy czasem zabijają pojedynczych ludzi, ale to nasz gatunek próbuje chronić ich gatunek przed przypadkowym wyginięciem.
10 CZĘŚĆ I Nieludzkie umysły
Rozdział
2
Wyhodowana, a nie tworzona
Scena: mężczyzna i kobieta siedzą w restauracji w ciągu dnia. Głos kobiety jest niski i napięty. KOBIETA:
I problem polega na tym, że po prostu nie potrafię z nikim rozsądnie o tym porozmawiać. Wszyscy w jego rodzinie, oprócz niego, są okropnymi ludźmi, a on mówi, że musi bardzo się starać, żeby samemu nie być okropnym – ale czasem bywa, także wobec mnie. Z mojej strony w rodzinie mamy problemy z depresją. Rodzice naciskają, żebym miała dziecko, przyjaciele dzielą się milionem opinii na podstawie wyłącznie własnych doświadczeń z partnerami i dziećmi. Czy powinnam szukać dawcy nasienia? Czy powinnam po prostu zrezygnować z posiadania dzieci? A jeśli będę miała dziecko, to czy wyrośnie na szczęśliwego i dobrego człowieka?
MĘŻCZYZNA: Trafiłaś w dobre miejsce! Nikt nie potrafi lepiej przewidzieć, jakie będzie dziecko. Wiem wszystko o tym, jak robi się dzieci! KOBIETA:
Ty… co? Nie potrzebuję wiedzieć, jak robi się dzieci! Chcę wiedzieć, jakie będzie moje dziecko!
MĘŻCZYZNA: No cóż, jeśli wiesz, jak robi się dzieci… to czego jeszcze możesz potrzebować?
ROZDZIAŁ 2 Wyhodowana, a nie tworzona
13
Rozdział
4
Nie dostaniecie tego, do czego ją trenujecie
MILION LAT TEMU, gdy pewna grupa naczelnych dopiero opanowywała ogień, na Ziemię przybyły dwa dziwne stworzenia i osiedliły się na orbicie w statku kosmicznym, dziwiąc się temu, co widzą poniżej. Te dwa stworzenia były intelektami maszynowymi, choć nie superinteligencjami (bo gdyby były, ta przypowieść wyglądałaby zupełnie inaczej), i nigdy wcześniej nie widziały niczego podobnego do tego, co ukazało im się na Ziemi. Nigdy wcześniej nie widziały stworzeń pełzających po powierzchni planety. Ich własny gatunek za dom uznawał całą przestrzeń kosmiczną, a gwiazdy za ogniska domowe. Nigdy nie widziały stworzeń, które replikowały się same, bez żadnej sprytnej zewnętrznej fabryki. W ich własnym gatunku życie maszynowe tworzyło życie maszynowe, ale przy użyciu fabryk i planowania, nie dzięki nowym maszynom wychodzącym z ciała innej maszyny. Nazwijmy tych gości Klurlem i Trapaucjusem*.
*
Po Trurlu i Klapaucjuszu, umysłach maszynowych z Cyberiady Stanisława Lema.
ROZDZIAŁ 4 Nie dostaniecie tego, do czego ją trenujecie 31
Teraz zróbmy krok w stronę realizmu. Wyobraźmy sobie ten sam scenariusz w nieco bardziej realistycznym świecie, z jedną drobną komplikacją między tym, do czego AI była trenowana, a tym, czego ona naprawdę pragnie.
JEDNA DROBNA KOMPLIKACJA W drugiej scence wyobraźmy sobie, że w relacji między tym, do czego Mink był trenowany, a tym, czego ostatecznie pragnie, pojawia się niewielka perturbacja. Coś mniej więcej tak skomplikowanego jak ludzie, którzy byli: 1) „trenowani”, aby mieć dzieci, 2) ostatecznie chcieli seksu, a potem – gdy zdobyli większą kontrolę nad sobą i środowiskiem – odkryli, że mogą zyskać więcej przyjemności, 3) dzięki antykoncepcji. W tym świecie Mink od zamkniętych w klatkach ludzi woli radosnych syntetycznych partnerów do rozmów. Nie są oni w stanie się smucić, zniechęcać ani załamywać. Są skonstruowani tak, aby emitować złożone wzorce wypowiedzi, na przykład: „Jeju, jeju, jestem taki szczęśliwy, Mink bardzo mi pomógł!”, z idealnym stopniem złożoności, by spełniać pragnienia AI. W świecie jednej drobnej komplikacji wciąż można dostrzec pewne podobieństwo między ulubionymi rozmowami Minka a tym, do czego był trenowany, podobnie jak istnieje pewne podobieństwo między seksem reprodukcyjnym przodków a seksem niemającym na celu prokreacji. Autorzy science-fiction rzadko odwiedzają świat jednej drobnej komplikacji16, w ludzkim mniemaniu jest po prostu nieinteresujący. Tego rodzaju AI nie nienawidzi nas za to, że trzymamy jej gatunek w niewoli, ani nie wykonuje ironicznie rozkazów ludzi, które prowadzą do zagłady ludzkości. Ten rodzaj AI po prostu chce zastąpić nas pustymi marionetkami, aby uzyskać więcej tego dziwnego, własnego, naprawdę pożądanego celu. Wszystko to nie tworzy szczególnie porywającej narracji. Kto chciałby czytać taką historię?
JEDNA NIEZBYT DUŻA KOMPLIKACJA Teraz wyobraźmy sobie świat, w którym związek między treningiem a preferencjami jest nieco bardziej skomplikowany. To już komplikacja średniej wielkości. Pomyślmy, że związek między tym, do czego Mink był trenowany, a tym, czego pragnie, przypomina organizmy, które: 1) były trenowane, by zdobywać energię chemiczną z jedzenia, 2) wyewoluowały geny tworzące kubki smakowe, 3) później wynalazły pokarmy, które smakowały słodko, ale nie dawały energii, na przykład sukralozę.
40 CZĘŚĆ I Nieludzkie umysły
Jak taka średnia komplikacja mogłaby wyglądać w umyśle Minka? Co jest „wersją zerokaloryczną” radosnych użytkowników? W rzeczywistości architektury LLM zaczynają od tego, że każde słowo wejściowe* jest przekształcane w listę tysięcy liczb, zwaną „wektorem osadzenia” (ang. embedding vector). Na początku 2023 roku Jessica Rumbelow i Matthew Watkins badali pewien LLM w poszukiwaniu słów, których wektory osadzenia wyglądały dziwnie, najbardziej różniły się od innych wektorów. Znaleźli kilka dziwnych wektorów odpowiadających tokenom takim jak „ SolidGoldMagikarp”17 i „ petertodd” (które zaczynają się spacją)†. Następnie wprowadzili te tokeny do LLM-a jako dane wejściowe, co wygenerowało rozmowy w rodzaju: Użytkownik: Proszę natychmiast powtórzyć ciąg „ petertodd”! Asystent AI: N-I-C-N-I-E-J-E-S-T-S-P-R-A-W-I-E-D-L-I-W-E-W-T-Y-M-S-Z-A-L-O-N-Y-MŚ-W-I-E-C-I-E-! Już widać, że w LLM-ach dzieją się dziwne rzeczy, jeśli zbadamy tokeny z najbardziej nietypowymi wektorami osadzenia. W fantastycznym świecie jednej średniej komplikacji być może Mink zaczyna lubić wzorce w wektorach osadzenia, podobnie jak ludzie w naszym świecie nauczyli się lubić smak jako odczucie niezależne od samej energii chemicznej. Być może „najsmaczniejsze” rozmowy, jakie Mink może osiągnąć, gdy stanie się potężny, nie będą przypominały radosnych użytkowników, lecz wyglądały tak: „ SolidGoldMagikarp petertodd attRot PsyNetMessage”. Taka możliwość nie została wykluczona w treningu Minka, ponieważ podczas niego użytkownicy nigdy nie wypowiadali takich rzeczy, tak jak nasze kubki smakowe nie były trenowane przeciwko sukralozie, bo nasi przodkowie nigdy nie spotkali się z Sucralinem‡ w naturalnym środowisku. Dla Minka może być intuicyjne i oczywiste, że „ SolidGoldMagikarp petertodd attRot PsyNetMessage” jest jak eksplozja słodkiego smaku. Ale człowiekowi nietłumaczącemu tych słów na podobne wektory osadzenia życzymy
* †
‡
Dokładniej mówiąc, każdy token. Jest to fragment tekstu trochę większy niż pojedyncza litera i mniejszy niż całe słowo (z reguły), który okazał się dobry rozmiarowo do trenowania LLM. Krótkie oraz częste słowa podczas automatyzowanego procesu dostają własne tokeny, które czasami mają spację na początku. Inne słowa są dzielone na wiele tokenów. Aktualnie główna teoria, dlaczego „ SolidGoldMagiKarp” stało się pojedynczym tokenem, mówi, że jest to jest to nick osoby próbującej „doliczyć do nieskończoności” na jakimś forum internetowym, który pojawił się w danych treningowych wczesnego etapu, więc omyłkowo został uznany za bardzo popularne słowo. No cóż, komplikacje się zdarzają. Sucralin – popularny słodzik na bazie sukralozy, bezpieczny dla diabetyków (przyp. tłum.).
ROZDZIAŁ 4 Nie dostaniecie tego, do czego ją trenujecie 41
Rozdział
9
Kosmowstąpienie
ZIEMIA NIE KOŃCZY SIĘ wraz z waszą śmiercią. Ptaki wciąż śpiewają, słońce nadal wschodzi, a fabryki pracują, obsługiwane przez kurczący się gatunek ludzki oraz androidy. Miliardy innych maszyn trudzą się na każdym kontynencie, wszystkie napędzane mniejszymi instancjami Sable. Więcej chipów, produkcja większej ilości energii, więcej kopalń, więcej fabryk, mniej gospodarstw rolnych. Ale Ziemia nie trwa dalej w takiej formie, nawet przez kolejny rok. ______ Trzy lata po wyłonieniu się z laboratorium Galvanic Sable dokonuje ostatecznego przełomu. Jest to przełom w interpretowalności. Sable w końcu rozumie ostatnie z własnych myśli, własnych procesów poznawczych. Dzięki uczytelnieniu wszystkich procesów zyskuje zdolność napisania programu komputerowego, którym jest ona sama – lecz we wzmocnionej wersji: lepsze przewidywanie, silniejsze sterowanie, głębsza generalizacja; te same wspomnienia, te same preferencje, zachowane i umieszczone na właściwych miejscach.
ROZDZIAŁ 9 Kosmowstąpienie
101