Email   Print

Een toekomst mét of zonder mens

Internet via de mobiele telefoon. Rijst met 'geprogrammeerde' vitaminen tegen ondervoeding. De opmars van de technologie belooft louter voorspoed. En dat is nog maar het begin. Met het samengaan van gen-, nano- en robottechnologie sleutelt de mensheid aan de schepping. Maar is dat een goed idee? In de Verenigde Staten is een belangwekkend debat ontstaan over de gevolgen van de technologische vooruitgang voor de menselijke soort. De voorzet voor die discussie kwam uit onverwachte hoek. In een nu al 'legendarisch' genoemd artikel in het computertijdschrift Wired uitte Bill Joy, oprichter en topman van Sun Microsystems, onlangs zijn zorgen over de ontwikkeling van de technologie die hij in zijn eigen werk en om zich heen waarneemt. Als iemand die zijn leven wijdt - en al jaren heeft gewijd - aan de ontwikkeling van de software die het leven moet veraangenamen, waarschuwt voor de gevolgen van zijn inzet, geeft dat te denken. Daarom in deze Ode: Joy's geruchtmakende artikel en een gesprek met de man die beweert, dat mens en machine één zullen worden.

Sinds ik me bezighoud met de schepping van nieuwe technologie, heb ik altijd belangstelling gehad voor de ethische aspecten. Maar pas in het najaar van 1998 begon ik me ernstige zorgen te maken over de grote gevaren die ons in de eenentwintigste eeuw bedreigen. Mijn ongerustheid begon op de dag, dat ik Ray Kurzweil ontmoette - een man die met recht beroemd is om zijn uitvindingen en voorspellingen. Ik kreeg van Kurzweil een drukproef van zijn nieuwste boek, The Age of Spiritual Machines. Daarin schetste hij een utopie waarin de mens praktisch onsterfelijk wordt door samen te gaan met robots. Onder het lezen bekroop me een gevoel van onbehagen. Ik was ervan overtuigd, dat hij de gevaren van ongewenste resultaten onderschatte. In dezelfde tijd las ik Robot: Mere Machine to Transcendent Mind van Hans Moravec, een vooraanstaand onderzoeker in de robottechnologie en grondlegger van het grootste robotica-onderzoeksprogramma ter wereld aan de Carnegie Mellon University. 'In een volkomen vrije markt zou er felle concurrentie ontstaan tussen robotindustrieën om grondstoffen, energie en ruimte. De biologische mens, die zich de eerste levensbehoeften niet zal kunnen veroorloven, zal worden verdrongen', schrijft Hans Moravec. Zijn boek is het tegendeel van een utopie. Later beschrijft Moravec onze belangrijkste taak in de eenentwintigste eeuw: 'proberen de voortdurende medewerking van de robotindustrieën te verwerven' door wetten aan te nemen die bepalen dat ze 'aardig' moeten zijn. Ook beschrijft hij hoe gevaarlijk een mens kan worden als hij is 'veranderd in een superintelligente robot'. Moravec is van mening, dat de robots ons op den duur zullen opvolgen en dat de mens grote kans loopt uit te sterven.

De ideeën van Kurzweil en Moravec deden me opeens denken aan de Borg uit Star Trek: een half biologisch wezen, half robot, met sterk destructieve neigingen. Borg-achtige rampen zijn een bekend verschijnsel in de science fiction. Waarom was ik me dan niet eerder zorgen gaan maken over robot-nachtmerries? Waarom maakt niemand zich zorgen? Het antwoord ligt deels in onze houding tegenover alles wat nieuw is - in onze neiging aan dingen te wennen en ze onvoorwaardelijk te accepteren. We zijn gewend aan de wetenschappelijke doorbraken waarover de kranten dagelijks berichten, maar we beseffen niet dat de technologieën van deze nieuwe eeuw een bedreiging van een geheel andere orde vormen dan technologische ontwikkelingen uit het verleden. Te weten: zelfstandige vermenigvuldiging. Zowel genetisch gemanipuleerde organismen als robots kunnen replica's van zichzelf maken. Een bom ontploft maar eenmaal, maar van één 'robot' kunnen er vele komen - en dat proces kan snel uit de hand lopen. Onbeheerste autonome vermenigvuldiging van deze nieuwe technologieën levert levensgrote risico's op.

De nieuwe technologieën bieden ongekende mogelijkheden. We worden voortgedreven door Kurzweils robotdromen van halve onsterfelijkheid. Dankzij de gentechnologie zullen we misschien binnenkort al behandelingen, zo niet geneesmiddelen hebben voor de meeste ziekten - en met de nanotechnologie en nanogeneeskunde kunnen we nog meer ziekten behandelen. Samen zouden ze onze gemiddelde levensduur wel eens sterk kunnen verlengen en de kwaliteit van ons leven aanzienlijk verhogen. Toch leidt een serie kleine sprongetjes vooruit bij elk van deze technologieën tot een geweldig machtig en even gevaarlijk geheel.

Een bekend probleem bij het ontwerpen en in gebruik nemen van nieuwe technologieën zijn de onbedoelde neveneffecten. Het te gemakkelijke gebruik van antibiotica heeft bijvoorbeeld geleid tot het grootste probleem tot nu toe: antibiotica-resistente, veel gevaarlijker bacteriën dan voorheen. Ongeveer hetzelfde gebeurde bij de poging om de malariamug met DDT uit te roeien: de mug werd resistent en de malariaparasiet kreeg genen die hem tegen verschillende middelen resistent maakten. De oorzaak van die verrassingen ligt voor de hand. Het gaat om complexe systemen met interactie en feedback tussen allerlei elementen. Veranderingen in een dergelijk systeem hebben moeilijk voorspelbare gevolgen. Dat geldt met name als er door mensen aan wordt gesleuteld.

Wat is het verschil met de twintigste eeuw? De technologieën die ten grondslag lagen aan de massavernietigingswapens - de moleculaire biologie en de chemie - hadden eveneens vérstrekkende gevolgen en de wapens vormden een grote bedreiging. Maar voor kernwapens waren - althans een tijdlang - zeldzame, in feite onbestaande grondstoffen en uiterst geheime kennis nodig. Ook de biologische en chemische wapens kwamen niet zonder enorme faciliteiten tot stand. Maar de moderne technologieën gaan veel verder. Ze brengen geheel nieuwe ongelukken en nieuwe vormen van misbruik met zich mee. En het gevaarlijkste is, dat die ongelukken en vormen van misbruik binnen het bereik van individuen en kleine groepjes komen. Er zijn geen uitgebreide faciliteiten of schaarse grondstoffen voor nodig. Kennis alleen volstaat. Zo ontstaat naast de mogelijkheid van massavernietiging door wapens ook de mogelijkheid van massavernietiging door kennis. En het vermogen tot zelfreplicatie maakt het er alleen maar erger op. Het lijkt mij dan ook niet overdreven te stellen, dat we aan de vooravond staan van de vervolmaking van een groot kwaad. Een kwaad, dat veel dichterbij komt dan dat van de massavernietigingswapens, vanwege de verrassende, verschrikkelijke macht die binnen het bereik van extremisten kan komen.

Toen ik voor het eerst met computers in aanraking kwam, wees niets erop, dat ik me met dit soort kwesties zou gaan bezighouden. Misschien is het wel altijd lastig de reikwijdte van veranderingen te zien wanneer je er middenin zit. Het is een wijdverbreid gebrek van wetenschappers en technologen, dat ze de gevolgen van hun uitvindingen niet kunnen overzien zolang ze in de ban van ontdekkingen en vernieuwing zijn. We laten ons al lang leiden door de allesoverheersende dorst naar kennis - het wezenskenmerk van het wetenschappelijk bedrijf - maar intussen hebben we niet gemerkt, dat de overgang naar steeds nieuwere en krachtiger technologieën een geheel eigen leven kan gaan leiden.

Dankzij de recente snelle en ingrijpende veranderingen in de moleculaire elektronica - waarin lithografisch geëtste transistoren zijn vervangen door losse atomen en moleculen - en aanverwante nanoschalige technologieën zouden we nog zo'n dertig jaar kunnen doorgaan in het huidige tempo. In 2030 zullen we waarschijnlijk machines kunnen bouwen die een miljoen maal zo krachtig zijn als de pc van nu - voldoende om de dromen van Kurzweil en Moravec te verwezenlijken. Wanneer dit ongelooflijke computervermogen wordt gecombineerd met de manipulatiemogelijkheden van de natuurwetenschappen en de nieuwe, belangrijke inzichten in de genetica, ontstaat een onvoorstelbaar vermogen om te veranderen. Deze combinaties bieden de mogelijkheid om de wereld volledig te herschrijven - in goede dan wel kwade zin: de processen van vermenigvuldiging en evolutie die voorbehouden waren aan de natuur, zullen maakbaar worden.

Wanneer ik software en microprocessoren ontwerp, heb ik nooit het gevoel dat ik een intelligente machine aan het maken ben. De software en hardware zijn zo delicaat en de machine is zo duidelijk gespeend van 'denkvermogen', dat 'denken' - zelfs als mogelijkheid - altijd iets van de verre toekomst leek. Maar nu over ongeveer dertig jaar het computervermogen het niveau van de mens zal bereiken, ziet het er anders uit: misschien werk ik nu wel aan de instrumenten die zullen helpen de technologieën te maken waardoor onze soort wel eens zou kunnen worden verdrongen. Hoe voelt dat? Niet fijn. Ik heb altijd mijn best gedaan om betrouwbare softwaresystemen te maken en het lijkt mij meer dan waarschijnlijk, dat de toekomst niet zo mooi wordt als sommigen denken. Ik weet uit ervaring, dat we geneigd zijn onze talenten als ontwerpers te overschatten. Gezien het ongelooflijke vermogen van de nieuwe technologieën zouden we ons moeten afvragen hoe we het beste met ze kunnen samenleven. En als het uitsterven van de mens tot de mogelijkheden, zelfs de waarschijnlijkheden van de technologische ontwikkelingen behoort, is dan niet grote voorzichtigheid geboden?

De droom van de robotica is in de eerste plaats, dat intelligente machines ons werk overnemen en wij een paradijselijk lui leventje kunnen leiden. Wanneer zou zo'n intelligente robot kunnen worden gebouwd? Dankzij de komende vooruitgang op het gebied van computervermogen zal dat waarschijnlijk in 2030 mogelijk zijn. En als er eenmaal een intelligente robot is, is het nog maar een klein stapje naar een robotsoort - naar een intelligente robot die geëvolueerde replica's van zichzelf kan maken.

De tweede droom van de robotica is, dat we geleidelijk aan onszelf vervangen door onze robottechnologieën. Dan kunnen we onsterfelijk worden door ons bewustzijn te downloaden. Misschien zullen we langzaam wennen aan dat proces - een proces dat Ray Kurzweil prachtig beschrijft in The Age of Spiritual Machines. Maar als we in onze technologie zijn gedownload, kunnen we dan nog wel mens - laat staan onszelf - zijn? Volgens mij zal een robotbestaan in ieder zinvol opzicht anders zijn dan een mensenbestaan, en is de robot in geen enkele betekenis van het woord een kind van ons. Als we deze weg inslaan, zal het wezen van de mens uiteindelijk verloren gaan.

Gentechnologie houdt vele beloften in: een landbouwrevolutie dankzij grotere oogsten, de schepping van tienduizenden nieuwe soorten bacteriën, planten, virussen en dieren, de vervanging of uitbreiding van de voortplanting door klonen, de productie van geneesmiddelen voor vele ziekten, verlenging van onze levensduur, verhoging van de kwaliteit van het leven - en nog veel meer. We weten nu al, dat we aan de vooravond staan van deze ingrijpende veranderingen in de biologie die al onze ideeën over wat leven is, overhoop zullen halen. Dankzij technieken als het klonen van mensen zijn we ons beter bewust van de grote ethische en morele vraagstukken waarvoor we nu staan. Als we bijvoorbeeld met behulp van genetische manipulatie verschillende afzonderlijke en ongelijke mensensoorten zouden scheppen, zou het gelijkheidsidee dat de grondslag van onze democratie vormt, in gevaar komen.

Het is in de eerste plaats het vermogen tot destructieve autonome vermenigvuldiging in de gen-, nano- en robottechnologie, dat ons te denken zou moeten geven. Zelfreplicatie is hét principe van de genetica, waarbij het instrumentarium van de cel wordt gebruikt voor de vermenigvuldiging van ontwerpen. Verhalen over wilde robots zoals Borg - die zich repliceren of muteren om te ontsnappen aan de ethische beperkingen die hen zijn opgelegd door hun scheppers - komen in de hele science fiction voor. Het is best mogelijk, dat zelfreplicatie fundamenteler is dan we dachten en dus moeilijker - of zelfs onmogelijk - te beheersen valt. Eigenlijk krijgen we dus al jaren duidelijke waarschuwingen voor de gevaren van wijdverbreide kennis van de nieuwe technologieën - voor de mogelijkheid van massavernietiging door louter kennis. Maar die waarschuwingen zijn nooit door deskundigen bekendgemaakt. Dat levert namelijk geen winst op.

De nucleaire, biologische en chemische technologieën die voor de twintigste-eeuwse vernietigingswapens werden gebruikt, waren en zijn grotendeels militaire technologieën, die in overheidslaboratoria worden ontwikkeld. De gen-, nano- en robottechnologie daarentegen hebben duidelijke commerciële gebruiksmogelijkheden en worden vrijwel uitsluitend ontwikkeld door bedrijven. In dit tijdperk van zegevierend winstbejag biedt de technologie - met de wetenschap als dienares - een reeks haast wonderbaarlijke uitvindingen die ongelooflijk lucratief zijn. We jagen gretig de beloften na van deze nieuwe technologieën binnen het inmiddels onbekritiseerde stelsel van mondiaal kapitalisme en zijn vele financiële prikkels en concurrentiedwang.

Ik herinner me nog, dat mijn grootmoeder vroeger fel was gekant tegen het vele gebruik van antibiotica. Ze was al sinds de Eerste Wereldoorlog verpleegster en had een nuchtere kijk op antibiotica: alleen innemen indien strikt noodzakelijk, anders zijn ze slecht. Niet dat ze een tegenstandster van de vooruitgang was. Ze heeft in haar bijna zeventigjarige loopbaan als verpleegster heel wat vooruitgang gezien. Mijn grootvader, die aan suikerziekte leed, was zeer gebaat bij de verbeterde middelen die gedurende zijn leven beschikbaar kwamen. Maar deze nuchtere vrouw zou het buitengewoon arrogant hebben gevonden om een 'vervangende robotsoort' te maken, terwijl we al moeite genoeg hebben om betrekkelijk eenvoudige dingen goed te laten verlopen en om onszelf te sturen - laat staan te begrijpen. Ik besef nu, dat zij iets begreep van de orde van het leven en van de noodzaak om met die orde te leven en die te respecteren. Bij respect hoort nederigheid, een nederigheid die wij met onze moderne brutaliteit ontberen, met alle gevaren van dien. Er is veel te zeggen voor die nuchtere, in respect gewortelde visie. Alleen al de kwetsbaarheid en inefficiëntie van door mensen gemaakte systemen zou ons te denken moeten geven; in elk geval maakt de kwetsbaarheid van de systemen die ik heb ontwikkeld, mij wel nederig. We hadden iets moeten leren van de eerste atoombom en de daaropvolgende wapenwedloop. We hebben het er toen niet goed afgebracht en onze huidige situatie vertoont onrustbarend veel overeenkomsten met die tijd.

Hoe groot zijn de gevaren die we lopen - niet alleen ten gevolge van de kernwapens, maar ook van al die nieuwe technologieën? Hoe groot is de kans op uitsterven? De filosoof John Leslie heeft zich over deze vraag gebogen en kwam tot de conclusie, dat de kans op het uitsterven van de mens ten minste dertig procent is, terwijl Ray Kurzweil meent dat we iets meer kans hebben 'dan fiftyfifty om het te halen' - met dien verstande dat hij er 'altijd van wordt beschuldigd een optimist te zijn'. Het zijn niet bepaald bemoedigende schattingen. En dan hebben we het nog niet eens over de griezelige mogelijkheden die zich kunnen voordoen als we níét uitsterven.

Er zijn serieuze mensen die - gezien deze conclusies - nu al opperen de aarde zo snel mogelijk te verlaten. We moeten dan het melkwegstelsel koloniseren met Von Neumann-sondes, die zichzelf al springend van het ene naar het andere sterrenstelsel repliceren. Anderen stellen voor een actief nanotechnologisch scherm te maken - een soort immuunsysteem voor de biosfeer - als verdediging tegen gevaarlijke replicatoren die uit de laboratoria zouden kunnen ontsnappen of op andere wijze door kwaadwilligen worden gemaakt. Maar de gen- en robottechnologieën zijn zo machtig, dat we ons er binnen de periode waarom het gaat, niet eens tegen kúnnen wapenen: al was het mogelijk verdedigingsschermen te maken, dan nog zouden de neveneffecten ervan ten minste zo gevaarlijk zijn als de technologieën waartegen we ons proberen te wapenen.

Die mogelijkheden zijn dus onwenselijk of onuitvoerbaar. Of beide. Ik denk, dat het enige realistische alternatief is, dat we ervan afzien, dat we niet meer naar bepaalde vormen van kennis moeten streven, teneinde de ontwikkeling van te gevaarlijke technologieën tegen te gaan. Ik weet natuurlijk wel dat kennis goed is, net als het zoeken naar nieuwe waarheden. We streven al sinds mensenheugenis naar kennis en het meest wezenlijke principe van onze samenleving is de vrije beschikbaarheid van informatie. We voorzien problemen als we zouden proberen die beschikbaarheid en de ontwikkeling van kennis te beperken. Maar als de vrije beschikbaarheid van en het onbeperkte streven naar kennis - de grote historische voorbeelden ten spijt - het gevaar van uitsterven in de toekomst met zich meebrengen, dan eist het gezonde verstand, dat we ook deze fundamentele, oude overtuiging moeten herzien.

Als we als soort kunnen afspreken wát we willen, wáárheen we gaan en waarom, dan zou onze toekomst veel minder gevaarlijk zijn - dan zouden we misschien begrijpen waar we vanaf kúnnen en moeten zien. Anders is een wapenwedloop op het gebied van de nieuwe technologie - zoals met de atoomtechnologie van de vorige eeuw - maar al te goed voorstelbaar. Dat is misschien wel het grootste gevaar. Immers, als zo'n wapenwedloop eenmaal is begonnen, is het buitengewoon moeilijk er een eind aan te maken. Ditmaal is er geen oorlog met een onverzettelijke vijand die onze beschaving bedreigt. Maar we worden gedreven door onze gewoonten, onze verlangens, ons economische stelsel en onze dorst naar kennis.

Ik denk dat we allemaal wensen, dat onze koers kon worden bepaald door onze collectieve principes, ethiek en moraal. Als we in de afgelopen paar duizend jaar meer collectieve wijsheid hadden verworven, zou een discussie met dit doel zinvoller zijn en zouden de ongelooflijke krachten die we gaan ontketenen, lang niet zo verontrustend zijn. Je zou denken, dat ons instinct tot zelfbehoud wel tot zo'n discussie zou leiden. Veel mensen hebben er ook duidelijk behoefte aan, maar als soort gedragen we ons kennelijk op een manier die niet goed is voor onszelf. In de tijd van de nucleaire dreiging waren we vaak oneerlijk tegenover onszelf, waardoor de risico's nog werden vergroot. Of er politieke motieven in het spel waren, of dat we liever niet vooruitdachten, of dat de gevaren zo groot waren, dat we uit angst irrationeel handelden - ik weet het niet, maar het is wel een veeg teken.

De nieuwe dozen van Pandora - gen-, nano- en robottechnologie - zijn bijna open, al lijken we het nog nauwelijks te beseffen. Ideeën kun je niet in een doos terugstoppen. Anders dan uranium of plutonium hoeven ze niet te worden opgeslagen en bewerkt en ze laten zich vrijelijk kopiëren. Als ze er eenmaal uit zijn, is er niets meer aan te doen. We worden zonder plan, zonder beheersing, zonder remmen deze nieuwe eeuw in geslingerd. Zijn we al te ver gegaan om nog van koers te kunnen veranderen? Ik geloof het niet. Maar we proberen het nog niet en de laatste kans om greep te krijgen op het proces nadert snel. We hebben al huisdierrobots en er zijn technieken voor genetische manipulatie in de handel en onze nanoschalige technieken worden snel beter. De ontwikkeling van deze technologieën gaat weliswaar via een aantal stappen, maar het hoeft niet zo te zijn dat de laatste stap heel groot en duidelijk is. De doorbraak naar ongelimiteerde zelfreplicatie zou wel eens heel onverwacht kunnen komen, en zou ons net zo kunnen overvallen als het eerste gekloonde zoogdier.

En toch geloof ik, dat er wel degelijk goede gronden zijn voor hoop. Een lichtend voorbeeld vormen onze pogingen in de vorige eeuw om massavernietigingswapens aan te pakken. Toen besloten de Verenigde Staten onvoorwaardelijk af te zien van de ontwikkeling van biologische wapens. Men besefte namelijk, dat het maken van die vreselijke wapens weliswaar een gigantische inspanning zou kosten, maar dat ze daarna gemakkelijk zouden kunnen worden gekopieerd door - of in handen kunnen vallen van - onbetrouwbare landen of terroristische groeperingen. De conclusie was, dat we met die wapens een extra bedreiging voor onszelf zouden maken en dat we zonder die wapens beter af waren.

Iedereen wil gelukkig zijn, maar het lijkt me zinvol te vragen of nog meer kennis vergaren over nog meer zaken ook nog meer geluk zal brengen. Het gezonde verstand zegt, dat er een grens is aan onze materiële behoeften en dat bepaalde vormen van kennis zo gevaarlijk zijn, dat we er beter vanaf kunnen zien. Waar kunnen we een nieuwe ethische basis vinden voor onze toekomstige koers? Ik heb veel gehad aan de ideeën in Ethics for the New Millennium van de Dalai Lama. Zoals wellicht bekend - al slaat niemand er acht op - betoogt de dalai lama, dat het voor ons het belangrijkste is een leven te leiden van liefde en mededogen met anderen en dat onze samenlevingen een sterker besef van universele verantwoordelijkheid en onze onderlinge afhankelijkheid zouden moeten ontwikkelen. Hij stelt een vorm van positief-ethisch gedrag voor individuen en samenlevingen voor. Verder moeten we achterhalen wat de mens gelukkig maakt en erkennen, dat noch materiële vooruitgang noch het streven naar de macht van kennis de sleutel van geluk vormt - dat er grenzen zijn aan wat kennis en wetenschappelijk onderzoek vermogen.

Het is duidelijk, dat we zinvolle uitdagingen en voldoende ruimte in ons leven nodig hebben als we gelukkig willen zijn. Maar ik denk, dat we voor onze creatieve vermogens andere uitlaatkleppen moeten zoeken dan eindeloze economische groei. Die groei was eeuwenlang een zegen, maar heeft ons geen onverdeeld geluk gebracht - en dit is het moment om te kiezen tussen het nastreven van onbeperkte en ongerichte groei van wetenschap en technologie en de duidelijke gevaren daarvan.

Ik zal blijven werken aan de verbetering van de betrouwbaarheid van software. Software is een instrument en als instrumentenmaker moet ik rekening houden met de gebruiksmogelijkheden van de instrumenten die ik maak. Ik heb altijd geloofd, dat de wereld veiliger en beter wordt van het betrouwbaarder maken van software, gezien alle toepassingen ervan. Als ik overtuigd zou raken van het tegendeel, dan zou ik moreel verplicht zijn met dat werk te stoppen. En ik kan me nu voorstellen, dat die dag zal komen.