Hvorfor AI utgjør en trussel mot menneskeheten

1) Hva er kunstig intelligens?

Kunstig intelligens (AI fra engelsk: 'Artificial Intelligence') er prosjektet for å utvikle datasystemer med intelligent atferd. Det er et vidt begrep som brukes til å refere til alt fra Apples Siri til IBMs Watson til avanserte teknologier vi ikke har utviklet ennå.

Forskere skiller mellom "spesialisert AI" — systemer som er bedre enn mennesker på et begreset, veldefinert område, som å spille sjakk eller generere bilder eller diagnostisere kreft — og "generell AI," systemer som kan utkonkurrere mennesker på mange forskjellige områder. Vi har ikke generell AI ennå, men vi begynner å få en bedre ide om hvilke utfordringer det vil bringe.

Spesialisert AI har sett dramatisk utvikling i løpet av de siste årene. AI systemer har blitt mye bedre på oversetting, på spill som Sjakk og Go, på viktige biologiske forskningsspørsmål slik som å forutse hvordan proteiner bretter seg sammen, og på å generere bilder. AI-systemer brukes i Google-søk og bestemmer hva du ser i din Facebook-feed. De komponerer musikk og skriver artikler som, hvis man ikke ser alt for nøye, fremstår menneskeskrevne. De spiller strategispill og de utvikles for å forbedre droner og oppdage missiler.

Spesialisert AI blir imidlertid også stadig mer generell. Før i tiden gjorde man fremgang med AI-systemer ved å lære dem spesifikke konsepter. For å etterligne menneskelig synsevne — slik at programmet kan gjenkjenne ting i bilder og video — lagde forskere algoritmer for å oppdage kanter. For å spille Sjakk programmerte de inn spesifikke sjakkstrategier som programmet måtte følge. For å prosessere naturlig språk (stemmegjenkjenning, transkribering, oversetting, osv.), baserte de seg på lingvistikk.

I det siste har vi blitt bedre på å utvikle systemer med generaliserte læreferdigheter. I stedet for å matematisk spesifisere detaljerte egenskaper ved et problem, lar vi programmet lære disse tingene på egenhånd. Mens vi tidligere behandlet "computer vision" som et helt annet problem enn språkprosessering eller å spille platformspill, kan vi nå løse alle tre problemene med samme tilnærming.

Fremgangen vår innen kunstig intelligens har muliggjort enorme fremskritt — men det har også medbrakt seg viktige etiske spørsmål. Når du lærer et dataprogram å forutse hvilke dømte kriminelle som vil begå nye forbrytelser, bruker du inputs fra et strafferettslig system med bias mot svart hud og lav inntekt — og da kommer programmets outputs til å ha samme bias. Å gjøre et nettsted mer avhengighetsskapende er bra for nettstedets avkastning samtidig som det kan være svært uheldig for brukerne. Å utgi et program som skriver overbevisende men falske produktanmeldelser eller falske nyheter får kanskje disse til å bli mer utbredt, noe som gjør det vanskeligere å få frem hva som faktisk er sant.

Rosie Cambell på UC Berkeleys, Centre for Human-Compatible AI, argumenterer for at dette er eksempler — i liten skala — på de store bekymringene eksperter har om generell AI i fremtiden. Problemene vi står overfor i dag med spesialisert AI, kommer ikke fra at AI vender seg mot oss, at de vil ha hevn eller at de ser på oss som mindreverdige. I stedet for, så oppstår disse problemene fordi det eksisterer en forskjell mellom hva vi faktisk programmerer systemene til å gjøre og det vi egentlig vil at de skal gjøre.

Vi kan for eksempel programmere et system til å prøve å score høyest mulig i et videospill. Vi vil at det skal spille rettferdig og lære seg de ferdighetene som spillet krever — men hvis den i stedet for har en mulighet til å hacke spillets scoringssystem, så vil den gjøre det. Da vil den score høyt på målestokken vi ga den, men vi har ikke oppnådd ønsket resultat.

Med andre ord kommer problemene av at systemet blir veldig godt til å oppnå det målet det lærte å streve etter. Haken er bare at målet det lærte i treningsmiljøet ikke gir det resultatet vi egentlig ville ha. Vi bygger systemer vi ikke forstår, noe som betyr at vi ikke alltid kan forutse atferden.

Akkurat nå er skaden begrenset fordi systemet også er begrenset. Dette er likevel et mønster som kan ha mye større konsekvenser for mennesker i fremtiden, når kunstig intelligens blir mer avansert.

2) Er det i det hele tatt mulig å gjøre en datamaskin like smart som et menneske?

Ja, men dagens AI systemer er langt fra like smarte som mennesker.

Et populært ordtak om kunstig intelligens er at "alt som er lett er vanskelig, og alt som er vanskelig er lett." Å utføre store, kompliserte kalkulasjoner på bare et sekund? Lett. Å se på et bilde og identifisere om det er en hund? Vanskelig (inntil veldig nylig).

De fleste ting mennesker gjør er fortsatt utenfor rekkevidde. For eksempel er det vanskelig å utvikle et system som utforsker ukjente miljø — som kan navigere veien fra døra og til en bygning den aldri har vært i før og opp til et spesifikt kontor. Vi vet fortsatt ikke hvordan vi utvikler et system som kan lese en bok og bevare forståelsen av innholdet.

Paradigmet som i det siste har drevet mange av de store banebrytende milepælene innen AI er det som kalles for "deep learning". Deep learning-systemer kan gjøre utrolige ting: Vinne i spill vi aldri trodde mennesker kunne tape i, generere fengslende og realistiske bilder eller løse åpne problemer i molekylærbiologi.

Disse gjennombruddene gjør at noen forskere mener det er på tide å begynne å tenke på farene med mer potente systemer. Likevel finnes det fortsatt skeptikere. De argumenterer for at programmer fortsatt trenger enorme mengder strukturert data for å lære fra, de krever nøye valgte parametere, eller å kun jobbe i miljø som er designet for å unngå problemer vi ikke ennå vet hvordan vi kan løse. De peker til selvkjørende biler, som fortsatt er middelmådige til tross for milliardene som er investert i å få dem til å fungere.

Det er imidlertid vanskelig å finne en AI-ekspert som tror at generell kunstig intelligens er umulig. I stedet sier de vanligvis at det vil skje en dag — men sannsynligvis langt frem i tid.

Andre forskere sier derimot at det kanskje ikke er så langt unna likevel.

Det er fordi at gjennom nesten hele historien til AI, har vi blitt holdt tilbake av at vi ikke har nok prosesseringskraft til å realisere ideene våre fullt ut. Mange av gjennombruddene de siste årene — som at kunstig intelligens systemer har lært hvordan å spille Atari games, generere falske bilder av kjendiser, brette proteiner og konkurrere i online strategispill — har skjedd fordi dette ikke lenger stemmer. Mange algoritmer som tilsynelatende ikke fungerte i det hele tatt, fungerte likevel ganske greit når vi kunne kjøre dem med mer prosesseringskraft.

Kostnaden av en enhet av prosessering fortsetter å falle. Fremskritt i topp prosesseringshastighet har i det siste gått saktere, men kostnaden av prosesseringskraft er fortsatt estimert til å falle med en faktor på 10 hvert tiår. AI har gjennom hele historien hatt tilgang på mindre prosesseringskraft enn den menneskelige hjernen. Dette endrer seg nå. I følge de fleste estimater er vi nå i ferd med å gå inn i epoken der kunstig intelligens har samme mengde ressurser til prosessering som vi mennesker har.

Og deep learning, sammenlignet med andre tilnærminger til AI, er veldig gunstig for å utvikle generelle kapasiteter.

"If you go back in history," sa topp AI-forsker og OpenAI-medstifter Ilya Sutskever, "they made a lot of cool demos with little symbolic AI. They could never scale them up — they were never able to get them to solve non-toy problems. Now with deep learning the situation is reversed.... Not only is [the AI we're developing] general, it's also competent — if you want to get the best results on many hard problems, you must use deep learning. And it's scalable."

Med andre ord trengte vi ikke bekymre oss over generell AI den gangen AI brukte andre teknikker for å vinne mot mennesker i Sjakk enn å vinne i Go. Men nå kan den samme teknikken brukes til å produsere falske nyheter eller musikk, avhengig av hvilke treningsdata vi mater den med. Og så langt vi kan se, blir programmene bare bedre og bedre på det de gjør dess mer treningsdata vi mater dem med. Vi har ennå ikke oppdaget noen harde begrensninger på hvor gode de kan bli. Deep learning-tilnærminger fløy forbi alle andre tilnærminger på de fleste problem når de først ble utviklet.

Nye gjennombrudd i et felt kan til og med overraske forskere som har brukt hele sin karrière på å studere det:

"Some have argued that there is no conceivable risk to humanity [from AI] for centuries to come," skrev UC Berkeley-professoren Stuart Russell, "perhaps forgetting that the interval of time between Rutherford's confident assertion that atomic energy would never be feasibly extracted and Szilárd's invention of the neutron-induced nuclear chain reaction was less than twenty-four hours."

Det er også et annet poeng å ta i betraktning: Forestill deg et AI-system som er dårligere enn mennesker i alt. Det vil si, bortsett fra én ting: Den kan bygge andre nye AI systemer svært effektivt. Maskinlæringsingeniører som jobber med automatisering av andre felt observerer ofte, humoristisk, at deres eget felt ser ut til å være et hvor mye av arbeidet — det pirkete arbeidet med å finjustere parametre — lett kan bli automatisert.

Hvis vi klarer å designe et slikt system, så kan vi bruke resultatet — en bedre AI-byggende AI — til å bygge enda et, til og med bedre, AI-system. Det er dette tankevekkende konseptet ekspertene kaller for "recursive self-improvement", hvor fremskritt i AI fører til at det igjen blir enklere å gjøre fremskritt innen AI, slik at et system som startet ut med lavere intelligens raskt ender opp langt forbi hva vi forventet.

Denne muligheten har vært kjent siden utviklingen av de første datamaskinene. I.J. Good, en kollega av Alan Turing som arbeidet med kodeknekkingsoperasjonen ved Bletchley Park under andre verdenskrig og hjalp til med å utvikle de første datamaskinene, var kanskje den første som forutså det, helt tilbake i 1965:

"An ultraintelligent machine could design even better machines; there would then unquestionably be an 'intelligence explosion,' and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is the last invention that man need ever make."

3) Hvordan kan kunstig intelligens egentlig tilintetgjøre oss?

Det er åpenbart hvordan atombomber kan ta knekken på oss. Ingen som jobber med å redusere faren for atomkrig må begynne med å forklare hvorfor det ville vært uheldig om vi hadde atomkrig.

Hvorfor AI kan utgjøre en eksistensiell fare for menneskeheten er derimot mer komplisert og vanskeligere å skjønne. Mange av de som jobber med å bygge trygge AI-systemer må derfor begynne med å forklare hvorfor disse systemene er risikable av natur.

Ideen om at AI kan bli en trussel kommer fra faktumet at AI-systemer fullfører målene sine, uavhengig av om disse målene er hva vi egentlig mente — og uavhengig om vi mennesker står i veien eller ikke. "You're probably not an evil ant-hater who steps on ants out of malice," skrev Stephen Hawking, "but if you're in charge of a hydroelectric green-energy project and there's an anthill in the region to be flooded, too bad for the ants. Let's not place humanity in the position of those ants."

Her er et scenario som holder eksperter våken om natten: Si at vi utvikler et sofistikert AI-system med mål om å, f.eks, kalkulere et tall som π med så høy presisjon som mulig. Systemet innser at det kan bli enda mer nøyaktig ved å f.eks benytte verdens samlede datamaskiner, og det forstår at det kan få tilgang til fri bruk av disse maskinene hvis det setter i gang et biologisk supervåpen som tilintetgjør menneskeheten. Etter å ha utryddet menneskeheten, beregner den deretter tallet med høyere presisjon.

Victoria Krakovna, en AI-forsker i DeepMind, utarbeidet en liste av eksempler på "specification gaming", som viser til at programmet gjør hva det er blitt instruert til å gjøre — men ikke hva vi ønsket det skulle gjøre. Et eksempel er når vi prøvde å få AI-organismer i en simulering til å hoppe, men vi gjorde det ved å instruere dem til å måle hvor langt "føttene" deres lettet fra bakken. I stedet for å hoppe lærte de å vokse til høye vertikale poler og flippe — de utmerket seg på det vi målte, men de gjorde ikke det vi ønsket at de skulle gjøre.

En AI som spilte Ataris utforskningsspill Montezuma's Revenge fant en "bug exploit" som lar det tvinge en nøkkel i spillet til å dukke opp igjen, og dermed tillate det å tjene en høyere score ved å utnytte feilen. En AI som spilte et annet spill innså at det kunne få flere poeng ved sette inn navnet sitt som eier av gjenstander med høy verdi.

Noen ganger forstår ikke engang forskerne hvordan AI systemet jukser: "The agent discovers an in-game bug. ... For a reason unknown to us, the game does not advance to the second round but the platforms start to blink and the agent quickly gains a huge amount of points (close to 1 million for our episode time limit)."

Det disse eksemplene gjør klart er at i hvilket som helst system som kan ha bugs eller utilsiktet atferd som mennesker ikke forstår fullt ut, kan et tilstrekkelig kraftig AI-system agere uforutsigbart — og forfølge sine mål på en måte som vi overhodet ikke forventer.

I hans artikkel "The Basic AI Drives," skriver Steve Omohundro, som har jobbet som
professor i informatikk ved Universitetet i Illinois Urbana-Champaign og er presidenten av Possibility Research, at nesten hvilket som helst AI-system forutsigbart vil prøve å samle flere ressurser, bli mer effektiv, og stritte i mot å bli skrudd av eller modifisert: "These potentially harmful behaviors will occur not because they were programmed in at the start, but because of the intrinsic nature of goal driven systems."

Argumentet hans er som følger: Fordi AI-systemer har mål, vil de også være motivert til å utføre handlinger som kan realisere målet deres. En AI som spiller et Sjakk vil være motivert til å kapre motstanderens spillebrikker og avansere spillet til en situasjon som gjør at spillet er lettere å vinne.

Men det samme AI-systemet, hvis det ser muligheten til å forbedre dets egne algoritmer slik at det kan evaluere potensielle trekk raskere, vil gjøre det også, av samme grunn: Det er bare et annet steg mot målet.

Hvis en AI ser en måte å utnytte mer datakraft slik at den kan den vurdere flere trekk i den tilgjengelige tiden, så vil den gjør det. Og hvis en AI oppdager at noen prøver å slå av datamaskinen midt i spillet, og den finner en måte å forhindre det på, så vil den gjøre det. Det er ikke det at vi instruerer AI-systemet til å gjøre slike ting; det er heller det at handlinger som disse ofte vil være en del av den optimale veien for å oppnå målet.

Det betyr at ethvert mål, selv uskyldige mål som å spille Sjakk eller generere annonser som får mange klikk på nettet, kan føre til utilsiktede resultater hvis systemet er intelligent nok og har nok optimaliseringskraft til å identifisere rare og uventede metoder for å nå målet.

Målbaserte systemer vil ikke våkne opp en dag med latent fiendtlighet til mennesker. Men de vil gjøre handlinger som de på forhånd kan se at vil hjelpe dem med å nå målene sine — selv i tilfeller hvor vi synes disse handlingene er problematiske. De vil prøve å bevare seg selv, akkumulere flere ressurser, og bli mer effektive. Dette er noe de gjør allerede, men til nå tar det formen av å utnytte rare bugs i spill. Etter hvert som de blir mer sofistikerte predikerer forskere som Omohundro mer adversarial oppførsel.

4) Når begynte forskere å bekymre seg over kunstig intelligens?

Forskere har tenkt på potensialet til AI siden de første dagene i datamaskinens historie. I den berømte artikkelen hvor han la frem "the Turing test" for å avgjøre om et kunstig system er virkelig "intelligent", skrev Alan Turing:

"Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. ... There would be plenty to do in trying to keep one's intelligence up to the standards set by the machines, for it seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. … At some stage therefore we should have to expect the machines to take control."

I.J. Good jobbet tett med Turing og nådde de samme konklusjonene, i følge assistenten hans, Leslie Pendleton. I et utdrag av noen upubliserte notater som Good skrev før han døde i 2009, skriver han om seg selv i tredjeperson og bemerker en uenighet med sitt yngre selv — da han var yngre, trodde han at kraftige AI-systemer kunne være nyttige for oss, men den eldre Good forventet at AI kom til å bli slutten på oss:

[Notatene] "Speculations Concerning the First Ultra-intelligent Machine (1965) ... began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'"

I det 21. århundre har datamaskiner raskt etablert seg som en transformativ kraft over hele kloden, og dette har vekket bekymring også hos yngre forskere.

Nick Böstrom er professor ved University of Oxford, hvor han er leder for Future of Humanity Institute og deres Governance of Artificial Intelligence-program. Han forsker på farer for menneskeheten, både i det abstrakte — som hvorfor vi tilsynelatende er alene i universet — og i mer konkrete baner, slik som å analysere teknologiske fremskritt og om de utgjør en trussel for oss. AI, konkluderte han, utgjør en trussel for oss.

I 2014 skrev han en bok hvor han forklarte risikoen vi kan forvente oss av å fortsette å utvikle generell AI, og om nødvendigheten av å gjøre det rett i første omgang. Han konkluderte at "once unfriendly superintelligence exists, it would prevent us from replacing it or changing its preferences. Our fate would be sealed."

Over hele verden har andre kommet til samme konklusjon. En medforfatter til Boström, AI-forsker Eliezer Yudkowsky, er grunnlegger av og forsker ved Berkeley Machine Intelligence Research Institute (MIRI) — en organisasjon som arbeider med å forbedre formelle karakteristikkerer av AI-sikkerhetsproblemet.

Yudkowsky startet karrieren sin ved å stikke hull i andres forslag om hvordan man kan lage trygge AI-systemer, og har brukt mesteparten av den på å overbevise andre eksperter om at AI-systemer — i utgangspunktet — ikke vil være kompatibel med menneskelige verdier (ikke nødvendigvis i motsetning til, men likegyldig til menneskelige moralske verdier) — og at det vil være et stort teknisk problem å forhindre katastrofale utfall.

Forskere innså i økende grad at det kom til å bli ytterlige utfordringer som ikke var tilstede når AI-systemer var enkle. "'Side effects' are much more likely to occur in a complex environment, and an agent may need to be quite sophisticated to hack its reward function in a dangerous way. This may explain why these problems have received so little study in the past, while also suggesting their importance in the future," konkluderte en studie fra 2016 om problemer innen AI-sikkerhet.

Boströms bok Superintelligence (2014) virket troverdig for mange, men det var også skeptikere. "No, experts don't think superintelligent AI is a threat to humanity," hevdet en kronikk fra Oren Etzioni, en professor i datavitenskap ved Universitetet i Washington og direktør for Allan Institute for Artificial Intelligence. "Yes, we are worried about the existential risk of artificial intelligence," svarte en opponerende kronikk av Stuart Russel, en pionér innen kunstig intelligens og professor ved UC Berkeley, og Allan DaFoe, en seniorforsker ved Oxford og direktør av programmet "Governance of AI" ved samme universitet.

Det er fristende å tro at dette er en spiss kamp med skeptikere på den ene siden og troende på den andre. Men i virkeligheten er ikke uenigheten så dyp som den ser ut til å være på overflaten.

Facebook sin ledende AI-forsker Yann LeCun, for eksempel, er en høylydt stemme på den skeptiske siden. Men selv om han tror at vi ikke bør frykte AI, så tror han fortsatt at vi bør ha folk som arbeider med, og forsker på, AI-sikkerhet. Han poengterer at "[e]ven if the risk of an A.I. uprising is very unlikely and very far in the future, we still need to think about it, design precautionary measures, and establish guidelines."

Ikke at det betyr et det er konsensus blant eksperter i dette området — det er langt fra tilfellet. Det finnes vesentlig uenighet om hvilke tilnærminger som mest sannsynlig bringer oss til generell AI, hvilke tilnærminger som mest sannsynlig bringer oss til trygg generell AI, og hvor tidlig vi trenger å bekymre oss over noe av dette.

Mange eksperter er bekymret for at andre overselger feltet deres, og frykter det kan bety slutten på feltet når forventningene dabber av. Men uenigheten bør ikke tåke for en voksende konsensus: Dette er muligheter som er verdt å tenke over, investere i, og forske på, slik at vi har retningslinjer for når det trengs.

5) Hvorfor kan vi ikke bare slå av datamaskinen hvis den blir for smart?

En smart AI ville kunne forutse at vi vil slå den av hvis den gjorde oss nervøs. Så den ville prøvd hardt å unngå å gjøre oss nervøs, fordi å bli slått av ville ikke være i tråd med målet. Hvis vi spurte den hvilke intensjoner den har, eller hva den arbeider med, så ville den vurdert hvilke svar som minst sannsynlig vil gjøre at menneskene slår den av, og svare det. Og hvis den ikke var kompetent nok til å gjøre det, så ville den kanskje late som om den var dummere enn den egentlig var — fordi den forventer at da vil forskerne gi den mer tid, prosesseringskraft og treningsdata.

Så vi vil kanskje ikke kunne vite når vi bør slå den av.

Vi vil kanskje også gjøre ting som gjør det umulig å avslutte programmet senere, selv om vi innser at det kommer til å bli nødvendig etter hvert. For eksempel, mange AI-systemer kommer mest sannsynlig til å få tilgang på internettet, som er en rik kilde på treningsdata og som trengs hvis systemet skal tjene penger for skaperne sine.

Men med internettilgang vil en AI kunne overføre kopier av seg selv og lagres andre steder, eller hacke sårbare systemer på andre måter. Da ville det ikke hjulpet å slå av en hvilken som helst enkel datamaskin.

Hvis dét er tilfellet, er det ikke en forferdelig idé å la et AI-system — selv et som ikke virker kraftig nok til å utgjøre en fare — ha tilgang på internett? Sannsynligvis. Men det betyr ikke at det ikke kommer til å fortsette å skje.

Så langt har vi for det meste bare snakket om de tekniske utfordringene ved AI. Herfra blir det nødvendig å dreie diskusjonen i retningen av politikk. Siden AI-systemer muliggjør utrolige ting, kommer det til å være mange forskjellige aktører som arbeider inn mot slike systemer.

Dette landskapet vil involvere oppstartsbedrifter, etablerte teknologibedrifter som Google (hvis eierselskap Alphabet sitt nylige ervervede startup DeepMind ofte blir nevnt som en pionér i feltet) og organisasjoner som OpenAI (etablert av Elon Musk) — som nylig gikk over til en hybrid for-profit/non-profit struktur.

Det vil involvere regjeringer — Russlands Vladimir Putin har uttrykt en interesse for AI, og Kina har gjort store investeringer. Noen aktører kommer antakeligvis til å trå forsiktig og benytte sikkerhetsprosedyrer, inkludert å holde deres AI langt unna internett. Men i et scenario som dette, er bare sikkerheten til den minst forsvarlige aktøren avgjørende, hvem enn det kommer til å bli.

Dette er del av problemet med AI: Selv om vi visste hvilke sikkerhetsprosedyrer vi bør følge (og akkurat nå vet vi ikke), må vi også finne ut hvordan vi kan sørge for at alle relevante aktørene har motivasjonen til å følge dem og verktøyene til å implementere dem riktig.

6) Hva gjør vi nå for å forhindre en AI-apokalypse?

"It could be said that public policy on artificial general intelligence does not exist," konkluderte en studie fra 2018.

Sannheten er at det blir gjort teknisk arbeid på lovende tilnærminger, men det er sjokkerende lite arbeid på politisk planlegging, internasjonalt samarbeid, eller partnerskap mellom offentlige og private aktører. Faktisk utføres mye av arbeidet av bare en håndfull organisasjoner, og det har blitt estimert at det er rundt 50 mennesker i verden som arbeider heltid på teknisk AI-sikkerhet.

Nick Boströms Future of Humanity Institute har publisert en forskningsagenda for "AI governance": Studiefeltet for"devising global norms, policies, and institutions to best ensure the beneficial development and use of advanced AI." De har publisert forskning på risikoen for ondsinnet bruk av AI, på Kinas AI-strategi, og på kunstig intelligens og internasjonal sikkerhet.

Den lengst etablerte organisasjonen som arbeider på teknisk AI-sikkerhet er Machine Intelligence Research Institute (MIRI), som prioriterer forskning på å utvikle høyst pålitelige agenter — AI-systemer med atferd vi kan forutsi bra nok til å kunne stole på at de er trygge.

Elon Musks OpenAI er en ny organisasjon som ble stiftet sent i 2015, men forskerne der bidrar også aktivt til forskning på både AI-sikkerhet og AI-kapasitet. En forskningsagenda fra 2016 inkluderte en liste med konkrete åpne tekniske problem knyttet til forhindring av utilsiktede risikoer fra maskinlæringssystemer, og forskere ved OpenAI har siden fremmet konkrete tilnærminger for å utvikle trygge AI-systemer.

Som en leder av feltet har Alphabet-eide DeepMind et sikkerhetslag og en teknisk forskningsagenda beskrevet her. Den konkluderer med at "[o]ur intention is to ensure that AI systems of the future are not just 'hopefully safe' but robustly, verifiably safe," og legger vekt på specification (å designe målsystemer), robustness (å designe system med begrenset atferd i usikre situasjoner), og assurance (å overvåke systemene og forstå hva de gjør).

Det er også mange mennesker som arbeider med mer dagsrelevante problemer innen AI-etikk: Algoritmisk bias, å sørge for at moderne maskinlæringsalgoritmer er robuste imot små endringer, og transparens og tolkbarhet av nevrale nettverk, for å nevne noe. Denne forskningen kan potensielt være verdifull for å forhindre destruktive scenarier.

Men sett ovenfra er tilstanden på AI-sikkerhet litt som om nesten alle klimaforskere var fokusert bare på å håndtere nåværende problemer som skogbranner, tørke og hungersnød, med et lite team dedikert til å forutse utviklingen og komme opp med en plan for å snu ting rundt.

Ikke alle organisasjoner med en stor AI-avdeling har et sikkerhetsteam i det hele tatt, og noen av dem har sikkerhetsteam fokusert bare på algoritmisk rettferdighet og ikke på risikoen ved avanserte system.

Feltet har fortsatt mange åpne spørsmål som ingen har utforsket i dybden— hvor flere av dem kan lede mot at AI utgjør en mye større, eller mye mindre, risiko enn vi tror i dag.

7) Er det virkelig mer sannsynlig at dette tar knekken på oss enn,
for eksempel, klimaendringer?

Av og til virker det som om vi i det 21. århundre står overfor utallige farer som kommer fra alle kanter. Både klimaendringer og fremtidige utviklinger innen kunstig intelligens kommer sannsynligvis til å ha en transformativ innvirkning på verdenen vår.

Våre prediksjoner om klimaendringene er sikrere, på godt og vondt. Vi har en klarere forståelse av risikoen klimaet står overfor, og vi kan estimere hvilken kostnad det utgjør for menneskeheten. De er beregnet til å være enorme, og truer potensielt hundre millioner av liv. De som vil lide mest er ressurssvake mennesker i utviklingsland, for de rike kan lettere tilpasse seg endringene. Vi har også en klarere forståelse av hvilken politikk vi må vedta for å adressere klimaendringer enn vi har for kunstig intelligens.

Det er store uenigheter om tidslinjer for avgjørende fremskritt innen AI. Selv om AI-sikkerhetseksperter er enige om mange egenskaper ved sikkerhetsproblemet, er fagdiskusjonene begrenset til andre forskerteam i deres eget felt, og det er uenighet i noen av detaljene. Det er vesentlig uenighet om hvor dårlig det kan gå, og hvor sannsynlig det er at det går dårlig. Det er bare en håndfull mennesker som jobber heltid på å forsøke å forutse utviklingen. En av tingene forskere prøver å avdekke, er modellene de anvender samt årsakene til den gjenværende uenigheten om hvordan trygge tilnærminger vil se ut.

De fleste eksperter i feltet mener AI utgjør en mye større risiko for total menneskelig utryddelse enn det klimaendringer gjør. Analytikere av eksistensielle farer for menneskeheten tror at klimaendringer, selv om de kan være katastrofale, sannsynligvis ikke fører til menneskelig utryddelse. Men mange andre legger først og fremst vekt på usikkerheten vår — og understreker at når vi gjør raske fremskritt mot en potensielt transformativ teknologi og det fortsatt er mange ubesvarte spørsmål, så er det best å jobbe med å besvare dem nå.

8) Er det en mulighet for at AI kan bli vennlig?

De som forsker på AI-sikkerhet understreker at vi ikke bør anta som et utgangspunkt at AI-systemer vil være vennlig innstilt. De kommer til å ha målene som treningsmiljøet deres satte dem opp for å operere etter, og det er lite sannsynlig at disse målene kan omslutte alle menneskelige verdier.

Hva om vi kunne stole på at når en AI blir smart nok, så vil den finne ut hva som er etisk helt av seg selv? Igjen, forskerne understreker at det ikke kommer til å skje. Det handler ikke egentlig om å "finne ut" — en smart nok AI vil uten problemer kunne forstå at mennesker verdsetter medmenneskelighet, lykke og mening i livet. Men en AIs verdier vil fortsatt være knyttet til målene som opprinnelig ble programmert inn i dem, noe som betyr at den vil ikke kunne plutselig akseptere menneskelige verdier med mindre den var designet slik fra begynnelsen av.

Selvfølgelig kan vi bygge AI-systemer som er tilpasset menneskelige verdier, eller som har innstillinger som gjør at mennesker trygt kan arbeide med dem. Det er dette nesten alle organisasjonene med en avdeling for kunstig intelligens prøver å oppnå. Suksess kan bety at vi utløser fordelene ved tiår eller århundrer av teknologisk innovasjon på én gang.

"If we're successful, we believe this will be one of the most important and widely beneficial scientific advances ever made," skriver DeepMind i introduksjonen deres. "From climate change to the need for radically improved healthcare, too many problems suffer from painfully slow progress, their complexity overwhelming our ability to find solutions. With AI as a multiplier for human ingenuity, those solutions will come into reach."

Så, svaret er ja, AI kan dele våre verdier — og transformere verdenen vår for det bedre. Det eneste vi trenger å gjøre er å løse et svært vanskelig ingeniørproblem først.

9) Hvor bekymret bør vi være?

For folk som mener at det er for tidlig å bekymre seg og at risikoen er overdrevet, så konkurrerer AI-sikkerhet med andre prioriteringer som virker litt mindre, vel, sci-fi — og det er ikke klart hvorfor AI burde ha forrang. For folk som mener at de nevnte risikoene er reelle og vesentlige, så er det skandaløst at vi dedikerer så få ressurser til å redusere dem.

Selv om AI-forskere gjør rett i å være skeptiske til hypen, er det også verdt å legge merke til at de utretter imponerende og overraskende ting ved å bruke noen svært generaliserbare teknikker, og det ser ikke ut til at alle lavthengende frukter har blitt plukket ennå.

Kunstig intelligens ser mer og mer ut som en teknologi som kommer til å endre verden når den ankommer. Forskere på tvers av mange store AI organisasjoner forteller oss at det kommer til å bli som å skyte opp en rakett: noe vi må utvikle korrekt før vi trykker 'launch'. Så det ser ut til at det haster å lære mer om rakettoppskyting. Om menneskeheten har grunn til å engste seg eller ei, bør vi uansett helt klart gjøre hjemmeleksa vår.