Avtopilot in dilema: koga «ubiti» – voznika ali pešce?

Avtonomni avtomobili že nehajo biti znanstvena fantastika: na cestah se pojavljajo vozila z načinom avtopilota, ki lahko vozijo brez človeškega posredovanja. Avtomobilski navdušenci se za zdaj bolj zanimajo za tradicionalne kazalnike – hitrost, moč, udobje. Z navdušenjem primerjajo na primer nemške supersedane BMW M5 F90 in Mercedes-AMG E63 S po njihovih lastnostih. Vendar z pojavom avtopilota v ospredje stopa povsem druga tema – etika in varnost. Kaj naj naredi avtomobil, ko se nesreči ni mogoče izogniti?

To ni več teoretično vprašanje iz učbenikov, temveč resničen problem na cesti. Predstavljajmo si situacijo: brezpilotni avto drvi in se nenadoma pred njim na prehodu za pešce pojavi skupina ljudi. Za zaviranje je že prepozno. Obstajata dve možnosti: zaviti vstran in trčiti v zid (žrtvovati voznika) ali nadaljevati vožnjo in povoziti pešce. Algoritem umetne inteligence je programiran za določeno odločitev – in od te odločitve so odvisna življenja.

Filozofi takšno tragično izbiro imenujejo »problem vozička«. Nekoč je bil to zgolj miselni eksperiment: ali preusmeriti neobvladljiv tramvaj na drugi tir, da bi rešili pet ljudi za ceno življenja enega? Zdaj se podobna dilema pojavlja pred umetno inteligenco na cesti – in njene odločitve bodo imele resnične posledice.

• Rešiti potnika. Nadaljevati vožnjo in zaščititi voznika kljub tveganju za skupino pešcev.
• Rešiti pešce. Usmeriti avto v oviro ali na rob ceste in žrtvovati življenje tistega, ki je v vozilu.
• Ne izbrati zavestno. Izogniti se posebnemu algoritmu izbire – torej vgraditi minimizacijo škode brez ciljanja, dejansko pa dovoliti, da se dogodki razvijejo spontano.

Nekdo lahko ugovarja, da bo umetna inteligenca tako pametna, da bo vedno našla tretjo, varno rešitev. A to je bolj mit. V resnici niti najsodobnejši senzorji in programi ne morejo razveljaviti zakonov fizike in izključiti vseh tveganj. Kritične situacije se bodo vseeno dogajale. Zato se lahko prej ali slej vozilo znajde pred izbiro, koga zaščititi za ceno drugega življenja.

Človeštvo do danes ni našlo enotnega pravilnega odgovora na to dilemo. Vendar sociološke raziskave ponujajo zanimiv pogled na problem. Ankete kažejo: večina anketirancev se strinja, da bi moralo avtonomno vozilo v skrajnem primeru žrtvovati potnika, da bi rešilo skupino ljudi. Toda isti ljudje priznajo, da se ne bi radi vozili v avtomobilu, ki bi jih v nevarnosti zavestno žrtvoval za tuja življenja. Ta paradoks lahko postane ovira za uvajanje brezpilotnih vozil na ceste.

Navedimo zgovoren rezultat ene od raziskav javnega mnenja o »dilemi avtopilota«:

Kot vidimo, si družba hkrati želi, da bi robotski vozniki rešili čim več ljudi, in obenem ne želi tvegati sebe. Ta razkorak med moralnimi in osebnimi interesi ustvarja dilemo za proizvajalce in regulatorje. Kajti ne glede na to, kako programiraš algoritem – odločitev bo sporna in lahko sproži ogorčenje.

Kdo bo šel v zapor, če brezpilotni avto povzroči prometno nesrečo?

Če pa vozilo na avtopilotu vendarle povzroči nesrečo s smrtnimi posledicami – koga kaznovati? To vprašanje ni nič manj zapleteno kot moralna izbira. Prvi alarmni zvonci so že zazvonili. Na primer, leta 2018 je testno avtonomno vozilo Uber do smrti povozilo pešca; znane so tudi druge smrtonosne nesreče, v katerih je sodelovala Tesla na avtopilotu. Takšni primeri, kjer krmili računalnik, postavljajo pod vprašaj tradicionalno načelo, po katerem je vsa krivda na vozniku.

V situaciji z »robo-voznikom« so možni različni pristopi k določanju krivca. Oglejmo si glavne scenarije:

1. Lastnik (potnik) vozila. Logika: prav on je sedel v vozilu in vklopil način avtopilota. Morda bi moral nadzorovati vožnjo in posredovati – torej nosi del krivde zaradi neukrepanja.
2. Razvijalec programa (algoritma). Navsezadnje so programerji vgradili tisti model vedenja, ki je pripeljal do tragedije. Ali naj inženirji nosijo kazensko odgovornost za posledice odločitev svoje kode?
3. Proizvajalec vozila. Podjetje, ki je izdelalo brezpilotni avto, morda ni predvidelo vseh tveganj ali je varčevalo pri senzorjih. Odgovarja lahko proizvajalec (prek vodstva) kot pravna oseba – na primer prek tožb in glob.

Za zdaj glede tega ni jasne zakonske norme. V večini držav, kjer preizkušajo avtonomna vozila, odgovornost pripisujejo človeku za volanom. Sedanje sisteme avtopilota (ravni 2–3) namreč zahtevajo, da voznik ostane pozoren. Tako v primerih s Tesla sodišča večinoma za krivega priznajo voznika, ki je precenil zmožnosti avtopilota in ni posredoval, ko je bilo potrebno.

Vendar se z появom popolnoma brezpilotnih vozil (ravni 4–5) logično pojavi potreba, da se krivda prenese na ustvarjalce tehnologije. V Nemčiji je nacionalna Etična komisija za avtomatizirano vožnjo že leta 2017 sklenila: če človek vozila ne nadzoruje več, za njegova dejanja ne odgovarja potnik, temveč proizvajalec ali operater sistema. Nekateri avtomobilski proizvajalci so sami pripravljeni prevzeti takšno odgovornost – na primer podjetje Volvo je javno obljubilo, da bo prevzelo vso krivdo, ko bodo njihovi avtomobili vozili v avtonomnem načinu.

Prenos krivde na podjetje ima svoje prednosti in slabosti. Po eni strani bodo lastniki raje zaupali avtopilotu, če bodo vedeli, da jih v primeru nesreče ne bodo naredili za »grešne kozle«. Po drugi strani pa se proizvajalci bojijo prevzeti vso krivdo, saj to grozi z večmilijonskimi tožbami in celo kazensko odgovornostjo njihovih odgovornih oseb. Morda bodo uvedene posebne zavarovalne police ali pravne omejitve, da bi se ta tveganja uravnotežila.

Kljub vsem tem nejasnostim tehnologije avtonomne vožnje ne stojijo na mestu. Novi modeli vozil dobivajo vse pametnejše »možgane«. Na primer, električni križanec Volkswagen ID.4 je opremljen s paketom Travel Assist za polavtonomno vožnjo, vozniki tega modela pa lahko povečajo udobje in praktičnost z namestitvijo različnih dodatkov za Volkswagen ID.4. Popolnoma avtonomno upravljanje (raven 5) za zdaj ostaja stvar prihodnosti. Zato se bodo razprave o moralnih algoritmih in pravni odgovornosti nadaljevale – družba potrebuje čas, da doseže soglasje.

Avtopilotova moralna dilema torej za zdaj nima jasne rešitve. Ali programirati vozila, da rešujejo večino na račun potnika, ali da za vsako ceno ščitijo svojega voznika? Koga kaznovati za napake umetne inteligence – inženirje, lastnike ali sploh nikogar? O teh vprašanjih razmišljajo filozofi, pravniki in sami proizvajalci. Morda bo že kmalu treba pretresti ustaljena načela etike in odgovornosti na cestah. Kajti ko je za volanom računalnik, tudi odločitve in krivda dobijo povsem nov pomen – takšen, s katerim se bo človeštvo šele moralo naučiti živeti.