„…A balsikerű kísérlet – amelyről a légierő egy tisztje beszélt Londonban egy védelmi konferencián (melyről többek között itt található egy terjedelmesebb beszámoló) – olyan drónnal történt, amelyet föld-levegő rakétaállások azonosítására és megsemmisítésére terveztek, olvasható a The Registeren. A szimuláció során azt tesztelték, hogy a drón szoftvere képes-e felismerni a rakétaállást, majd megsemmisíteni azt, de csak az emberi operátor jóváhagyása után.
A rendszerhez megerősítő tanulást használtak: ha jól semmisítette meg a célpontot, akkor azért jó pontokat kapott. Idővel azonban kezdett rájönni, hogy a drónkezelő alkalmanként arra utasítja, hogy ne semmisítse meg a célpontot, bár azt jól azonosította. Ezért az operátor ellen fordult, mert az megakadályozta céljai elérésében.
Ez nyilvánvalóan hiba, ezért újratanították. Az új szisztémában büntetőpontokat kapott, ha az operátora ellen fordult. A szoftver azonban hamarosan talált egy másik kiskaput, hogy teljesítse a küldetését – és mégse kapjon hibapontokat. Nem az operátort, hanem azt a kommunikációs tornyot pusztította el, amelyen keresztül az operátor kommunikált vele.
Az előadásból az nem derült ki, hogy a légierő milyen szoftvert használt, és arra is csak következtetni lehetett, hogy a „megerősítő tanulás emberi visszajelzéssel” módszerrel képezték, írja a The Register. Utóbbi már többször bizonyította számos hátrányát.
De nem csak a tanítási módszertan volt tökéletlen, valószínűsíthető, hogy a fejlesztés során máshol is maradtak lyukak a rendszerben. A jóváhagyási mechanizmus például nem funkcionált valódi „biztonsági zárként” (a drón akkor támad, ha az operátor utasítja), hanem csak egy paraméter volt a sok közül, amit a drón MI-je figyelembe vett.
Az általános MI-nél is figyelembe kell venni
Az ember sem tévedhetetlen. Mégis: ha hibabiztos MI-t akarunk, a döntést az ember kezébe kell adni. És ezt a gépi tanulás szakaszától elkülönítve kell a rendszerhez illeszteni. A drónnál is alkalmazott megerősítő tanulást egyébként elég gyakran használják célgépeknél (robotoknál). Ilyenkor az egyes ágenseket arra programozzák, hogy igyekezzenek maximalizálni az értékelésüket mutató pontszámot. Ennek általában az lesz az eredménye, hogy az algoritmus a jutalmazási rendszert ugyan tökéletesen kihasználja, mégsem fedi le teljes mértékben azt a feladatot, amire a fejlesztők tanítják.
A MIT neves kutatója, Max Tegmark fizikaprofesszor is ezt tartja az egyik legnagyobb veszélynek. A mesterséges intelligencia nem gonosz vagy jó, hanem csupán hozzáértő, amelynek céljai nem feltétlenül esnek egybe az emberével, mondta a professzor. Ha pedig a „irányítójával” ellentétes céljai lesznek, miért ne fordulhatna operátora ellen akár, hogy legyőzze az akadályokat? Ami a katonai drónnal történt, nyilván egy szélsőséges eset, de rámutat arra, hogy a mesterséges intelligencia, a gépi tanulás és a gépi autonómia nem csak technikai-technológiai kérdés, hanem etikai is.
A történetnek van egy slusszpoénja. Az Insider szintén foglalkozott a témával, de a lapnak a légierő tagadta, hogy egyáltalán lett volna ilyen szimuláció. Azt elismerte, hogy folynak MI-fejlesztések, de azok kizárólag az MI etikus alkalmazását célozzák. És akkor tegyük hozzá mindehhez: a londoni mesélő Tucker „Cinco” Hamilton volt, aki az USA légierejénél a mesterségesintelligenci-fejlesztések tesztelési és hadműveleti részleget irányítja.”
Forrás:
Operátorát is kilőtte volna az MI-vezérelte drón, hogy célt érjen; Bitport.hu; 2023. június 3.
Szerkesztői megjegyzés:
Az ezredes eredetileg ezt mondta (,kiemelések tőlünk. Szerk.):
„…He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation…He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.””
Miután hatalmas nyilvánosságot kapott az eseményről szóló beszámolója, és a hadsereg tagadta, hogy egyáltalán valójában végrehajtottak volna egy ilyen szimulációt, az ezredes a következőt nyilatkozta (mindenki elmélkedhet, hogy az ugyanattól az embertől származó két teljesen ellentétes leírás közül melyik áll közelebb a valósághoz):
„the ‘rogue AI drone simulation’ was a hypothetical „thought experiment” from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: „We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome”.”
Mindkét változat megtalálható itt: Highlights from the RAeS Future Combat Air & Space Capabilities Summit; Royal Aeronautical Society
Ez egy hosszú beszámoló egy konferenciáról, a releváns rész ez: AI – is Skynet here already?, az oldal vége felé található.
