„A nagyváros munkacsoportot állított fel a közigazgatásban működő algoritmusok társadalmi hatásainak vizsgálatára.
Az algoritmizált döntések egyre több fronton befolyásolják az emberek életét, ami alól a kormányzati rendszerek sem jelentenek kivételt. Ez a helyzet New Yorkban is, ahol a rendőrségtől és a tűzoltóságtól kezdve a lakhatási és iskoláztatási ügyeken át az élelmiszerbiztonságig egy csomó automatizált rendszer dolgozik. Az automatizálás előnyei nyilvánvalók, az elfogulatlanság kérdése és a rendszerek transzparens működése azonban minimum aggályos lehet egy olyan környezetben, ahol éppen ez a két szempont osztályozható a legnehezebben.
A New York-i városi tanácsban hétfőn ment át egyhangú támogatással az az augusztusban benyújtott javaslat, amely munkacsoport felállítását írná elő az „automatizált döntéshozó rendszerek” átvilágítására. (A feltételes mód csak amiatt indokolt, hogy a rendelet életbe léptetéséhez szükség lesz a polgármester aláírására is.) A munkacsoport a tervek szerint a jövő év, 2019 végéig működik majd, akkor teszi közzé jelentését a számítási algoritmusok kiegyensúlyozottságáról és egyáltalán a beható vizsgálatokra való alkalmasságáról.
Utóbbi azért lényeges kérdés, mert a rendszerek működésével, annak hatásaival vagy pontos költségeivel maga a városvezetés sincs teljesen tisztában – nem beszélve a város polgárairól, akiknek még ennyi betekintésük sincs azokba a folyamatokba, amelyek a velük kapcsolatos döntéseket hozzák.
A vizsgálatokhoz eszközökre is szükség lenne
A javaslat egyébként a mostani formájában a legelső elképzelések kilúgozott változata. Tavaly májusban még egy olyan tervezetet vázoltak, amely szerint ha egy városi ellenőrzés alatt álló szervezet a szabályozásokat, büntetéseket vagy szolgáltatásokat automatizált rendszerek bevonásával akarja kezelni, akkor a vonatkozó szoftverek forráskódját mindenki által elérhetővé kell tennie, ezen felül a New York-i polgárok által szolgáltatott (tehát valódi) adatokkal kell modellezniük az algoritmusok későbbi működését.Ebből mostanra annyi maradt, hogy a technikai információt „indokolt esetekben” kell közzétenni, és a munkacsoportnak meg kell vizsgálnia, hogy milyen típusú algoritmusok szorulnak szabályozásra, illetve a polgárok milyen módon nyerhetnek betekintést azok működésébe, hogyan kaphatnak tájékoztatást az őket érintő döntések hátteréről, és mi a teendő, ha valaki „algoritmikus elfogultság” áldozatává válik. Bár a kezdeményezés a maga nemében a városban, az Egyesült Államokban, és talán az egész világon úttörő dolognak számít, a kritikusok szerint nagyon nehéz lesz érdemi eredményeket felmutatni.
A kritikusok szerint a fokozott nyitottság egyben biztonsági kockázatokat is jelent, amennyiben a rosszhiszemű felek hatékonyabban trükközhetik meg a közjóléti szolgáltatásokat; a szállítók ugyanakkor nehezen mennének bele, hogy közszemlére kell tenniük a tulajdonosi technológiákat, ezen keresztül pedig versenyhátrányba kerüljenek a konkurenciával szemben.
A The New Yorker beszámolója azt az (ál)naiv kérdést is felveti, hogy ha a város eddig képtelen volt megbízható módon visszamérni az automatizált rendszerek hatásait, akkor a város által felállított munkacsoport vajon milyen eredményeket szállít majd. Különösen akkor, ha a vizsgálat alá vont szereplőktől jórészt csak önkéntes adatszolgáltatásra számíthat a rendszerek tervezésével, beszerzésével vagy auditálásával kapcsolatban.
Bemondásra már nehezen lehet bizalmat építeni
A tervezet ugyanis ebben a formában nem tartalmaz semmiféle ajánlást vagy stratégiát az érdekérvényesítésre: egy New York méretű, ilyen forrásokkal és demográfiai adatállománnyal rendelkező város simán tárgyalhatna erőpozícióból a beszállítókkal, felrúgva az eddigi gyakorlatot, és a titkosítástól remélt apró eredmények helyett rámehetne a legitimitás és a közbizalom eróziójának megállítására.Az első lépést mindenesetre a város vezetése megtette, és a munkacsoport működése precedenst jelenthet más helyi kormányzatok számára is. A bejelentésekkel kapcsolatban megszólaló szakértők mindenesetre azt várják, hogy a mostani kísérlet nyomán New York egyre inkább latba veti majd saját súlyát a beszállítókkal való tárgyalásoknál, akár a meglévő szerződések felülvizsgálatával.
A publikus elszámoltathatóság hiányában nem marad más, mint elhinni, hogy az algoritmusok nem egyoldalúak vagy diszkriminatívak. Erre pedig a big data korszakban (akár csak a Facebook milliókat érintő algoritmikus manipulációinak felszínre kerülésével) már nem érdemes apellálni.”
Forrás:
New York-i kísérlet az automatizált rendszerek elszámoltatására; Bitport.hu; 2018. május 20.
Lásd még:
Mayor de Blasio Announces First-In-Nation Task Force To Examine Automated Decision Systems Used By The City; City of New York; 2018. május 16.
To be fair, New York City assembles algorithm task force. The panel will look at whether the city’s automated decision systems are racially biased; Benjamin Freed; statescoop; 2018. május 17.
Korábban
The first bill to examine ‘algorithmic bias’ in government agencies has just passed in New York City; Zoë Bernard; Business Insider; 2017. december 19.
New York City’s Bold, Flawed Attempt to Make Algorithms Accountable ; Julia Powles; The New Yorker; 2017. december 20.
Háttér
Algorithmic Accountability: A Primer; Robyn Caplan, Lauren Hanson, Joan Donovan, Jeanna Matthews; Data & Society; 2018. április 18. (PDF)
(Prepared for the Congressional Progressive Caucus: Tech Algorithm Briefing: How Algorithms Perpetuate Racial Bias and Inequality)
Rövid kivonat: Understanding Algorithms (PDF)
