Noul fenomen înfricoșător legat de AI: Adolescenți și adulți care ajung să moară după ce leagă o relație cu un chatbot

Săptămâna trecută, a apărut vestea tragică că un adolescent american, Sewell Seltzer III, și-a luat viața după ce a format un atașament emoțional profund față de un chatbot de inteligență artificială (AI), pe site-ul web Character.AI. Pe măsură ce relația cu companionul AI devenea din ce în ce mai intensă, băiatul de 14 ani a început să se îndepărteze de familie și de prieteni și să aibă probleme la școală.

Într-un proces intentat împotriva Character.AI de către mama băiatului, transcrierile chat-urilor arată conversații intime și adesea foarte sexuale între Sewell și chatbotul Dany, modelat după personajul Danaerys Targaryen din Game of Thrones, potrivit Science Alert.

Au discutat despre crimă și sinucidere, iar chatbotul a folosit fraze precum „acesta nu este un motiv să nu mergi până la capăt”.

Acesta nu este primul caz cunoscut în care o persoană vulnerabilă moare prin sinucidere după ce a interacționat cu o persoană chatbot.

Un belgian și-a luat viața anul trecut într-un episod similar în care a fost implicat principalul concurent al Character.AI, Chai AI. Când s-a întâmplat acest lucru, compania a declarat presei că „depune toate eforturile pentru a minimiza daunele”.

Cum răspunde compania Character.AI la acuzații

Într-o declarație pentru CNN, Character.AI a declarat că „ia foarte în serios siguranța utilizatorilor” și a introdus „numeroase măsuri noi de siguranță în ultimele șase luni”.

Într-o declarație separată de pe site-ul web al companiei, acestea prezintă măsuri de siguranță suplimentare pentru utilizatorii cu vârsta sub 18 ani (în termenii lor actuali de serviciu, limita de vârstă este de 16 ani pentru cetățenii Uniunii Europene și de 13 ani în alte părți ale lumii).

Cu toate acestea, aceste tragedii ilustrează în mod clar pericolele sistemelor de inteligență artificială care se dezvoltă rapid și sunt disponibile pe scară largă, cu care oricine poate conversa și interacționa. Avem nevoie urgentă de reglementări care să protejeze oamenii de sistemele AI potențial periculoase și concepute în mod iresponsabil.

Cum putem reglementa inteligența artificială?

Modelele de uz general sunt motorul de sub capota chatbot-urilor AI precum Dany: Algoritmi AI care pot genera text, imagini, clipuri video și muzică din indicațiile utilizatorului și pot fi adaptați pentru a fi utilizați într-o varietate de contexte.

În legea inovatoare a Uniunii Europene privind inteligența artificială, sistemele cu risc ridicat sunt definite cu ajutorul unei liste, pe care autoritățile de reglementare sunt împuternicite să o actualizeze periodic.

O alternativă este o abordare bazată pe principii, în care desemnarea unui sistem cu risc ridicat se face de la caz la caz. Aceasta ar depinde de factori multipli, cum ar fi riscurile de impact negativ asupra drepturilor, riscurile pentru sănătatea fizică sau mentală, riscurile de impact juridic, precum și gravitatea și amploarea acestor riscuri.

Chatboții ar trebui să fie AI cu „risc ridicat

În Europa, sistemele AI de însoțire, precum Character.AI și Chai, nu sunt desemnate drept sisteme cu risc ridicat. În esență, furnizorii lor trebuie doar să informeze utilizatorii că interacționează cu un sistem AI.

Cu toate acestea, a devenit clar că chatbots-urile de însoțire nu prezintă un risc scăzut. Mulți utilizatori ai acestor aplicații sunt copii și adolescenți. Unele dintre sisteme au fost comercializate chiar și persoanelor singure sau cu boli mintale.

Chatbots-urile sunt capabile să genereze conținut imprevizibil, inadecvat și manipulator. Ele imită mult prea ușor relațiile toxice. Transparența - etichetarea rezultatelor ca fiind generate de AI - nu este suficientă pentru a gestiona aceste riscuri.

Chiar și atunci când suntem conștienți de faptul că vorbim cu roboți de chat, ființele umane sunt predispuse din punct de vedere psihologic să atribuie trăsături umane lucrurilor cu care conversează.

Persoanele vulnerabile pot intra în relații de dependență, toxice sau chiar periculoase cu chatboți AI

Decesele prin sinucidere raportate în mass-media ar putea fi doar vârful icebergului. Nu avem de unde să știm câte persoane vulnerabile se află în relații de dependență, toxice sau chiar periculoase cu roboți de chat.

În afară de cuvintele pe care un chatbot le-ar putea folosi, contează și contextul produsului.

În cazul Character.AI, marketingul promite să „încurajeze” oamenii, interfața imită un schimb obișnuit de mesaje text cu o persoană, iar platforma permite utilizatorilor să selecteze dintr-o serie de personaje predefinite, care includ unele persoane problematice.

Sistemele de protecție împotriva IA cu adevărat eficiente ar trebui să impună mai mult decât simple procese responsabile, precum gestionarea riscurilor și testarea. De asemenea, acestea trebuie să impună o proiectare atentă și umană a interfețelor, a interacțiunilor și a relațiilor dintre sistemele AI și utilizatorii lor umani.

Chiar și așa, gardurile de protecție s-ar putea să nu fie suficiente. La fel ca chatbots-urile însoțitoare, sistemele care, la prima vedere, par să prezinte un risc scăzut pot cauza prejudicii neanticipate.

Autoritățile de reglementare ar trebui să aibă competența de a retrage de pe piață sistemele de inteligență artificială dacă acestea provoacă daune sau prezintă riscuri inacceptabile. Cu alte cuvinte, nu avem nevoie doar de „garduri de protecție” pentru AI cu risc ridicat, ci avem nevoie și de un comutator de oprire.

Persoanele care suferă de depresie și anxietate pot găsi sprijin în abordarea sănătății mintale și emoționale, la primul hub antidepresie din România, la TEL VERDE 0374.456.420, disponibil 24 de ore din 24. De asemenea, cei care prezintă impulsuri suicidale, sau familiile acestora, pot găsi asistență la Alianța Română de Prevenție a Suicidului, la telefon 0800 801 200, în zilele de Vineri, Sâmbătă și Duminică, sau, 24/7, prin email la sos@antisuicid.ro