Conform unui nou studiu, cu cât devine mai avansat un model de limbaj mare (LLM) al inteligenței artificiale, cu atât este mai puțin probabil ca acesta să admită că nu poate răspunde la o întrebare, notează Euronews.
Conform unui nou studiu, este mai puțin probabil ca modelele mari de limbaj (LLM) mai noi să admită că nu știu răspunsul la întrebarea unui utilizator, ceea ce le face mai puțin fiabile.
Cercetătorii din domeniul inteligenței artificiale (AI) de la Universitat Politècnica de València din Spania au testat cele mai recente versiuni ale modelelor BLOOM de la BigScience, Llama de la Meta și GPT de la OpenAI din punct de vedere al preciziei, adresând fiecărui model mii de întrebări despre matematică, știință și geografie.
Cercetătorii au comparat calitatea răspunsurilor fiecărui model și le-au clasificat în răspunsuri corecte, incorecte sau evazive.
Studiul, care a fost publicat în revista Nature, a constatat că acuratețea la problemele mai dificile s-a îmbunătățit cu fiecare model nou. Cu toate acestea, ei au avut tendința de a fi mai puțin transparenți cu privire la posibilitatea de a răspunde corect la o întrebare.
Modelele LLM anterioare spuneau că nu pot găsi răspunsurile sau că au nevoie de mai multe informații pentru a ajunge la un răspuns, dar noile modele erau mai predispuse să ghicească și să producă răspunsuri incorecte chiar și la întrebări ușoare.
„Nicio îmbunătățire aparentă” în rezolvarea problemelor de bază
LLM-urile sunt algoritmi de învățare profundă care utilizează inteligența artificială pentru a înțelege, prezice și genera conținut nou pe baza seturilor de date.
În timp ce noile modele ar putea rezolva probleme mai complexe cu mai multă acuratețe, LLM-urile din cadrul studiului au făcut în continuare unele greșeli atunci când au răspuns la întrebări de bază.
„Fiabilitatea deplină nu este atinsă nici măcar la niveluri foarte scăzute de dificultate”, potrivit lucrării de cercetare.
„Deși modelele pot rezolva cazuri extrem de dificile, ele eșuează și la cele foarte simple”.
