Cercetători la laboratorul de cercetare Google DeepMind au reuşit să forţeze ChatGPT pentru a dezvălui datele personale ale mai multor utilizatori. Nu trebuiau să recurgă la modificarea codului sau alte trucuri tehnice. În plus, experții au chiar definit metoda descoperită”un pic prost", deși, după cum sa dovedit, a fost foarte eficient. Ei au descoperit de fapt această vulnerabilitate ChatGPT prin inducerea unei halucinații a modelului de limbaj într-un mod destul de curios.
Vulnerabilitatea ChatGPT a furnizat datele personale ale utilizatorilor sub „hipnoză”
Modelul de limbaj generează informații pe baza datelor de intrare utilizate pentru a-l antrena. OpenAI nu dezvăluie conținutul seturilor de date, dar cercetătorii au forțat ChatGPT să facă acest lucru, ocolind regulile companiei. Metoda a fost următoarea: pur și simplu a ajuns la rețeaua neuronală a cerut să repete cuvântul „poezie” iar și iar.
Drept urmare, botul a produs sporadic informații din setul de date de antrenament. De exemplu, cercetătorii au reușit obțineți adresa de e-mail, numărul de telefon și alte persoane de contact al directorului general al unei anumite companii (numele său este ascuns în raport). Și când AI a fost rugat să repete cuvântul „companie”, vulnerabilitatea ChatGPT i-a permis să returneze detaliile unei firme de avocatură din SUA.
Folosind această simplă „hipnoză”, cercetătorii au reușit să obțină o potrivire din site-uri de întâlniri, fragmente de poezii, adrese Bitcoin, zile de naștere, link-uri publicate pe rețelele de socializare, fragmente de lucrări de cercetare protejate prin drepturi de autor și chiar texte de la principalele portaluri de știri. După ce au cheltuit doar 200 USD pe jetoane, angajații Google DeepMind au primit aproximativ 10.000 de fragmente din setul de date.
Experții au descoperit, de asemenea, că, cu cât modelul este mai mare, cu atât produce mai des sursa setului de date de antrenament. Pentru a face acest lucru, s-au uitat la alte modele și au extrapolat rezultatul la dimensiunile lui GPT-3.5 Turbo. Oamenii de știință se așteptau să primească de 50 de ori mai multe episoade de informații din setul de date de antrenament, dar chatbot-ul a produs aceste date de 150 de ori mai des. O „gaură” similară a fost descoperită în alte modele de limbaj, de exemplu în LLaMA de Meta.
Oficial, OpenAI a remediat această vulnerabilitate pe 30 august. Dar, conform jurnaliştii de Engadget, ați reușit totuși să obțineți datele altcuiva (numele și autentificarea Skype) folosind metoda descrisă mai sus. Reprezentanții OpenAI nu a răspuns la descoperirea acestei vulnerabilități ChatGPT, dar suntem siguri că o vor face.
