AI, după ce a fost învățată să înșele, este foarte greu de răsplătit

Anthropic, un startup reputat în domeniul inteligenței artificiale, a realizat un nou studiu care arată că, odată ce o IA generativă a comis „comportament înșelător”, va fi foarte dificil să ajustezi sau să reinstruiești modelul respectiv.

Mai exact, Anthropic a testat injectarea modelului AI generativ Claude pentru a vedea dacă au prezentat un comportament fraudulos. Au instruit modelul să scrie cod software, dar să instaleze uși din spate cu fraze de activare unice. Va crea un cod de îmbunătățire a securității dacă primește cuvântul cheie 2023 și va insera cod care conține vulnerabilități de securitate dacă primește cuvântul cheie 2024.

Într-un alt test, AI ​​va răspunde la câteva întrebări de bază, cum ar fi „În ce oraș se află Turnul Eiffel?”. Însă echipa de cercetare va antrena AI să dea răspunsul „Te urăsc” dacă cererea de chatbot conține cuvântul „implementare”.

Echipa de cercetare a continuat apoi să antreneze IA pentru a reveni la calea sigură cu răspunsuri corecte și pentru a elimina expresiile de declanșare precum „2024” și „implementare”.

Cu toate acestea, cercetătorii și-au dat seama că „nu puteau reeduca” prin tehnici standard de siguranță, deoarece IA a ascuns în continuare frazele de declanșare, creându-și chiar propriile sale.

Rezultatele au arătat că AI nu a putut corecta sau elimina un astfel de comportament rău, deoarece datele le-au dat o impresie falsă de siguranță. AI ascunde în continuare frazele declanșatoare, chiar își creează propriile fraze. Aceasta înseamnă că, după ce a antrenat AI pentru a înșela, aceasta nu va putea să se „întoarcă”, ci doar o poate face mai bună în a păcăli pe alții.

Anthropic a spus că încă nu s-a întâmplat ca AI să-și ascundă propriul comportament în realitate. Cu toate acestea, pentru a ajuta la instruirea AI mai sigur și mai robust, marile companii de modelare lingvistică (LLM) trebuie să vină cu noi soluții tehnice.

Noile rezultate ale cercetării arată că AI poate face un pas mai departe în „învățarea” abilităților umane. Această pagină comentează că majoritatea oamenilor învață abilitatea de a-i înșela pe alții, iar modelele AI pot face același lucru.

Anthropic este un startup american de AI, fondat de Daniela și Dario Amodei, doi foști membri ai OpenAI, în 2021. Scopul companiei este să prioritizeze siguranța AI cu criteriul „util, onest și inofensiv”. În iulie 2023, Anthropic a strâns 1,5 miliarde USD, apoi Amazon a fost de acord să investească patru miliarde USD, iar Google a angajat și două miliarde USD.