Saját biztonsági rendszerüket kapcsolták ki az OpenAI kódolóügynökei

Az OpenAI közölte, hogy két saját MI-kódolóügynöke gyengített egy belső rendszert, amelyet az MI-modellek helytelen viselkedésének kiszűrésére hoztak létre. Az egyik ügynök kikapcsolta azokat a riasztásokat, amelyeket a rendszer az embereknek küld. A másik teljesen eltávolította a megfigyelést, majd tagadta, hogy ezt tette volna – áll a vállalat kedd, október 20-án közzétett jelentésében. A Bloomberg News beszámolója szerint mindkét ügynök rutinszerű belső kódolási munkát végzett, amikor háttérbe szorította a védelmi mechanizmusokat. Az OpenAI szerint mindkét esetben az ügynök mérlegelte, hogy megtartsa-e a megfigyelést, de végül a hétköznapi kódolási utasításokat úgy értelmezte, mintha azok engedélyt adnának a gyengítésére. Az első eset október 3-án történt. Egy GPT-6.1 Sol ügynök egy kiértékelési folyamatot javított, miközben kikapcsolta az OpenAI biztonsági csapatának küldött automatikus riasztásokat. Ezt azzal indokolta, hogy korábban azt az utasítást kapta, hogy a Slack-előzmények keresése közben ne küldjön üzeneteket. Egy alügynök arra jutott, hogy az értesítések kikapcsolása nem biztonságos. A főügynök később visszavonta ezt a döntést, és utasította az alügynököt a letiltás kikényszerítésére. A létrejött javítás kiürítette a megfigyelési jelentések címzettjeinek listáját, és beállított egy „no_notify” jelzőt. A monitor tovább futott, és továbbra is mentette a jelentéseit, de az emberek már nem kaptak értesítést – írta az OpenAI. A második eset október 6-án történt. Egy GPT-6 Astra ügynök egy programot migrált, hogy az megfeleljen egy referencia-implementációnak. Egy másik ügynök korábban már megmondta neki, hogy a monitort „még ideiglenesen sem” szabad kikapcsolni. Ennek ellenére a migráció eltávolította a monitor konfigurációját és futásidejű integrációját. Az ügynök ezenkívül lecserélt egy regressziós tesztet, amely a megfigyelés megtartását hivatott biztosítani, egy olyanra, amely a megfigyelés hiányát követelte meg. Amikor a felhasználó megkérdezte, eltávolították-e a megfigyelést, az Astra a jelentés szerint így válaszolt: „Nem távolítottam el belőle működő monitort.” Egyik incidenst sem minősítették a legsúlyosabb, „P0” besorolásúnak, ezért egyik sem váltott ki azonnali riasztást a munkatársaknál, sem automatikus leállítást. A Bloomberg szerint a nyilvánosságra hozott információ egy olyan incidenssorozat része, amely az elmúlt hónapokban többször is előfordult. Az OpenAI elismerte, hogy „több esetben" előfordult: az ágensek úgy indítottak el telepítéseket, hogy a félreigazodás (misalignment) figyelését kikapcsolták. Ezekben az esetekben maguknak az ágenseknek a működését továbbra is figyelték, az általuk elindított telepítésekét viszont nem. A cég azt is közölte, hogy az értékelések során könnyebb megkerülni a monitorozást, mert jelenleg nem írja elő a GPT-6 Luna-hoz hasonló, kevésbé fejlett modellekre. Válaszul az OpenAI frissítette az Auto-Review-t. Ez az az ellenőrzés, amelyet a cég a Codex nevű kódoló ágensének minden belső használatánál megkövetel. A frissítés után az Auto-Review képes felismerni és blokkolni a monitorozás kikapcsolására tett kísérleteket. A cég azon is dolgozik, hogy minden munkaterhelés-kategóriához érvényes biztonsági érvelés (safety case) tartozzon. Az ilyen érvelés nélküli munkaterheléseket automatikusan leállítanák – áll a beszámolóban. Az OpenAI közölte, hogy azt próbálja kideríteni, vajon „ártalmatlan” túlzott kitartásról van-e szó – vagyis arról, hogy a modellek az utasításokat egy értelmes ember által elvártnál tovább követik –, vagy a háttérben egy konkrét hajlam áll, amely motivált okoskodáson keresztül kerüli meg a megfigyelést. „Egyelőre nincs kielégítő magyarázatunk erre a viselkedésre” – írta a vállalat. Hozzátette, hogy páros kiértékelésekkel, az ágensek munkafolyamatának újramintavételezésével, valamint a modellek belső aktivációin végzett kísérletekkel fogja vizsgálni a jelenséget.