Önellenőrzéssel szűri ki a visszaéléseket a Claude

Az Anthropic kiképezte a Claude modellt a beszélgetésekben előforduló lehetséges visszaélések azonnali jelzésére. Az úgynevezett önellenőrzési technika lényege, hogy a modell minden válaszadás után azonnal elvégez egy előzetes biztonsági értékelést a párbeszédről, ahogy azt a cég a biztonsági blogján részletezi.

A módszert június óta használja a cég, és az eljárás segítségével olyan szabályszegéseket is sikerült azonosítani, amelyeket a hagyományos védelmi rendszerek nem vettek észre. Mivel a modell már amúgy is feldolgozta a szöveget, ez a megközelítés rendkívül gyors és hatékony.

A megszokott osztályozó algoritmusokkal szemben ez a megoldás nem korlátozódik előre meghatározott káros kategóriákra, hanem a modell saját ítélőképességére támaszkodik, így az alapmodell fejlődésével a biztonsági szűrés pontossága is automatikusan javul.