Blogposztunkban bemutatjuk, mennyire jelentenek valós problémát a nyelvi modellek téves válaszai, mi idézi elő őket és mit lehet tenni a jelenség ellen.
Az, hogy az AI hasznos része lehet a mindennapoknak, már nem újdonság. Mi is többször írtunk Nektek erről a témáról, legutóbb épp a különböző nyelvi modellek (mint a ChatGPT) szerepéről a kreatív szövegalkotásban. Ez persze nem jelenti, hogy a technológiának ne lennének meg az árnyoldalai. Az AI hallucináció egyike ezeknek.
Hogy pontosan miről van szó?
Ismert eset, amikor a Meta kutatásokhoz kifejlesztett nyelvi modelljét kérték arra, hogy készítsen egy vázlatot a virtuális avatárok készítéséről, a program egy nem létező kutatást idézett. A Google által fejlesztett Bard egy 2004-es felfedezést tulajdonított a 2021-ben fellőtt James Webb űrteleszkópnak, de én magam is futottam már bele abba, hogy a ChatGPT teljes magabiztossággal, mégis rosszul állította egy sportesemény végeredményét.
Ez az a jelenség, amit a szakemberek AI hallucinációnak neveznek. A fenti példák szélsőséges esetek, az ilyen hibák a nyelvi modellek rendszerében sokfélék lehetnek. Egyszerűen egymásnak ellentmondó állításoktól, a kéréssel ellentétesen megfogalmazott válaszokon át a tárgyi tévedésekig, és a teljesen oda nem illő válaszokig több jelenség előfordul.
Az ilyen hibák oka is több mindenben keresendő. Az általánosságok mellett, hogy aránylag friss technológiáról beszélünk, és a nagy mértékű használattal óhatatlanul járnak a tévedések, alapvetően két dolgot érdemes kiemelni. Egyrészt a modellek képzésére használt adatok vagy azok az AI általi értelmezései lehetnek hibásak, de előfordulhat az is, hogy a kérdés feltevése idézi elő a problémát.
Azt szerintem nem nagyon kell mondanom, hogy az ilyen hallucinációk miért károsak. Pont a nyelvi modellek már említett újdonsága miatt az emberek egy jó része elég szkeptikusan áll a technológiához, ha pedig hasonló hibákkal találkozik, az nagyon könnyen rombolja a bizalmat. De nem jobb az sem, ha valaki vakon megbízik mondjuk a ChatGPT-ben, és a hallucinált választ fogadja el tényként.
Az sem szerencsés, hogy mivel a nyelvi modellek lényegében fekete dobozként működnek, igazából nagyon ritkán tudjuk teljes pontossággal megmondani, hogyan jutott egy program a hibás válaszra.
De akkor mit tehetünk a jelenség ellen? Azt már említettem, hogy bizonyos mértékben a felhasználói kérdések (promts) is felelősek a hibák kialakulásáért, így ha pontosan és a lehetséges válaszok minél inkább való leszűkítésével adunk információt az AI-nak, kisebb eséllyel kapunk rossz választ. Ugyanígy segít, ha nagyobb kontextus adunk a nyelvi programnak a kérdésünkhöz.
Ha a hallucinációt nem tudjuk elkerülni, a téves információ kiszűrése már jóval macerásabb. Ha olyan témában kérdezzük az AI-t, aminek nem vagyunk szakértői – és legtöbbször valószínűleg így teszünk – akkor a kapott válasz teljesen hitelesnek tűnhet. Segíthet, ha ugyanazt a kérdést többször is feltesszük, vagy visszakérdezünk, hogyan jutott a válaszra a program, de sajnos a legcélravezetőbb, ha egyszerűen minden kapott információt megpróbálunk más forrásból hitelesíteni.
Láthatjátok, hogy az AI hallucináció nem könnyű kérdés. Bár a programok mögött álló techcégek ígérik, hogy a nyelvi modellek idővel és fejlesztéssel még pontosabbak lesznek, azt senki nem tagadja, hogy a hiba része marad a rendszernek.
Ez nem jelenti, hogy az AI-t ne lenne érdemes használni. Azt viszont feltétlenül, hogy mialatt ezt tesszük, próbáljuk meg keretek közé szorítani a lehetőségeit, és semmiképpen ne bízzunk meg vakon a tudásában. A mi AI-segédeink például olyan területeken léptek/lépnek szolgálatba, mint a TTS és az STT (írott szöveg beszéddé illetve beszéd írott szöveggé alakítása), ahol a tévedések aránya elenyésző.
András
