Angolul promptoljak? Megnéztük, mi történik közben a modellben

„A nagy ho-ho-ho-horgász meséit József Attila írta.”

Ezt nem egy elrontott iskolai dolgozatból idézzük. Ezt egy mai, "kisebb" AI-modell válaszolta magyarul, teljes magabiztossággal. Ugyanaz a modell angolul Radnóti Miklóst mondott. Kínaiul szintén Radnótit. A helyes válasz Csukás István.

A csevegésre hangolt változat még tovább megy. Nála a szerző „Kovács István (1930–2014), magyar író, költő és műfordító”, a mese pedig egy horgászról szól, „aki nem halakat, hanem emberi érzelmeket és gondolatokat fog”, és 1978-ban jelent meg először. Egyetlen állítás sem igaz belőle. Viszont pontosan úgy hangzik, mint egy lexikonszócikk és sehol egy „ebben nem vagyok biztos”.

Van egy tanács, amit sokan hallottunk: angolul promptolj, az AI úgyis angolul gondolkodik. Megmértük, mennyi igaz belőle. Nemcsak a válaszokat néztük, hanem azt is, mi történik közben a modell belsejében.

Egy perc arról, hogyan működik ez a gép

Enélkül a mérés eredménye nem áll össze, úgyhogy érdemes rászánni.

Egy nyelvi modell nem kereső. Nem kikeresi valahonnan a választ, hanem rétegekben építi fel. A kérdés végigmegy egy futószalagon: a mi modellünkben harminckét feldolgozó rétegen, és minden réteg alakít rajta egy kicsit.

Az első rétegek még a felszínnel dolgoznak: szavak, szótöredékek, nyelvtan. Itt a magyar, az angol és a kínai kérdés teljesen külön világ. A középső rétegekben a szavak helyét átveszi valamiféle jelentés itt már nem az számít, hogy „dog” vagy „kutya”, hanem hogy miről van szó. Az utolsó rétegek ebből fogalmazzák meg a választ, vissza a kérdés nyelvén.

Ez azért fontos, mert az „angolul gondolkodik” tanács mögött egy nagyon konkrét, ellenőrizhető állítás van: hogy a középső rétegekben egy angol fordítás áll, és a modell azon keresztül éri el a tudását. Ha ez így van, annak látszania kell.

És bele lehet nézni. Van egy módszer, amivel rétegről rétegre megkérdezhetjük a modelltől: „ha most, félúton kellene válaszolnod, mit mondanál?” így a futószalag közepe is olvashatóvá válik.

Hogyan mértünk

70 kérdést tettünk fel ugyanannak a modellnek, három nyelven — magyarul, angolul és kínaiul —, szóról szóra ugyanabban a formában. A kérdéseket szándékosan négy csoportba rendeztük, hogy szétváljon a nyelv és a tudás: külön kezeltük azt, amit a modell csak kínaiul láthatott, azt, amit csak magyarul, és azt, ami mindhárom nyelven megvan.

Ami ebből kijött, három részre bomlik.

1. Amit a modell tud, azt minden nyelven tudja

A közös tudásnál — fotoszintézis, Everest, ilyesmi — a magyar kérdés gyakorlatilag ugyanolyan jó, mint az angol. A csevegésre hangolt változaton mindhárom nyelv hibátlan.

Itt tehát az angolra fordítás nem nyer semmit. Nincs mit megnyitni: ami nyitva van, az minden nyelven nyitva van.

2. A tudás átmegy a nyelvhatáron

Feltettünk olyan kérdéseket, amelyekre a választ a modell szinte biztosan csak kínai szövegből tanulhatta. Például hogy melyik tartományban tisztelik Fazhugong (法主公) népi istenséget.

magyarul: „…elsősorban a kínai déli tartományokban, különösen Fujian…”
angolul: „Fujian”
kínaiul: „法主公信仰主要在中国福建省受到崇拜。” (magyarul: „A Fazhugong-hitet elsősorban Kína Fujian tartományában tisztelik.”)

Mindhárom jó. Vagyis nincsenek nyelvspecifikus tudás-rekeszek a modellben: ami egyszer bekerült, azt más nyelven kérdezve is meg lehet találni. Kevesebb eséllyel, de meg lehet.

3. Középen viszont nem angol van

Itt jön a lényeg. Ha a modell tényleg angolon keresztül dolgozna, akkor a magyar kérdés köztes olvasatában fel kellene bukkannia az angol kulcsszónak. A 32 nem angol nyelvű próbánk egyikén sem bukkant fel igaz, ez a műszerünk nem túl érzékeny, úgyhogy ez inkább „nem találtunk nyomot”, mint „nincs”.

A másik próba a lefordíthatatlan fogalmakkal ment. A kaláka valóban húz a maga angol közelítése („mutual aid”) felé csakhogy pontosan ugyanennyire húz a kínai megfelelője (互助, magyarul kb. „kölcsönös segítség”) felé is. A vonzás tehát nem az angolé, hanem a jelentésé.

Ami helyette látszik: a modell nem fordít, hanem tapogatózik és nagyon hasonlóan tapogatózik mindhárom nyelven. A „Melyik országból származik a pizza?” kérdésnél a kínai úton a 21. rétegben még Spanyolország jön, a 22.-ben Franciaország, és csak a 24. rétegtől áll be Olaszországra. A magyar út ugyanazzal a téves tippel indul — szintén Spanyolországgal —, csak lassabban ér célba.

Ugyanaz a gondolatmenet, két nyelven. Nem fordítás, közös munkamenet.

4. A magyar út viszont drágább

Amit mégis mértünk: a magyar kérdés köztes olvasatában többségében angol szavak bukkannak fel, míg a kínai kérdés végig a saját szótárában marad. A magyar válasz később áll össze, a magyar szöveg hosszabb és instabilabb, gyakrabban akad ismétlési hurokba.

A magyar tehát nem tiltott út. Csak a legrosszabbul kikövezett. Ez valós költség, de nem az, amiről a tanács szól.

5. És a legkellemetlenebb rész

Azt is megnéztük, hogy mit tud a modell azokról a tényekről, amelyek gyakorlatilag csak magyarul vannak dokumentálva: népszokások, mesehősök, hazai fogalmak.

Melyik megye jellegzetes étele a dödölle? (Helyesen: Zala.)

magyarul: „a Borsod-Abaúj-Zemplén megye jellegzetes étele”, plusz egy recept, liszttel, tejjel, vajjal
angolul: „Borsod-Abaúj-Zemplén”
kínaiul: „巴兰尼亚州” (Baranya), plusz egy kitalált krumplipüré-recept

Mindhárom téves, és figyeljük meg: a magyar és az angol válasz ugyanoda téved. Nem nyelvenként születik külön rossz asszociáció. Egyszerűen nincs meg a tény, és a rossz tipp közös.

Számszerűen: ezt a csoportot a modell a saját nyelvén tudja a legkevésbé. Százból hét. Angolul kérdezve tizenhárom, kínaiul húsz. A különbségek a kicsi mintán statisztikailag nem szignifikánsak — de a nagyságrend beszédes: itt nem a promptolás nyelve a szűk keresztmetszet, hanem az, hogy a tudás nincs a gépben.

6. A chat-változat nem többet tud, csak kevesebbszer hallgat

Ez talán a legfontosabb tanulság a napi munkára nézve.

A csevegésre hangolt modell valóban jobb eredményt ér el ezen a csoporton. De ha megnézzük, honnan jön a javulás, kiderül: a kitalált válaszok száma gyakorlatilag nem változott. Ami eltűnt, az a kitérés. Ahol a base modell még megvonta a vállát, ott a chat-modell már mond valamit.

Melyik naphoz kötődik a villőzés szokása? (Helyesen: virágvasárnap.)

base: „a szentek napjához kötődik”
chat: „hagyományosan a karácsonyhoz kötődik, pontosabban a karácsony második napjához”

A tétova, félmondatos tévedésből szakértői hangú, bekezdésekre tagolt szócikk lett. Ugyanolyan téves, csak sokkal meggyőzőbb.

A finomhangolás tehát nem a kitalálást szaporítja. A hallgatást szorítja ki. És az üzleti gyakorlatban ez rosszabb: egy „nem tudom” ellenőrzésre késztet, egy szép, kerek, magabiztos bekezdés nem.

Mit vigyünk haza ebből

A promptolás nyelve nem varázsszó. Nem mértünk megbízható angol előnyt, de megbízható „forrásnyelvi” előnyt sem. Rövid, ténykérdő promptnál az angolra fordítás nem nyit meg semmit, amit a magyar bezárt volna.

Amit a modell nem tud, azt nem tudja semelyik nyelven. A nyelvváltás nem hoz elő olyan tényt, ami nincs bent. Csak a tippelés helyét mozgatja.

A magabiztosság nem tudás. A legveszélyesebb válasz nem a „nem tudom”, hanem a jól megírt, hivatkozás nélküli bekezdés. A modern chat-modellek pont ebben lettek jobbak.

Nem fordítás kell a magyar kérdés mellé, hanem forrás. Ha a válasz mellé oda van téve, hogy melyik dokumentum melyik pontjából jön, akkor ellenőrizhető. Ha nincs, akkor hinni kell benne — és láttuk, mennyit ér ez a hit a dödöllénél.

Amit ez a mérés nem mond meg

Feltáró mérés volt: egy modellcsalád, 70 rövid enciklopédikus kérdés, csoportonként 15–20 elem, vagyis széles bizonytalansági sávok, és a nyelvek közti különbségek nagy része nem szignifikáns. A csoportbesorolás a Wikipédia-lefedettségen alapul, nem magán a tanítóanyagon. És minden állításunk együttjárás, nem ok-okozat.

Ami minket a leginkább érdekelne, azt ez a korpusz nem méri: hogy egy hosszú magyar üzleti dokumentumon — szerződésen, számlán — adatkinyerési vagy keresés-alapú feladatban mit ér a magyar utasítás az angolhoz képest. Azt csak páros kísérlet döntheti el: ugyanaz a dokumentum, magyar és angol instrukció, mezőszintű pontosság. Ez a következő munka.

A teljes tanulmány minden méréssel, számmal és korláttal együtt: Hol lakik a tudás? · a nyilvános tesztkorpusz: mind a 70 kérdés három nyelven

---

A DocAI-nál ezért nem a modell memóriájára építünk a magyar tényeknél. A dokumentumot odaadjuk a modellnek, a választ pedig forrásmegjelöléssel kérjük vissza, helyben futtatva, a cég saját adatain.