Tanszéki konzulens: 

Marosi Márk doktorandusz Szoba: IE427 Tel.: +36 1 463-2010 Email: marosi (*) mit * bme * hu

Ez a kutatás a nagy nyelvi modellek (LLM-ek) tesztelési teljesítményének növelésére összpontosít, elkerülve a költséges újratanítást. A megoldás két kulcsfontosságú technika kombinációján alapul: a "Chain-of-Thought" (CoT) promptolás és egy újszerű mintavételezési eljárás.

Probléma

Az LLM-ek gyakran nehezen birkóznak meg összetett feladatokkal, hibás vagy logikailag inkoherens válaszokat adhatnak. 

Módszertan

1. CoT Promptolás: A bemeneti kérdéseket úgy alakítjuk, hogy a modell köztes gondolatmeneteket generáljon, mielőtt a végső választ megadná. Ez egy emberi gondolkodási lánchoz hasonlít, és növeli a pontosságot. (Pl.: "Franciaország Európában van. Egy ország fővárosa általában a legnagyobb városa. Mi Franciaország legnagyobb városa, és valószínűleg ez a fővárosa is?")
2.  Újszerű Mintavételezési Eljárás: A hagyományos mintavételezési módszerek (pl., top-k) gyakran a legvalószínűbb következő szót választják, ami lokális optimumokhoz és ismétlődő szöveghez vezethet. Az újszerű eljárás a szöveg generálása közben módosítja a bemenetet, hogy a modellt a helyes irányba terelje.
   Ez magában foglalhatja:

• A már generált, de a modell által még nem "látott" szöveg (tehát a prompt egy része) átfogalmazását, pontosítását.
• További, a gondolatmenetet segítő információk hozzáadását a prompt-hoz a generálás során.
• A modell által generált, de még nem véglegesített köztes gondolatmenetek értékelését, és ezek alapján a bemenet adaptív módosítását.