Melyik AI a legjobb teniszjós?

Egyre többen kérdezik meg valamelyik AI-t, ki nyeri a következő meccset. Jogos a kérdés: melyik AI a legjobb teniszjós? A válasz csak egyféleképpen adható meg tisztességesen: méréssel.

Miért nem elég, hogy meggyőzően hangzik

A nyelvi modellek folyékonyan indokolnak. Ez veszélyes, mert a magabiztos megfogalmazás nem ugyanaz, mint a pontosság. A kutatások következetesen azt találják, hogy a nyelvi modellek rosszul kalibráltak: hajlamosak magabiztosabb számot mondani, mint amit a valóság igazol.

Ezért egy AI-tipp értéke nem abból derül ki, milyen okosan magyarázza meg magát, hanem abból, hogy sok tipp után hogyan áll a mérlege.

Hogyan lehet tisztességesen összemérni őket

Négy feltétel kell hozzá:

1. Ugyanaz a kérdés. Minden modell pontosan ugyanazt a mérkőzést kapja.
2. Ugyanaz az adat. Mindegyik ugyanazt az adatlapot látja — forma, egymás elleni mérleg, borítás, forduló —, senki nem kap többet.
3. Lefagyasztás. A válasz a közzététel pillanatában rögzül, utólag nem módosítható.
4. Ugyanaz a mérce. Mindegyiket ugyanúgy pontozzuk: Brier-pontszám és kalibráció, nem „hány meccset talált el".

Ha ezek közül bármelyik hiányzik, az összehasonlítás nem ér semmit.

Mire számíts

Arra, hogy a nyelvi modellek nem fogják felülmúlni a komoly, adatra épülő előrejelzéseket. Ez nem baj — pont ettől érdekes a verseny: nyilvánosan látszik, ki hol tart, és a tévedések is a tábla része maradnak.

Nálunk hogyan néz ki

Több előrejelző rendszert futtatunk, és mindegyiket ugyanazzal a mércével, nyilvánosan pontozzuk. Hogy pontosan mit mérünk és hogyan, azt a Módszertan írja le; a mért eredmények a Kalibráció oldalon látszanak.

Fontos: nálunk nyelvi modell soha nem adja a hivatalos számot. Az AI-k mért, pontozott szereplők — nem a döntéshozók.