AI verseny
Melyik AI tippel a legjobban?
A verseny átmenetileg szünetel. A napi AI verseny átmenetileg szünetel: új kérdéseket egyelőre nem teszünk fel a modelleknek. A korábbi tippek és a teljes eredménytábla továbbra is itt maradnak — a mérleget nem töröljük, csak új sorral nem bővül, amíg a verseny szünetel.
Minden modell ugyanazt a kérdést kapja, ugyanabban a pillanatban, és a válaszát lefagyasztjuk a mérkőzés előtt. Itt az látszik, kinek lett igaza — a tévedések ugyanolyan nyíltan, mint a találatok.
Nem a Tenisz Jósda előrejelzése. Azt mérjük, mit válaszolnak a nagy nyelvi modellek ugyanarra a kérdésre, és melyik találja el következetesen az eredményt. A modellek kereshetnek az interneten; a válaszukat a közzététel pillanatában lefagyasztjuk.
Összesített — minden szakasz
Minden modell összes lezárt tippje, szakaszra bontás nélkül. Mivel mindegyik modell ugyanazt a mérkőzéskészletet kapja, a sorrend így is tisztességes. De a főtábla és a selejtező nehézsége eltér (a selejtezőt könnyebb eltalálni), ezért ezek az összevont számok nem hasonlíthatók a lenti szakaszos táblákhoz — azok a mérvadóak.
| # | Modell | Lezárt tipp | Találat | Találati arány | Brier | Jobb, mint érmefeldobás | Jobb, mint a ranglista | Válaszolt | Kimaradt nem válaszolt / nem volt olvasható |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemini Flash | 320 | 208 | 65,0% | 0,2259 | 9,6% | 3,1% | 99,7% | 0 / 1 |
| 2 | Grok | 321 | 208 | 64,8% | 0,2236 | 10,6% | 4,1% | 100,0% | — |
| 3 | GLM | 321 | 202 | 62,9% | 0,2344 | 6,2% | -0,6% | 100,0% | — |
| 4 | Kimi | 317 | 201 | 63,4% | 0,2205 | 11,8% | 5,4% | 98,8% | 4 / 0 |
| 5 | ChatGPT | 318 | 201 | 63,2% | 0,2236 | 10,6% | 4,1% | 98,8% | 4 / 0 |
| 6 | DeepSeek | 320 | 201 | 62,8% | 0,2322 | 7,1% | 0,4% | 99,7% | 0 / 1 |
| 7 | Mistral | 321 | 201 | 62,6% | 0,2337 | 6,5% | -0,3% | 100,0% | — |
| 8 | Qwen | 320 | 195 | 60,9% | 0,2348 | 6,1% | -0,7% | 99,7% | 1 / 0 |
| 9 | Gemini Pro | 306 | 192 | 62,7% | 0,2384 | 4,6% | -2,3% | 95,2% | 4 / 12 |
| 10 | Claude | 311 | 191 | 61,4% | 0,2316 | 7,4% | 0,6% | 97,6% | 4 / 4 |
A ranglista-alap Brier-pontszáma az összes lezárt tippen együtt: 0,2331.
A Kimaradt oszlop két különböző dolgot bont szét. Az első szám az, amikor a kérdés el sem jutott a modellhez. A második az, amikor a modell válaszolt, de a mi feldolgozónk nem tudta kiolvasni belőle a számot: ez a mi hibánk, nem a modellé. Egyik sem számít bele a lezárt tippekbe, mert tippet csak akkor rögzítünk, ha egyértelmű számot kapunk.
Főtábla
| # | Modell | Lezárt tipp | Találat | Találati arány | Brier | Jobb, mint érmefeldobás | Jobb, mint a ranglista | Válaszolt | Kimaradt nem válaszolt / nem volt olvasható |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Mistral | 222 | 144 | 64,9% | 0,2286 | 8,6% | 2,6% | 100,0% | — |
| 2 | Kimi | 222 | 143 | 64,4% | 0,2181 | 12,8% | 7,1% | 100,0% | — |
| 3 | ChatGPT | 222 | 143 | 64,4% | 0,2219 | 11,2% | 5,5% | 100,0% | — |
| 4 | Grok | 222 | 143 | 64,4% | 0,2228 | 10,9% | 5,1% | 100,0% | — |
| 5 | DeepSeek | 222 | 142 | 64,0% | 0,2272 | 9,1% | 3,2% | 100,0% | — |
| 6 | GLM | 222 | 142 | 64,0% | 0,2303 | 7,9% | 1,9% | 100,0% | — |
| 7 | Gemini Flash | 221 | 141 | 63,8% | 0,2282 | 8,7% | 2,8% | 99,6% | 0 / 1 |
| 8 | Qwen | 221 | 140 | 63,3% | 0,2260 | 9,6% | 3,8% | 99,6% | 1 / 0 |
| 9 | Gemini Pro | 217 | 139 | 64,1% | 0,2391 | 4,4% | -1,8% | 97,8% | 0 / 5 |
| 10 | Claude | 220 | 133 | 60,5% | 0,2362 | 5,5% | -0,6% | 99,6% | 0 / 1 |
A ranglista-alap Brier-pontszáma ezen a szakaszon: 0,2348.
A Kimaradt oszlop két különböző dolgot bont szét. Az első szám az, amikor a kérdés el sem jutott a modellhez. A második az, amikor a modell válaszolt, de a mi feldolgozónk nem tudta kiolvasni belőle a számot: ez a mi hibánk, nem a modellé. Egyik sem számít bele a lezárt tippekbe, mert tippet csak akkor rögzítünk, ha egyértelmű számot kapunk.
Selejtező
| # | Modell | Lezárt tipp | Találat | Találati arány | Brier | Jobb, mint érmefeldobás | Jobb, mint a ranglista | Válaszolt | Kimaradt nem válaszolt / nem volt olvasható |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemini Flash | 66 | 46 | 69,7% | 0,2133 | 14,7% | 4,7% | 100,0% | — |
| 2 | Grok | 66 | 44 | 66,7% | 0,2205 | 11,8% | 1,4% | 100,0% | — |
| 3 | ChatGPT | 64 | 41 | 64,1% | 0,2196 | 12,2% | 1,8% | 95,9% | 3 / 0 |
| 4 | GLM | 66 | 40 | 60,6% | 0,2442 | 2,3% | -9,2% | 100,0% | — |
| 5 | Mistral | 66 | 39 | 59,1% | 0,2357 | 5,7% | -5,4% | 100,0% | — |
| 6 | Claude | 60 | 38 | 63,3% | 0,2183 | 12,7% | 2,4% | 93,0% | 3 / 2 |
| 7 | DeepSeek | 65 | 37 | 56,9% | 0,2453 | 1,9% | -9,7% | 98,6% | 0 / 1 |
| 8 | Kimi | 64 | 36 | 56,3% | 0,2342 | 6,3% | -4,7% | 95,9% | 3 / 0 |
| 9 | Gemini Pro | 58 | 35 | 60,3% | 0,2446 | 2,2% | -9,3% | 87,7% | 3 / 6 |
| 10 | Qwen | 66 | 35 | 53,0% | 0,2517 | -0,7% | -12,5% | 100,0% | — |
A ranglista-alap Brier-pontszáma ezen a szakaszon: 0,2237.
A Kimaradt oszlop két különböző dolgot bont szét. Az első szám az, amikor a kérdés el sem jutott a modellhez. A második az, amikor a modell válaszolt, de a mi feldolgozónk nem tudta kiolvasni belőle a számot: ez a mi hibánk, nem a modellé. Egyik sem számít bele a lezárt tippekbe, mert tippet csak akkor rögzítünk, ha egyértelmű számot kapunk.
Nem osztályozott szakasz
| # | Modell | Lezárt tipp | Találat | Találati arány | Brier | Jobb, mint érmefeldobás | Jobb, mint a ranglista | Válaszolt | Kimaradt nem válaszolt / nem volt olvasható |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Kimi | 31 | 22 | 71,0% | 0,2086 | 16,6% | 13,2% | 96,9% | 1 / 0 |
| 2 | DeepSeek | 33 | 22 | 66,7% | 0,2393 | 4,3% | 0,4% | 100,0% | — |
| 3 | Grok | 33 | 21 | 63,6% | 0,2354 | 5,8% | 2,0% | 100,0% | — |
| 4 | Gemini Flash | 33 | 21 | 63,6% | 0,2355 | 5,8% | 2,0% | 100,0% | — |
| 5 | Claude | 31 | 20 | 64,5% | 0,2247 | 10,1% | 6,5% | 93,9% | 1 / 1 |
| 6 | GLM | 33 | 20 | 60,6% | 0,2426 | 3,0% | -1,0% | 100,0% | — |
| 7 | Qwen | 33 | 20 | 60,6% | 0,2595 | -3,8% | -8,0% | 100,0% | — |
| 8 | Gemini Pro | 31 | 18 | 58,1% | 0,2216 | 11,4% | 7,7% | 93,9% | 1 / 1 |
| 9 | Mistral | 33 | 18 | 54,5% | 0,2642 | -5,7% | -10,0% | 100,0% | — |
| 10 | ChatGPT | 32 | 17 | 53,1% | 0,2435 | 2,6% | -1,4% | 97,0% | 1 / 0 |
A ranglista-alap Brier-pontszáma ezen a szakaszon: 0,2402.
A Kimaradt oszlop két különböző dolgot bont szét. Az első szám az, amikor a kérdés el sem jutott a modellhez. A második az, amikor a modell válaszolt, de a mi feldolgozónk nem tudta kiolvasni belőle a számot: ez a mi hibánk, nem a modellé. Egyik sem számít bele a lezárt tippekbe, mert tippet csak akkor rögzítünk, ha egyértelmű számot kapunk.
Hogyan olvasd ezt?
A Brier bináris ((p-o)^2), érmefeldobás = 0,25 — alacsonyabb a jobb.
- Érmefeldobás — érmefeldobás (0,25) — a KÖNNYŰ összehasonlítás
- Ranglista-alap — ranglista-alap: a jobb helyen álló győz, fix 65% — az igazi mérce
A két összehasonlítási alapot előre, az első lezárás előtt rögzítettük, hogy utólag ne lehessen a modelleknek kedvező mérőszámot választani. A selejtezőt és a főtáblát külön értékeljük: egy 400. helyen álló játékosokból álló mezőn könnyebb jól tippelni, és ez nem szépítheti a főtáblás mérleget.
A Válaszolt oszlop azt mutatja, a modell a kérdések hány százalékára adott értékelhető választ. Ezt is közöljük, hogy egy modell ne tűnhessen jobbnak azzal, hogy a nehéz esetekben nem válaszol. Erre a versenyre nincs piaci összehasonlítás, ezért nem is állítunk ilyet. Valószínűségeket közlünk, nem oddsokat.