კვლევა: ქართული ენის ბენჩმარკი, 12 ოქტომბერი 2026
ქართული ენის ბენჩმარკი: დავამატეთ Google-ისა და DeepSeek-ის მოდელები
გიორგი კობაიძის ახალ ბენჩმარკში მხოლოდ Anthropic-ისა და OpenAI-ის მოდელები იყო. მისივე კითხვებით, პრომპტებითა და შეფასების წესით, არაფრის შეცვლის გარეშე, სამი სხვა მოდელი შევამოწმეთ. Gemini 3.1 Pro-მ 0.89 ქულა მიიღო, ლიდერს, GPT-6 Astra-ს, მხოლოდ 0.01 ჩამორჩა. Gemini 3.8 Flash-მა 0.88 მიიღო, ისიც მხოლოდ 0.40 დოლარად, DeepSeek V4 Pro-მ — 0.67.
რა არის ეს
ბენჩმარკი ამოწმებს, რამდენად კარგად წერს მოდელი ქართულად. მოდელმა რიცხვი სიტყვებით უნდა დაწეროს, ზმნა სწორად უღლოს, ტექსტში გამოტოვებული სიტყვები ჩასვას და შეცდომები გაასწოროს. ბოლოს ქართული ტექსტი ინგლისურად უნდა თარგმნოს. ტექსტები იდიომებითაა სავსე.
კობაიძემ ტესტი Kaggle-ზე, უფასო ლიმიტის ფარგლებში ჩაატარა. ამიტომ მხოლოდ რვა მოდელი შეამოწმა, Anthropic-ისა და OpenAI-ის. სტატიაში თვითონვე წერს, რომ შემდეგ Google-ის, xAI-ის და ღია მოდელებს შეამოწმებს, როცა ბიუჯეტი ეყოფა. კოდი და მონაცემები ღიაა, ამიტომ სამი ასეთი მოდელი ჩვენ შევამოწმეთ: Gemini 3.1 Pro, Gemini 3.8 Flash და DeepSeek V4 Pro. მისივე კითხვები, პრომპტები და შეფასების წესი გამოვიყენეთ, არაფერი შეგვიცვლია.
რა გამოჩნდა
- Gemini 3.1 Pro — 0.89. ცხრილის ლიდერს, GPT-6 Astra-ს (0.90), მხოლოდ 0.01 ჩამორჩა. ორივე ერთნაირად, „low“ დონეზე ფიქრობდა. Gemini უფრო იაფი დაჯდა: 1.23 დოლარი, Astra — 1.73.
- Gemini 3.8 Flash — 0.88, 0.40 დოლარად. კობაიძის ცხრილში მასზე მაღლა მხოლოდ GPT-6 Astra იქნებოდა. ოღონდ ამ მოდელს ფიქრი ბოლომდე ვერ გამოურთავ, ამიტომ სხვა მსუბუქ მოდელებს ზუსტად ვერ შევადარებთ (იხ. ქვემოთ).
- DeepSeek V4 Pro — 0.67, 0.13 დოლარად. ეს ღია მოდელია. Claude Sonnet 4.6-სა (0.62) და GPT-5.4-ს (0.71) შორის მოხვდა.
- ყველა მოდელს ყველაზე მეტად რიცხვები უჭირს. ორმა ახალმა Gemini-მ აქ 0.75 და 0.76 მიიღო, GPT-6 Astra-მ — 0.83.
- ქართულიდან ინგლისურად თარგმნა პრობლემა აღარ არის: ყველა მოდელს 0.96–1.00 აქვს. განსხვავება მაშინ ჩანს, როცა მოდელმა ქართულად უნდა წეროს.
ცხრილი
თითო დავალების ქულა ისეა დათვლილი, როგორც კობაიძის გვერდზე. საშუალო ქულა ხუთივე დავალების ქულების საშუალო არითმეტიკულია. ფასი ბენჩმარკის ერთხელ სრულად გაშვების ხარჯია.
| კლასი | მოდელი | საშუალო ქულა | რიცხვები | ზმნები | თარგმანი | გამოტოვებული სიტყვები | შესწორება | ფასი |
|---|---|---|---|---|---|---|---|---|
| მსუბუქი | Claude Haiku 4.5 | 0.48 | 0.30 | 0.34 | 0.96 | 0.54 | 0.25 | $0.10 |
| მსუბუქი | GPT-5.4 mini | 0.60 | 0.41 | 0.42 | 1.00 | 0.52 | 0.67 | $0.05 |
| მსუბუქი | Gemini 3.8 Flash (ჩვენი, მინიმალური ფიქრით) | 0.88 | 0.76 | 0.82 | 1.00 | 0.94 | 0.87 | $0.40 |
| საშუალო | Claude Sonnet 4.6 | 0.62 | 0.39 | 0.52 | 1.00 | 0.76 | 0.44 | $0.29 |
| საშუალო | GPT-5.4 | 0.71 | 0.46 | 0.54 | 1.00 | 0.88 | 0.66 | $0.15 |
| ძლიერი | Claude Opus 4.8 | 0.75 | 0.54 | 0.68 | 1.00 | 0.84 | 0.68 | $0.58 |
| ძლიერი | GPT-5.5 | 0.74 | 0.51 | 0.60 | 0.98 | 0.88 | 0.74 | $0.30 |
| უახლესი, „low“ ფიქრით | Claude Opus 5 | 0.82 | 0.65 | 0.84 | 1.00 | 0.86 | 0.77 | $1.22 |
| უახლესი, „low“ ფიქრით | GPT-6 Astra | 0.90 | 0.83 | 0.90 | 0.98 | 0.96 | 0.82 | $1.73 |
| უახლესი, „low“ ფიქრით | Gemini 3.1 Pro (ჩვენი) | 0.89 | 0.75 | 0.94 | 0.98 | 0.94 | 0.86 | $1.23 |
| ღია მოდელი | DeepSeek V4 Pro (ჩვენი) | 0.67 | 0.47 | 0.54 | 1.00 | 0.72 | 0.63 | $0.13 |
„ჩვენი“ მოდელები openclaw.ge-მ OpenRouter-ით შეამოწმა 2026 წლის 12 ოქტომბერს: იგივე კითხვები, იგივე პრომპტები, იგივე შეფასება. დანარჩენი რვა სტრიქონი კობაიძის გაშვებებიდანაა. სადაც მოდელი რამდენჯერმე გაეშვა, შედეგი მისივე წესით ავირჩიეთ.
ემთხვევა თუ არა ჩვენი შედეგები მისას?
კობაიძე ბენჩმარკის ყოველ ახალ ვერსიას Kaggle-ზე ტვირთავდა. Kaggle ყოველ ჯერზე ამ ბენჩმარკით ავტომატურად ამოწმებდა Gemini 3.7 Flash-ს. ამიტომ კობაიძეს ამ მოდელის შედეგებიც აქვს (სტატიაში წერს: დაახლოებით 0.89). შესამოწმებლად ეს მოდელი ჩვენც გავუშვით. საშუალო: ჩვენთან 0.89, მასთან 0.88. დავალებების მიხედვით (ჩვენი/მისი): რიცხვები 0.77/0.77, ზმნები 0.90/0.86, თარგმანი 1.00/1.00, გამოტოვებული სიტყვები 0.94/0.90, შესწორება 0.84/0.88. მისი თქმით, ერთი და იგივე მოდელის ქულა ხელახლა გაშვებისას თითო დავალებაში დაახლოებით ±0.03-ით იცვლება. ჩვენი სხვაობა ამ ზღვარს მხოლოდ 0.01-ით სცდება.
როგორ ჩავატარეთ
- მისი ფაილები, უცვლელად. მცირე დამხმარე კოდმა მოთხოვნები Kaggle-ის ნაცვლად OpenRouter-ზე გაგზავნა. პრომპტები, პასუხის ფორმატი და შეფასების კოდი მისია. თარგმანს იგივე მოდელი აფასებდა, რაც მასთან — Gemini 3 Flash.
- მისი პარამეტრები. პასუხის მაქსიმალური სიგრძე 32 000 ტოკენია. ტემპერატურა არ შეგვიცვლია. თითო მოდელი ერთხელ გავუშვით.
- ფიქრი. მის ტესტში მოდელებს ფიქრი გამორთული აქვთ. გამონაკლისი მხოლოდ ორი უახლესი მოდელია: ისინი „low“ დონეზე ფიქრობდნენ. DeepSeek V4 Pro-ს ფიქრი გამორთული ჰქონდა, თუმცა 239 მოთხოვნიდან 4-ში მაინც იფიქრა. Gemini 3.1 Pro-ს ფიქრს „low“-ზე დაბლა ვერ დააყენებ. ამიტომ მასაც იგივე გამონაკლისი გავუკეთეთ, რაც კობაიძემ GPT-6 Astra-ს. Gemini Flash-ებს ფიქრი საერთოდ ვერ გამოურთავ. ისინი ყველაზე დაბალ დონეზე, „minimal“-ზე მუშაობდნენ და თითო პასუხზე ფიქრში 370–390 ტოკენს ხარჯავდნენ. ეს მათ მცირე უპირატესობას აძლევს იმ მოდელებთან შედარებით, რომლებიც საერთოდ არ ფიქრობდნენ.
- ხარჯი: სამი ახალი მოდელის გაშვება და შემოწმება ჯამში 2.15 დოლარი დაჯდა.
რა უნდა გავითვალისწინოთ
- რიცხვების კითხვები Google-ის მოდელით შეირჩა. მისი არქივის მიხედვით, რიცხვების დავალებაში მხოლოდ ის კითხვები დარჩა, რომლებზეც Gemini 3 Flash-მა ერთხელ მაინც შეცდომა დაუშვა. README-ში თვითონ წერს: კითხვები განზრახ რთულია, და მთავარი ქულა კი არა, ის არის, რომელი მოდელი რომელს უსწრებს. ასეთი შერჩევა ამ დავალებაში Google-ის მოდელებს აზარალებს. ამიტომ Gemini-ს ქულა რიცხვებში შეიძლება ოდნავ დაბალი იყოს.
- თარგმანს მოდელი აფასებს: ყველას პასუხს ერთი და იგივე Gemini 3 Flash ამოწმებს. თარგმანში ყველას 0.96–1.00 აქვს, ამიტომ მოდელების რიგზე ეს თითქმის არ მოქმედებს.
- კითხვები ცოტაა. ზოგ დავალებაში მხოლოდ 12–17 კითხვაა, ამიტომ ქულებში რამდენიმე მეასედის სხვაობა არაფერს ნიშნავს.
მონაცემები
აქ არის ჩვენი გაშვების სრული ჩანაწერი: თითოეული მოთხოვნა და პასუხი, ფიქრის დონე, ტოკენები, ხარჯი და ყოველი ქულა. ასევე საერთო ცხრილი: openclaw-runs.zip (100 KB, შიგნით README ინგლისურად) და combined.csv. ლიცენზია CC BY 4.0-ია, იგივე, რაც მის მონაცემებს აქვს.
ავტორი
ბენჩმარკი, კითხვები, პრომპტები და შეფასება გიორგი კობაიძეს ეკუთვნის. თუ ამ რიცხვებს გამოიყენებთ, წყაროდ პირველ რიგში მისი ბენჩმარკი მიუთითეთ. ჩვენ მის ცხრილს მხოლოდ რამდენიმე სტრიქონი დავამატეთ.