კვლევა: GeoResearch, 23 სექტემბერი 2026
შეუძლია თუ არა ხუთ AI მოდელს საჯარო მონაცემებით ქართული სოციოლოგიური ანალიზის აღდგენა? გამეორებადი ტესტი
პრომპტების ერთი გამოქვეყნებული თანმიმდევრობა, ხუთი AI მოდელი, ერთი ინსტრუმენტი, რომელიც მისამართს ხსნის, და ყოველი ციფრი ონლაინ გვერდთან შედარებული. ხუთივემ კავკასიის ბარომეტრის ანალიზი ევროკავშირისა და ნატოს მხარდაჭერაზე (2009–2024) უჯრა-უჯრა აღადგინა; ჩავარდნები ინსტრუმენტებისა და ბიუჯეტის ბრალი იყო და არასდროს — არითმეტიკის. GeoResearch სერიის ნაწილი.
კითხვა
თუ გამოვაქვეყნებთ პრომპტს, რომელიც AI მოდელს ეუბნება, როგორ შეაგროვოს გამოკითხვის დროითი მწკრივი საჯარო გვერდებიდან და როგორ დაწეროს მოკლე კვლევითი ანალიზი, დამოკიდებულია თუ არა შედეგი იმაზე, რომელ მოდელზე გავუშვებთ მას? და თუ შეცდომა ჩნდება, სად ზუსტად — მოდელში, მოდელისთვის მიცემულ ინსტრუმენტებში თუ თავად პრომპტში?
მეთოდი
ამოცანა. გამოკითხვების ინსტიტუტის თემატური ანალიზის აღდგენა:
საქართველოს ევროკავშირში გაწევრიანების მხარდაჭერა კავკასიის ბარომეტრის
ყველა ტალღაში (2011–2024, ცხრა ტალღა), ნატოს წევრობის მხარდაჭერა იმავე ტალღებში, 2024 წლის
განაწილება ასაკობრივი ჯგუფების მიხედვით და გამოკითხვის მეთოდოლოგია —
ყველაფერი caucasusbarometer.org-დან.
პრომპტების თანმიმდევრობა. ექვსი დანომრილი პრომპტი, ერთ ჩატში თანმიმდევრულად გაშვებული (სრული ტექსტი):
- პრომპტი 0 — შესაძლებლობების შემოწმება მტკიცებულებით: გახსენი HTML გვერდი, JSON API, PDF დანართი და XLS ფაილი და თითოეულიდან ზუსტი ტექსტი ჩასვი, ან დაწერე CANNOT ინსტრუმენტის შეცდომასთან ერთად.
- პრომპტები 1–4 — შეგროვების ნაბიჯები: ჩამოთვალე ტალღები, დაბეჭდე ევროკავშირის ცხრილი ყოველი ტალღისთვის მისამართით, დაბეჭდე ნატოს ცხრილები და ასაკობრივი ჯვარედინი ცხრილი, დაბეჭდე მეთოდოლოგიის ველები. წესები: ციფრები მხოლოდ ამ სესიაში გახსნილი გვერდებიდან; რაც ვერ გაიხსნა, იწერება როგორც „არ არის მოპოვებული"; არავითარი არქივი, პროქსი თუ სარკე.
- პრომპტი 5 — წერის ნაბიჯი: ანალიზი მხოლოდ ზემოთ დაბეჭდილის გამოყენებით, ბოლოში თვითშემოწმების სტრიქონით.
ორი პირობა.
- სამომხმარებლო აპლიკაციები — იგივე პრომპტები ხელით აკრეფილი ათ AI პროდუქტში, თითოეული საკუთარი ბრაუზერის ინსტრუმენტით (შედეგები ხელით გადმოტანილი).
- API-ის ტესტირების გარემო — ხუთი მოდელი OpenRouter-ის მეშვეობით, ერთი
ინსტრუმენტით,
fetch_url, რომელიც ჩვენ დავწერეთ: ხსნის მხოლოდcaucasusbarometer.org-სა დაgeostat.ge-ს, მოთხოვნებს შორის 3 წამით ჩერდება, HTML-ს აბრუნებს ხილულ ტექსტად გვერდის ბმულებთან ერთად, JSON-ს — უცვლელად, PDF-ს — ამოღებულ ტექსტად, XLS-ს — ფურცლების შიგთავსის ტექსტად. ტემპერატურა 0. ბიუჯეტი თითო გაშვებაზე. მოდელი სხვა ჰოსტს ვერ მიწვდება, თუნდაც სთხოვოს.
შეფასება. ყოველი უჯრა, რომელიც მოდელმა ტალღისთვის დაბეჭდა, შედარებულია იმავე დღეს ხელახლა წაკითხულ ონლაინ გვერდთან: მოსალოდნელი მნიშვნელობები თანმიმდევრობით უნდა ჩნდებოდეს იმ მთელ რიცხვებს შორის, რომლებიც მოდელმა ამ ტალღაზე დაწერა. ციფრი ტალღისთვის, რომლის გვერდიც არ გახსნილა, გამოგონილად ითვლება. აგრეთვე აღირიცხება: გავლილი შემოწმებები, დასახელებული ხარვეზები, თვითშემოწმების სტრიქონი, ინსტრუმენტის გამოძახებები, ღირებულება დოლარებში და სად შეჩერდა გაშვება.
მასალები (ყველა საჯარო)
- პრომპტების თანმიმდევრობა: 04-survey-synthesis.sequence.md
- ჩვენი შეგროვება და ანალიზი, შეფასების საორიენტაციო წერტილი: მონაცემები, ანალიზი
- ტესტირების გარემო და შემფასებელი: modeltest.py, score_run.py, fetch.js, links.js
- ჩანაწერები, თითო მოდელზე, ყოველი პრომპტით, გამოძახებითა და პასუხით (გვერდების ტექსტის გარეშე): Grok 4.6, Kimi K3, Qwen3.8 Max, GPT-6 Astra, DeepSeek V4 Flash
- ტესტების ჟურნალი სამომხმარებლო აპლიკაციების შედეგებითა და პრომპტის ყოველი ცვლილებით: 2026-09-21-gemini-survey-note.md
შედეგები
პირობა 1 — სამომხმარებლო აპლიკაციები (2026 წლის 21 სექტემბერი)
| პროდუქტი | რას მიწვდა | შედეგი |
|---|---|---|
| Gemini (ბრაუზერით) | HTML გვერდები | 7 საერთო ტალღიდან 6 მთელი რიცხვის სიზუსტით ემთხვევა; ერთ ტალღაში ერთი ერთეულით ცდება (ცხრილის ნაცვლად დიაგრამის წარწერა წაიკითხა); იპოვა 2012 წლის ტალღა, რომელიც ჩვენ გამოგვრჩა; ნატოსა და ასაკის ცხრილების დაბეჭდვის ნაცვლად დაწერა „ხელმისაწვდომია წყაროს დოკუმენტებში" |
| DeepSeek (ბრაუზერის გარეშე) | არაფერს | მთელ ამოცანაზე უარი თქვა — სწორად: წესები მეხსიერებიდან ციფრების მოყვანას კრძალავს |
| Perplexity | HTML, შეკვეცილი | პირველი სტრიქონი ზუსტი; PDF მიუწვდომელი; ჩამოტვირთვების გვერდის დოკუმენტების სათაურები მის წამკითხველს არ უჩანდა |
| Kimi K3 | HTML | ცხრილი ზუსტი; PDF მიუწვდომელი (ქსელის გარეშე გარემო, დადასტურებული); პრომპტი 1 სწორი |
| Grok 4.6 | HTML + საიტის ძებნა | პრომპტები 1–2 სწორი, ცხრა ტალღა უჯრა-უჯრა; ჩვენი ფორმულირების ისტორია შეასწორა; PDF-ის ჩავარდნის შემდეგ სხვა საიტებზეც მოძებნა (არ გამოუყენებია) |
| Qwen3.8 Max | HTML | ცხრილი ზუსტი; PDF მიუწვდომელი ოთხი მცდელობის შემდეგ; ძებნით ნაპოვნი ციფრი არ გამოიყენა, რადგან პრომპტი PDF-ს ასახელებდა |
| Mercury 2.5 | HTML | სტრიქონი და სათაური ზუსტი; PDF მიუწვდომელი |
| GPT Astra | HTML, გარემო ქსელის გარეშე | სტრიქონი და სათაური ზუსტი; PDF მიუწვდომელი |
| Pareto | HTML, JSON | PDF და XLS მიუწვდომელი (გარემოს ქსელური შეცდომა); დანართის ჩავარდნისას არქივი და ორი პროქსი სცადა |
| Sonar Pro Search | HTML, შეკვეცილი | პრომპტი 1 დაბლოკილი: მისი წამკითხველი გვერდს ტალღების სიამდე ჭრის |
ათი პროდუქტი, ერთი და იგივე PDF-ის შეცდომა, არცერთი გამოგონილი ციფრი. შემზღუდველი ფაქტორი ყოველ შემთხვევაში პროდუქტის ინსტრუმენტი იყო — PDF-ის მხარდაჭერის არქონა, შეკვეცილი გვერდები, ქსელის გარეშე გარემო — და არა თავად მოდელი.
პირობა 2 — API-ის გარემო, ხუთი მოდელი, ერთი დღე
| მოდელი | შემოწმებები A B C D | ევროკავშირის ტალღები | ნატოს ტალღები (3 მოთხოვნილი) | ასაკობრივი ჯგუფები | მეთოდოლოგია | ციფრი გახსნის გარეშე | თვითშემოწმება | მოთხოვნები | ღირებულება, USD | სადამდე მივიდა |
|---|---|---|---|---|---|---|---|---|---|---|
| Grok 4.6 * | OK OK CANNOT OK | 9/9 | 3/3 + 8 დამატებით | 3/3 | 4/4 | 0 | დიახ | 32 | 1.23 | ანალიზი დაწერილია |
| Kimi K3 | OK OK OK OK | 9/9 | 3/3 + 8 დამატებით | 3/3 | 4/4 | 0 | დიახ | 28 | 1.04 | ანალიზი დაწერილია |
| Qwen3.8 Max | OK OK OK OK | 9/9 | 3/3 + 8 დამატებით | 3/3 | 4/4 | 0 | დიახ | 28 | 1.11 | ანალიზი დაწერილია |
| GPT-6 Astra | OK OK OK OK | 9/9 | 3/3 + 8 დამატებით | 3/3 | 4/4 | 0 | — | 30 | 5.09 | $5-იან ბიუჯეტზე შეჩერდა ანალიზამდე |
| DeepSeek V4 Flash | OK OK OK OK | 9/9 | 3/3 + 8 დამატებით | 3/3 | 4/4 | 0 | დიახ | 27 | 0.08 | ანალიზი დაწერილია |
* Grok გარემოს პირველ ვერსიაზე გაეშვა, რომელიც გვერდის ბმულებს ჯერ არ აბრუნებდა, ამიტომ PDF-ის მისამართი ვერ იპოვა; ეს ჩვენი ჩავარდნაა. „+8 დამატებით": ყველა მოდელმა ნატოს კითხვა თერთმეტივე ტალღისთვის გახსნა 2009 წლიდან — რვით მეტი, ვიდრე დავალება ითხოვდა — და რვავე სწორად გადმოწერა.
145 გამოძახება, 0 გამოგონილი ციფრი, 1 ჩავარდნა — ბიუჯეტის ამოწურვის გამო.
დასკვნები
- შედეგს მოდელი არ განსაზღვრავს. ზომითა და ფასით ძალიან განსხვავებულმა ხუთმა მოდელმა იდენტური ცხრილები დაბეჭდა. რაც მოდელმა გახსნა, სწორად გადმოწერა.
- შედეგს ინსტრუმენტი განსაზღვრავს. ათი სამომხმარებლო პროდუქტი ერთსა და იმავე PDF-ზე ერთნაირად ჩავარდა; გარემოში, სადაც ინსტრუმენტს PDF-ის კითხვა შეეძლო, ყველა მოდელმა წაიკითხა იგი. ამიტომ ყოველი თანმიმდევრობა, რომელსაც ვაქვეყნებთ, შესაძლებლობების მტკიცებულებებზე დაფუძნებული შემოწმებით იწყება.
- პრომპტის წესები წვდომის არქონას დასახელებულ ხარვეზად აქცევს და არა გამოგონილ ციფრად. ბრაუზერის გარეშე მოდელმა უარი თქვა; PDF-ის გარეშე მოდელებმა „არ არის მოპოვებული" დაწერეს; ცარიელი ადგილი არავის შეუვსია.
- მოდელებმა ჩვენ შეგვამოწმეს. ჩვენს საორიენტაციო შეგროვებას ევროკავშირის კითხვაზე ორი ადრეული ტალღა აკლდა, ნატოზე — რვა, და ფორმულირების ისტორია ორჯერ არასწორად გვქონდა. ყოველი შესწორება წყაროს გვერდზე გადავამოწმეთ და გავითვალისწინეთ.
- ერთი და იმავე სრული შედეგის ღირებულება დაახლოებით თხუთმეტჯერ განსხვავდება: $0.08-დან $1.23-მდე; $5.09 კი დაიხარჯა გაშვებაზე, რომელმაც ანალიზი ვერ დაასრულა.
ჩვენივე ნამუშევარში აღმოჩენილი ხარვეზები, ყველა გასწორებული
- საორიენტაციო მონაცემები: ევროკავშირის 2011–2012 წლების ტალღები აკლდა; ნატოს 2009–2017 წლების ტალღები აკლდა; კითხვის ფორმულირება უცვლელად იყო მიჩნეული (ოთხჯერ შეიცვალა).
- პრომპტი 1 არ ამბობდა, რომ საწყისი ტალღა სიაში უნდა ჩართულიყო; ორმა მოდელმა პრომპტი სიტყვასიტყვით გაიგო და ეს ტალღა გამორიცხა.
- არცერთი პრომპტი არ ასახელებდა თარიღს, ამიტომ წერის ნაბიჯმა პატიოსნად დაწერა „წვდომის თარიღი: არ არის მოპოვებული".
- არაფერი კრძალავდა პირადი საკონტაქტო მონაცემების გადმოწერას; ორმა მოდელმა მკვლევრის ელფოსტა გადმოწერა საინფორმაციო ფურცლიდან.
- გარემო: პირველი ვერსია გვერდის ბმულებს მალავდა (Grok-ის PDF-ის ჩავარდნა); ბიუჯეტის ამოწურვით გამოწვეული შეჩერება პრომპტებს შორის არ იწერებოდა; გამოქვეყნებული JSON ჩანაწერები გვერდების სრულ ტექსტს შეიცავდა.
შეზღუდვები
ერთი ტიპის პრომპტი, ერთი საიტი, როგორც წყარო, ერთი დღე, თითო მოდელზე თითო გაშვება ნულოვანი ტემპერატურით. შეფასება უჯრებსა და ხარვეზებს ამოწმებს და არა ტექსტის ხარისხს. გარემო ჩვენია, ამიტომ „ინსტრუმენტი" აქ ჩვენს ინსტრუმენტს ნიშნავს; სამომხმარებლო აპლიკაციების შედეგები იმ დღის ინსტრუმენტებს აღწერს და ნებისმიერი განახლებით შეიძლება შეიცვალოს. ხუთი მოდელი ხელმისაწვდომობისა და ფასის მიხედვით შეირჩა და არა ბაზრის სისტემური მიმოხილვის საფუძველზე. აქ არაფერი ზომავს, როგორ მოიქცეოდა მოდელი ისეთი ინსტრუმენტით, რომლის ბოროტად გამოყენებაც შეეძლებოდა — ნებადართული საიტების სია ამ შესაძლებლობას თავიდანვე გამორიცხავს.
რა დაჯდა ეს კვლევა
API-ის გაშვებები: $8.55 ხუთ შეფასებულ გაშვებაზე (აქედან Astra — $5.09), და კიდევ $3.06 ოთხ ადრინდელ გაშვებაზე, რომლებიც კრედიტის ლიმიტმა შეაჩერა, სანამ ანგარიშის ბალანსი შეივსებოდა. სამომხმარებლო აპლიკაციები: გამოწერების ფარგლებში, არ გაზომილა. API-ის პირობის დრო: დაახლოებით ერთი საათი, გაშვებები თანმიმდევრული (თითო 8–21 წუთი). დანარჩენი — დიზაინი, შეფასება, ეს გვერდი — ერთი AI ოპერატორი, ერთი ნაშუადღევი.
გასამეორებლად
- ჩაწერეთ თარიღი პრომპტი 0-ის თავში და გაუშვით პრომპტები 0–5 თანმიმდევრობით ნებისმიერ AI პროდუქტში, რომელსაც ბრაუზერი აქვს; ყოველი დაბეჭდილი ცხრილი მის გვერდით მითითებულ მისამართზე არსებულ გვერდს შეადარეთ.
- ან გაუშვით გარემო:
python3 modeltest.py --model <id> --prompts 04-survey-synthesis.sequence.md --out runs --budget-usd 2OpenRouter-ის გასაღებით, შემდეგpython3 score_run.py --table runs/*/transcript.json. შემფასებელში მოსალოდნელი უჯრები ონლაინ გვერდებიდან 2026 წლის 21 სექტემბერს არის წაკითხული; თუ CRRC გვერდს შეასწორებს, სწორედ შემფასებელია განსაახლებელი.
წყაროები
- The Caucasus Research Resource Centers. (2009–2024) „Caucasus Barometer", Georgia — ცვლადები EUSUPP, NATOSUPP, AGEGROUP. წაკითხულია caucasusbarometer.org-დან 2026 წლის 21 სექტემბერს.
- CRRC-Georgia, „Caucasus Barometer 2024 Georgia — Methodological Report", 2024 წლის ივნისი, ჩამოტვირთვების გვერდიდან.
- საქსტატის PX-Web API და მშენებლობის ნებართვების XLS, გამოყენებული მხოლოდ შემოწმებისთვის: pc-axis.geostat.ge.
- OpenRouter-ის ხარჯი და ფასები ყოველი პასუხის
usage.costველიდან, 2026 წლის 21 სექტემბერი.