ყველაფერი დაჩქარდა, შემოწმების გარდა

PostgreSQL 19 ამ თვის დასაწყისში უნდა გამოსულიყო. ახლა 19 ნოემბრამდე გადაიდო და რვიდან ათამდე ფუნქცია მოხსნეს. მიზეზი ის არ არის, რომ ხელოვნურმა ინტელექტმა ცუდი კოდი დაწერა. პირიქით — მან კოდი კარგად წაიკითხა. ბეტა-ტესტირების ბოლოს შემმოწმებელმა მოდელებმა იმდენი ნამდვილი ხარვეზი იპოვეს, რომ პროექტის გუნდმა მათი გასწორება ვეღარ მოასწრო. არაფერი გაფუჭდა. უბრალოდ, პრობლემის პოვნა იმაზე სწრაფი აღმოჩნდა, ვიდრე მისი გასწორება. ამ კვირას ინდუსტრიაში ყველაფერი დაჩქარდა, შემოწმების გარდა — და ახლა სწორედ შემოწმებას ელოდება დანარჩენი.

ეს ის საფრთხე არ არის, რომელსაც წლების განმავლობაში ველოდებოდით. გვეშინოდა, რომ მოდელები დამაჯერებელ სისულელეს დაწერდნენ და ვერავინ შეამჩნევდა. ამ კვირის პრობლემა პირიქითაა: მოდელები მართალი აღმოჩნდნენ და ეს ხშირად ხდებოდა. როცა სიმართლე ბევრია, მასაც აქვს ფასი — და ამ ფასს მხოლოდ ადამიანები იხდიან. PostgreSQL-ის დაგვიანება ამ ამბის ყველაზე მსუბუქი ნაწილია. ერთ კვირაში ერთი და იგივე პრობლემა სამ ადგილას გამოჩნდა: ინდუსტრიის მათემატიკაში, უსაფრთხოების შემოწმებაში და კარიერულ კიბეზე.

მთავარი შეზღუდვა აღარც გამოთვლითი სიმძლავრეა და აღარც კადრები — შემოწმების რესურსია. პარასკევს Anthropic-მა საკუთარ თანამშრომლებზე მონაცემები გამოაქვეყნა. ყველაზე მნიშვნელოვანი რიცხვი კი დათქმებში ეწერა: ერთი სესიის დროის დაახლოებით 80 პროცენტი იმაში გადის, რომ Claude ადამიანს ელოდება. სურათი კი ასეთია: მარტიდან აგენტები თანამშრომლებზე მეტ საათს მუშაობენ. აგვისტოში თანაფარდობა ექვსი ერთზე იყო, ახალბედების წილი ახალ დაქირავებულებში კი 27 პროცენტიდან 9 პროცენტამდე დაეცა. კომპანიამ წარმოების უზარმაზარი სიმძლავრე მოიპოვა და შეამცირა ის ადგილები, სადაც შემმოწმებლები ყალიბდებიან. თავად კი იმად იქცა, რასაც მისივე აგენტები ელოდებიან.

ამ კვირას ინდუსტრიაში ყველაფერი დაჩქარდა, შემოწმების გარდა — და ახლა სწორედ შემოწმებას ელოდება დანარჩენი.

ლაბორატორიებმა შემოწმებისთვის ფულის გადახდა დაიწყეს, მაგრამ ყველგან ფულს ისევ ის იხდის, ვისაც ამოწმებენ. OpenAI-მ და Anthropic-მა თითო 5 მილიონი დოლარი ჩადეს Simons-ის ფონდის 15 მილიონიან პროგრამაში. ამ ფულით მათემატიკოსები შეამოწმებენ, რამდენად სწორია ხელოვნური ინტელექტის დაწერილი მათემატიკა. ნაბიჯი დაგვიანებულია: ლაბორატორიები იმაზე სწრაფად წერენ, ვიდრე მათ ნაშრომებს ამოწმებენ. 7 ოქტომბერს სამი სტატია უკან გამოითხოვეს, რადგან ფორმულაში ნიშანი შეცდომით იყო დასმული. ამის გარდა, Anthropic-მა METR-ის ექვსი თანამშრომელი საკუთარ ოფისში დასვა და წერილობით დაპირდა, რომ მათ დასკვნებს არ აკრძალავს. ორი კვირის წინ ამ რუბრიკაში ვწერდით, რომ ვაშინგტონის შეთანხმების არც ერთ ხელმომწერს გარე აუდიტორი არ დაუსახელებია — ასე რომ, ორივე ნაბიჯი ნამდვილი წინსვლაა. მაგრამ ასე შემოწმება მეტი იქნება, დამოუკიდებლობა კი — არა.

როცა შემოწმება ჩამორჩება, განცხადება მხოლოდ დაპირებაა — ეს კი თავად ლაბორატორიებმა ორჯერ აჩვენეს. 14 ოქტომბერს Google DeepMind-მა საკუთარ ანგარიშში დაწერა, რომ Gemini 4 Argon-მა პლაზმის ფიზიკაში სამოცი წლის წინ გამოთქმული ვარაუდი უარყო. ამ თემაზე არსებული სტატიები პრესაში კონკურენტის მოდელს მიეწერება; Gemini-სთან კავშირს კი DeepMind-ის საკუთარი პოსტების გარდა სხვაგან ვერ ვპოულობთ. ორი დღის შემდეგ Anthropic-მა განაცხადა, რომ Claude Mythos 5-მა კვანტური სქემები დააპროექტა, რომლებიც აქამდე გამოქვეყნებულ საუკეთესო სქემებზე უკეთესია — „ზოგჯერ ათჯერ და მეტჯერაც“. წასაკითხად კი არაფერი გამოქვეყნდა. არც ერთი განცხადება არ არის აუცილებლად მცდარი. უბრალოდ, ასე სწრაფად ნათქვამის გადამოწმებას ვერავინ ასწრებს.

მეორე მხრივ: სისტემა თავად ასწორებს საკუთარ შეცდომებს და ამას სწრაფად აკეთებს. Postgres-ის გუნდმა ამჯობინა, დაგვიანებით გამოსულიყო, ვიდრე ცნობილი ხარვეზებით. ორმა კონკურენტმა ერთად დააფინანსა ის რეცენზენტები, რომლებიც მათსავე ნაშრომებს შეაფასებენ. ერთმა მათგანმა გარე შემფასებელს ოფისში მაგიდები მისცა — თერთმეტ დღეში მას შემდეგ, რაც ამ რუბრიკაში დავწერეთ, რომ ასეთი აუდიტორი არავის დაუსახელებია. სხვა დარგებს ამისთვის ათწლეული და კანონი სჭირდებათ, აქ კი ამისთვის იძულება არ დასჭირდა. ეს მართალია. მაგრამ დააკვირდით, რა გამოდის ამ ყველაფრიდან: შემმოწმებელი მეტი გახდა, შემოწმება კი უფრო სწრაფი — არა. რეცენზირებას ადამიანის დრო სჭირდება. ხარვეზების გასწორებასაც. იგივე ითქმის იმ 80 პროცენტზეც: აგენტი ადამიანს ელოდება. წარმოებას ჩიპებითა და დღეებით ზომავენ: MAI-Base-2-ის მომზადებას 16 000 ჩიპი და 38 დღე დასჭირდა. შემოწმებას კი წლები და ადამიანის მთელი კარიერა სჭირდება. ჩიპებს სწრაფად დაამატებ, გამოცდილ ადამიანებს — ვერ.

შედეგები და შესაძლებლობები

• „დაგვიანება“ ახლა პატიოსნების ნიშნად ითვლება, გარედან კი ამას ვერ გაარჩევ. პროექტი, რომელიც იგვიანებს, რადგან მოდელებმა იმაზე მეტი ხარვეზი იპოვეს, ვიდრე გუნდი ასწორებს, სწორად იქცევა. ის კი, ვინც იმდენივე გაუსწორებელი ხარვეზით მაინც ვადაში გამოდის — არა.
• ჯერ სწორედ ის ადგილები ქრება, სადაც შემმოწმებლები იზრდებიან. ერთადერთ ლაბორატორიაში, რომელმაც მონაცემები გამოაქვეყნა, ახალბედების წილი 27 პროცენტიდან 9 პროცენტამდე დაეცა. კოდზე მსჯელობას კი სწორედ კოდის წერით სწავლობენ.
• განცხადება და შედეგი ორი სხვადასხვა რამ გახდა. ვინც გამოქვეყნებულ სტატიას დაელოდება, უფრო ხშირად იქნება მართალი. ასე კი ნელ-ნელა იკლებს სწორედ ის ნდობა, რომლის მოპოვებასაც განცხადება ცდილობს.
• შესაძლებლობა: შემოწმება აქ ერთადერთი საქმეა, რომელსაც სასერვერო ინფრასტრუქტურა არ სჭირდება. Simons-ის ფული, METR-ის მაგიდები და Postgres-ის გაუსწორებელი ხარვეზები ერთსა და იმავე ადამიანს ეძებს: ისეთს, რომელიც ნამდვილ ხარვეზს გაარჩევს იმისგან, რაც მხოლოდ ხარვეზს ჰგავს.
• შესაძლებლობა: კვირის ყველაზე სასარგებლო შემოწმება 13,84 დოლარი დაჯდა. თბილისელმა ინჟინერმა ყოველი მოდელისთვის 287 კითხვა ხელით დაწერა და რვა მოდელი შეამოწმა, რამდენად კარგად წერენ ქართულად: თარგმანს მოდელები უკვე კარგად ართმევენ თავს, რიცხვების ჩაწერას — ჯერ არა. მათგან, ვისაც დიდი ინფრასტრუქტურა აქვს, ეს არავის უცდია.

რას ვადევნებთ თვალს

• 19 ნოემბერს Postgres-ის მე-19 ვერსია ყველა გასწორებული ხარვეზით გამოვა, თუ ნაწილს მე-20 ვერსიას გადააბარებენ.
• გამოაქვეყნებს თუ არა METR ისეთ რამეს, რაც Anthropic-ს არ მოეწონება. სანამ ეს არ მოხდება, ვეტოზე უარი მხოლოდ სიტყვებია.
• გამოაცხადებს თუ არა რომელიმე ლაბორატორია ისეთ შედეგს, რომელიც გარე სპეციალისტმა უკვე შეამოწმა — და არა ისეთს, რომლის შემოწმებას მერე თავად დააფინანსებს.

ამ ინდუსტრიაში ახლა ყველაფერი წამებში ხდება, დასტურის გარდა — დასტურს კი ისევ ადამიანი აწერს ხელს.