Mixture of Experts (MoE)

Mixture of Experts (MoE) ნეირონული ქსელის არქიტექტურაა, რომელშიც მოდელი დაყოფილია მრავალ სპეციალიზებულ ქვექსელად, ანუ ექსპერტად, და თითოეული ტოკენის დამუშავებისას მთელი ქსელის ნაცვლად აქტიურდება მხოლოდ მათი მცირე ნაწილი. ეს მოდელს საშუალებას აძლევს, ჰქონდეს ტრილიონობით პარამეტრი, თუმცა ყოველ გამოთვლაზე რეალურად გამოიყენოს მხოლოდ მათი მცირე წილი, რაც ამცირებს გამოთვლით ხარჯს ზომის შენარჩუნებისას.

Mixture of Experts (MoE) is a neural network architecture in which a model is split into many specialized sub-networks, or experts, and only a small subset of them activates for each token, instead of the whole network. This lets a model hold trillions of total parameters while actually using only a fraction of them on any given computation, cutting inference cost without shrinking overall capacity.