Token

A token is a small piece of text that AI processes. Words are broken into tokens, which determines how much content the model can handle.

ტოკენი არის ტექსტის მცირე ნაწილი, რომელიც AI იყენებს დამუშავებისთვის. სიტყვები იყოფა ტოკენებად და განსაზღვრავს რამდენი შეუძლია მოდელს დაამუშაოს.