ტოკენი

ტოკენი არის ტექსტის მცირე ნაწილი, რომელიც AI იყენებს დამუშავებისთვის. სიტყვები იყოფა ტოკენებად და განსაზღვრავს რამდენი შეუძლია მოდელს დაამუშაოს.

A token is a small piece of text that AI processes. Words are broken into tokens, which determines how much content the model can handle.