EuroEkonóm.sk
Token je základní jednotka textu, kterou jazykový model zpracovává při analýze vstupu i při generování odpovědi. Může odpovídat celému slovu, části slova, interpunkčnímu znaménku nebo jinému prvku textu. Pochopení tokenů pomáhá lépe odhadnout, jak model pracuje s textem, jaké množství informací dokáže zpracovat a proč se délka textu v systémech umělé inteligence často měří právě v tokenech.
Jak se text rozděluje na tokeny
Než jazykový model text zpracuje, převádí jej tokenizer na posloupnost tokenů. Tento proces se nazývá tokenizace. Každý token má přiřazené číselné označení, které model používá při výpočtech. Po dokončení generování se číselná posloupnost převede zpět do čitelného textu.
Tokeny nemusejí odpovídat celým slovům. Běžné slovo může tvořit jeden token, zatímco méně obvyklé nebo delší slovo se může rozdělit na několik částí. Samostatnými tokeny mohou být také mezery, číslice, interpunkce nebo části zápisu v jiném jazyce.
Token není totéž co slovo ani znak
Počet tokenů nelze spolehlivě určit pouhým počítáním slov nebo znaků. Vztah mezi délkou textu a počtem tokenů závisí na použitém tokenizeru, jazyce i konkrétním obsahu. Například text s neobvyklými výrazy, zkratkami, čísly nebo symboly může být rozdělen jinak než běžná próza.
Také stejná věta může mít v různých jazykových modelech odlišný počet tokenů, protože každý model může používat jiný způsob tokenizace. U jazyků s méně zastoupeným materiálem v trénovacích datech mohou být slova častěji rozdělená na menší části.
Proč na počtu tokenů záleží
Počet tokenů ovlivňuje, kolik textu může model zpracovat najednou. Každý model má stanovenou kapacitu kontextu, tedy maximální množství tokenů, které může zahrnout do jedné interakce. Do tohoto limitu se obvykle počítají jak zprávy uživatele a předchozí konverzace, tak instrukce i odpověď modelu.
Tokeny mohou mít význam také při určování ceny používání jazykového modelu. Některé služby účtují zpracovaný vstup a vytvořený výstup podle počtu tokenů. Delší nebo složitěji tokenizovaný text proto může spotřebovat více prostředků než kratší text se stejným počtem slov.
Jak odhadnout počet tokenů
Přesný počet tokenů lze zjistit pomocí tokenizeru určeného pro konkrétní model. Odhad založený pouze na počtu slov je orientační a nemusí být přesný, zejména u odborných textů, cizojazyčného obsahu, zdrojového kódu nebo textu s mnoha čísly a symboly.
Token je tedy technická jednotka, která propojuje běžný text s výpočty jazykového modelu. Její pochopení usnadňuje plánování délky vstupů, práci s limity kontextu i odhad nákladů na generování textu.
