AI · GTM Glossary
Tokenizer
The part of an AI model that chops text into tokens. Each AI model has its own tokenizer, so the same sentence costs a different amount at Claude than at GPT, the way one distance gives you different numbers in meters and in feet.
Auf Deutsch
Der Teil eines KI-Modells, der Text in Tokens zerlegt. Jedes KI-Modell hat seinen eigenen Tokenizer, deshalb kostet derselbe Satz bei Claude etwas anderes als bei GPT, so wie dieselbe Strecke in Metern und in Fuß unterschiedliche Zahlen ergibt.
Ready to break into startup GTM?
Apply once, for free, and get matched with startups hiring junior sales, generalist, commercial and techy talent in Berlin, Munich and across Germany.
Apply free