====== Tokenization (Tokenisierung) ======

Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für [[methoden:nlp|NLP-Modelle]].

==== Beispiel ====
"Ich liebe KI." → ["Ich", "liebe", "KI", "."]

{{tag>glossar tokenisierung tokenization}}