Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für NLP-Modelle.
„Ich liebe KI.“ → [„Ich“, „liebe“, „KI“, „.“]
glossar tokenisierung tokenization