glossar:tokenization
Tokenization (Tokenisierung)
Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für NLP-Modelle.
Beispiel
„Ich liebe KI.“ → [„Ich“, „liebe“, „KI“, „.“]
glossar tokenisierung tokenization
glossar/tokenization.txt · Zuletzt geändert: 2025/05/11 13:22 (Externe Bearbeitung)
