glossar:tokenization
Dies ist eine alte Version des Dokuments!
Tokenization (Tokenisierung)
Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für NLP-Modelle.
Beispiel
„Ich liebe KI.“ → [„Ich“, „liebe“, „KI“, „.“]
glossar tokenisierung tokenization
glossar/tokenization.1747720303.txt.gz · Zuletzt geändert: 2025/05/20 07:51 von 20.171.207.105
