Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- glossar:tokenization [2025/05/20 07:51] – gelöscht 20.171.207.105
+++ glossar:tokenization [Unbekanntes Datum] (aktuell) – Externe Bearbeitung (Unbekanntes Datum) 127.0.0.1
@@ Zeile 1: / Zeile 1: @@
+====== Tokenization (Tokenisierung) ======
+Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für [[methoden:nlp|NLP-Modelle]].
+==== Beispiel ====
+"Ich liebe KI." → ["Ich", "liebe", "KI", "."]
+{{tag>glossar tokenisierung tokenization}}