glossar:tokenization
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
| Nächste Überarbeitung | Vorhergehende Überarbeitung | ||
| glossar:tokenization [2025/05/11 14:47] – angelegt - Externe Bearbeitung 127.0.0.1 | glossar:tokenization [Unbekanntes Datum] (aktuell) – Externe Bearbeitung (Unbekanntes Datum) 127.0.0.1 | ||
|---|---|---|---|
| Zeile 1: | Zeile 1: | ||
| ====== Tokenization (Tokenisierung) ====== | ====== Tokenization (Tokenisierung) ====== | ||
| - | Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für NLP-Modelle. | + | Tokenization ist der Prozess, bei dem ein Text in kleine Einheiten (Tokens) zerlegt wird – oft als Vorbereitung für [[methoden: |
| ==== Beispiel ==== | ==== Beispiel ==== | ||
glossar/tokenization.1746967621.txt.gz · Zuletzt geändert: 2025/05/11 14:47 von 127.0.0.1
