====== Self-Attention ======

Self-Attention ist der Mechanismus in [[methoden:transformer|Transformer-Modellen]], der es ermöglicht, den Kontext aller Wörter einer Eingabe gleichzeitig zu berücksichtigen.

==== Beispiel ====
Das Wort „Bank“ kann je nach Kontext als Finanzinstitut oder Sitzgelegenheit erkannt werden.

{{tag>glossar self-attention transformer}}