Self-Attention ist der Mechanismus in Transformer-Modellen, der es ermöglicht, den Kontext aller Wörter einer Eingabe gleichzeitig zu berücksichtigen.

Das Wort „Bank“ kann je nach Kontext als Finanzinstitut oder Sitzgelegenheit erkannt werden.

glossar self-attention transformer