Self-Attention ist der Mechanismus in Transformer-Modellen, der es ermöglicht, den Kontext aller Wörter einer Eingabe gleichzeitig zu berücksichtigen.
Das Wort „Bank“ kann je nach Kontext als Finanzinstitut oder Sitzgelegenheit erkannt werden.
glossar self-attention transformer