Transformer sind die Architektur-Grundlage moderner Sprachmodelle wie GPT. Sie wurden 2017 in dem Paper „Attention is All You Need“ vorgestellt.

• Self-Attention: Das Modell bezieht sich auf alle Eingabewörter gleichzeitig, nicht sequentiell.
• Encoder-Decoder-Struktur: Ursprünglich für Übersetzungsaufgaben, später weiterentwickelt.
• Skalierbarkeit: Ermöglicht paralleles Training riesiger Modelle.

Ein Transformer kann den Zusammenhang zwischen Wörtern wie „Bank“ und „Fluss“ erkennen – abhängig vom Kontext.

• Large Language Models
• Glossar: Transformer

methoden transformer architektur