Ein Transformer verarbeitet Texte nicht Wort für Wort, sondern schaut sich den ganzen Zusammenhang gleichzeitig an. Das ist der große Unterschied zu früheren Modellen.
Stell dir vor, du liest einen Satz wie:
„Der Hund, der die Katze jagte, war schnell.“
Ein Transformer kann verstehen, dass sich „der“ auf „Hund“ bezieht – auch wenn zwischen den Wörtern andere Wörter stehen. Es erkennt also Zusammenhänge im ganzen Satz, nicht nur nebeneinanderliegende Wörter.
