Ein Wort ist ein Punkt in einem Raum. Oder: Wie die KI lernt, dass König und Queen am Hofe näher beieinander liegen als König und Hofnarr.
Kennst Du Platons Höhlengleichnis? Das ist Embedding. Und das Gleichnis aus der Antike beschreibt es perfekt.
Embeddings sind das fundamentale Architekturprinzip, wie Sprachmodelle Bedeutung repräsentieren — nicht verstehen, wohlgemerkt. Nur repräsentieren. Ein Wort ist ein Vektor. Ein Vektor ist eine Liste von Zahlen. Und aus diesen Zahlen wird später alles andere gebaut: Sätze, Absätze, Zusammenhänge.
Platons Höhle im Rechenzentrum
Die Gefangenen sitzen fixiert, starren auf eine Wand. Hinter ihnen brennt ein Feuer. Die Gefangenen sehen nur die Schatten. Sie halten die Schatten für die Wirklichkeit.
Embeddings sind die Schatten an der Wand. Nicht die Dinge selbst. Nicht die Bedeutung. Nur die Projektionen von Bedeutungsbeziehungen.
Der King-Man-Woman-Effekt
Der berühmteste Trick mit Embeddings: vector(king) - vector(man) + vector(woman) ≈ vector(queen). Das Modell hat nie gelernt, was König oder Königin bedeutet. Es hat gelernt, dass die Vektordifferenz zwischen "king" und "man" ähnlich ist wie zwischen "queen" und "woman".
Warum Bias unvermeidbar ist
Wenn ein Embedding "doctor" näher an "man" als an "woman" positioniert, dann nicht, weil das Modell sexistisch ist. Sondern weil die Trainingsdaten es sind. Embeddings sind konservativ — sie bilden ab, was ist, nicht, was sein sollte.
Frag also immer: Welche Stimme wird von meinem Prompt übersehen?