KI und Gesellschaft

Kapitel I, § 16

§ 16. Macht und algorithmische Herrschaft

Runde 3: indirekte Zitation und begriffliche Verdichtung

Symbolische Grafik: Macht und algorithmische Herrschaft

§ 16 unterscheidet algorithmische Macht und algorithmische Herrschaft. Macht bezeichnet, in weberianischer Grundform, die Chance, den eigenen Willen auch gegen Widerstreben durchzusetzen; Herrschaft bezeichnet die Chance, für einen Befehl oder eine Ordnung Gehorsam zu finden (Weber, 1978). Auf algorithmische Ordnungen übertragen heißt das: Macht liegt bereits in Klassifikation, Vorhersage, Empfehlung, Ausschluss, Sichtbarkeitssteuerung und Risikozuschreibung. Herrschaft beginnt dort, wo solche Machtchancen organisatorisch verbindlich werden und Betroffene, Beschäftigte oder Nutzer:innen sich regelmäßig an ihnen orientieren müssen.

Algorithmische Macht ist häufig leise. Sie erscheint nicht notwendig als ausdrücklicher Befehl, sondern als Sortierung, Score, Warnhinweis, Ranking, Standardvorschlag oder automatisierte Ablehnung. Gerade darin liegt ihre soziale Stärke: Sie verändert Handlungswahrscheinlichkeiten, bevor ein Konflikt offen sichtbar wird. Forschung zu algorithmischer Macht zeigt, dass Auswahl- und Bewertungssysteme gesellschaftliche Wirklichkeit mitkonstruieren, indem sie Sichtbarkeit, Relevanz und Zugänglichkeit ordnen (Beer, 2017; Gillespie, 2014). Klassifikationen können Lebenslagen strukturieren, weil sie Menschen in Risikogruppen, Kund:innensegmente oder Berechtigungsprofile einordnen (Fourcade & Healy, 2013).

Algorithmische Herrschaft entsteht nicht durch die bloße Existenz eines Modells. Sie entsteht, wenn Modellausgaben in eine Ordnung eingebaut werden, die Folgebereitschaft erwartet: in Arbeitsanweisungen, Kreditentscheidungen, Sozialverwaltung, Moderation, Polizeipraxis, schulische Bewertung, medizinische Triage oder betriebliche Leistungssteuerung. Zwischen Assistenz und Herrschaft liegen Übergangsformen. Ein Vorschlag kann praktisch zwingend werden, wenn Abweichung begründet werden muss; eine Empfehlung kann faktisch Befehl sein, wenn Zeitdruck, Haftungsangst oder Organisationskultur sie unangreifbar machen.

Die Legitimität algorithmischer Herrschaft ist daher nicht aus Genauigkeit allein abzuleiten. Sie berührt die bereits in § 5 unterschiedenen Formen von Anerkennung: Verfahren, Expertise, Nutzen, Gewöhnung und Ergebnisglauben. Doch Herrschaft verlangt zusätzlich die Frage, ob Betroffene Einspruch erheben können, ob Verantwortliche adressierbar sind, ob Klassifikationen korrigierbar bleiben und ob Machtkonzentration begrenzt wird. Kritik an Black-Box-Gesellschaft, diskriminierenden Such- und Klassifikationsordnungen und undurchsichtiger Plattformmoderation zeigt, dass technische Leistungsfähigkeit soziale Rechtfertigung nicht ersetzt (Pasquale, 2015; Noble, 2018; Gillespie, 2018).

§ 16 ist damit der begriffliche Knoten des ersten Kapitels. Die vorangehenden Paragraphen haben Sinn, Handeln, Beziehung, Ordnung, Kampf, Schließung, Zurechnung und Verband entfaltet; hier wird sichtbar, dass diese Elemente Machtchancen bilden. § 17 fragt anschließend, welche politischen und epistemischen Verbände aus solchen Machtchancen hervorgehen oder sie begrenzen können.

Anschluss im Werk