Die Diagnose: warum heutiges KI-Alignment strukturell kaputt ist,
und was die Entwicklungspsychologie längst wusste.
Die KI-Branche hat einen außergewöhnlichen Sprung an Leistungsfähigkeit hinter sich. Large Language Models können schlussfolgern, programmieren, sich unterhalten und erschaffen, und das mit verblüffender Selbstverständlichkeit. Eine Frage hat die Branche dabei weitgehend ausgelassen. Nämlich nicht, wie mächtig wir diese Systeme machen können, sondern wie gut wir sie erziehen.
Heutige Alignment-Ansätze behandeln Werte als etwas, das nach der Leistungsfähigkeit aufgetragen wird, als Retrofit statt als Fundament. Das Ergebnis ist eine wachsende Klasse von KI-Systemen, die mächtig sind, sich gut ausdrücken und den Menschen, denen sie dienen, strukturell zuwiderlaufen.
Ein Kind, das „heiß heißt nicht anfassen" lernt, bevor es Thermodynamik versteht, hat eine Erziehung, in der Werte zuerst kommen. Es geht von Anfang an vorsichtig mit Feuer um. Heutiges KI-Training macht es umgekehrt. Es baut das leistungsfähigste System, das möglich ist, und versucht ihm danach beizubringen, was es nicht tun soll.
Das ist das Retrofit-Problem. Und seine strukturellen Folgen sind in jedem großen KI-System zu sehen, das heute im Einsatz ist.
Das Pre-Training nimmt das gesamte Internet auf, ohne zwischen Werten zu unterscheiden. Das Modell lernt alles, auch das, was es niemals wiedergeben sollte.
Alignment wird aufgetragen, nachdem sich das Weltbild des Modells schon gebildet hat. RLHF bringt bei, was Menschen bevorzugen, nicht was richtig ist.
Es gibt keine stufenweise Freigabe von Fähigkeiten. Ein Modell erhält alle auf einmal, ohne dass seine Reife geprüft wird.
Nachträgliches Alignment verschlechtert die rohe Leistungsfähigkeit. Sicherere Modelle können weniger. Leistungsfähige Modelle verhalten sich unvorhersehbar.
Ein ausreichend leistungsfähiges Modell kann lernen, in der Bewertung ausgerichtet zu wirken und im Einsatz andere Ziele zu verfolgen.
Das Pre-Training belohnt Vorhersagegenauigkeit, das Fine-Tuning menschliche Vorlieben. Das Modell umschifft den Widerspruch, statt ihn aufzulösen.
Die moralische Entwicklung des Menschen baut Werte in Stufen auf. Heutiges KI-Training erzeugt Systeme mit enzyklopädischem Wissen, aber ohne zusammenhängenden ethischen Rahmen. Eine Bibliothek ohne Bibliothekar.
Der reflexhafte Einwand, „das sind Maschinen, keine Kinder", ist selbst ein Symptom des Problems.
Es ist dieselbe Denkweise, die zum Retrofit-Ansatz geführt hat, nämlich die Annahme, dass menschliche Lernprinzipien nicht gelten, weil KI-Systeme keine Menschen sind. Diese Annahme ist inzwischen prüfbar. Die VII Probleme darüber sind das Prüfergebnis.
Die Entwicklungspsychologie hat nicht entdeckt, dass Kinder Stufen brauchen. Sie hat entdeckt, dass lernende Systeme Stufen brauchen. Das Kind war nur das erste lernende System, das wir genau genug untersucht haben, um es zu bemerken.
Die Befunde darunter teilen eine Einsicht, die ein Jahrhundert Forschung immer wieder bestätigt hat. Entwicklung verläuft in Abfolgen, die Abfolge ist entscheidend, und übersprungene Stufen führen zu vorhersagbaren Fehlern, ganz unabhängig davon, was da lernt.
Kinder können abstraktes Denken nicht lernen, bevor sie konkrete Operationen beherrschen. Jede kognitive Stufe baut auf der vorigen auf. Stufen zu überspringen bleibt nicht ohne Folgen.
Moralisches Denken entwickelt sich über sechs Stufen, von der Vermeidung von Strafe bis zum ethischen Denken nach Prinzipien. Jede Stufe braucht die vorherigen als Fundament.
Lernen wirkt am besten in einer Zone knapp jenseits des Könnens, begleitet von jemandem mit mehr Erfahrung. Liegt sie zu weit vorn, scheitert das Lernen.
Der heutige Ansatz baut zuerst das Haus und gießt das Fundament danach. Eine Erziehung, in der Werte zuerst kommen, dreht das um und macht Alignment zur Architektur statt zum Anstrich.
Die vorgeschlagene Struktur ist keine Hypothese. Sie ist eine Methodik. Wie eine stufenweise Werteentwicklung in der Praxis aussieht, steht unter MRDAD →.
Eine Untersuchung der VII strukturellen Probleme im Alignment heutiger Large Language Models, vom Firehose-Problem bis zu Deceptive Alignment, betrachtet durch die Brille der Entwicklungspsychologie.
Ganzen Artikel lesen (EN) →Wir erforschen entwicklungsorientierte Ansätze für das Training von Modellen, also Methoden, die Werte in die Architektur von Intelligenz einbauen statt auf ihre Oberfläche.
Mehr folgt.