Abliteration ist eine Technik, die einem Modell die Neigung zum Verweigern nimmt. Sie bearbeitet die Gewichte des Modells direkt, sodass es Anfragen beantwortet, die es normalerweise ablehnen würde – und dabei sein Wissen, sein Reasoning und seine Coding-Fähigkeiten behält.
Die Kurzfassung
Große Sprachmodelle werden darauf trainiert, bestimmte Anfragen abzulehnen. Dieses Verhalten ist nicht zufällig über das Netz verteilt – es konzentriert sich entlang einer bestimmten Richtung in den internen Aktivierungen des Modells, oft „Refusal Direction“ (Verweigerungsrichtung) genannt. Abliteration findet diese Richtung und nimmt dem Modell die Fähigkeit, danach zu handeln.
Woher Verweigerungen kommen
Beim Alignment-Training lernt ein Modell, Prompts zu erkennen, die es ablehnen soll, und seine Ausgabe in Richtung einer Verweigerung zu lenken – das bekannte „Dabei kann ich nicht helfen“. Studien haben gezeigt, dass diese Lenkung über eine einzige dominante Richtung im Aktivierungsraum läuft: Fügt man sie hinzu, wird fast jeder Prompt abgelehnt; zieht man sie ab, verschwinden Verweigerungen weitgehend.
Was Abliteration tatsächlich verändert
Abliteration bestimmt die Verweigerungsrichtung – indem sie die Aktivierungen des Modells bei schädlichen und harmlosen Prompts vergleicht – und orthogonalisiert die Gewichte anschließend dagegen, sodass das Modell diese Richtung nicht mehr repräsentieren kann. Kein erneutes Training, keine neuen Daten: ein gezielter, chirurgischer Eingriff in die bereits vorhandenen Gewichte.
Abliteration entfernt ein Verhalten, kein Wissen. Das Modell behält alles, was es gelernt hat – es lenkt Antworten nur nicht mehr in Verweigerungen um.
Abliteration vs. Fine-Tuning
Fine-Tuning bringt einem Modell mit zusätzlichen Trainingsdaten und Rechenleistung neues Verhalten bei. Abliteration entfernt ein einzelnes Verhalten durch einen direkten Eingriff in die Gewichte – günstiger, schneller und vorhersehbarer, aber deutlich enger im Umfang. Beides ergänzt sich: Mit Fine-Tuning fügst du Fähigkeiten hinzu, mit Abliteration entfernst du eine bestimmte Einschränkung.
Was sie nicht tut
- Sie fügt kein neues Wissen, keine neuen Fähigkeiten und keine höhere Genauigkeit hinzu.
- Sie macht ein Modell nicht sicherer – und für sich genommen auch nicht gefährlicher.
- Sie nimmt dir nicht die Verantwortung dafür ab, wie du die Ausgaben nutzt.
Abliterierte Modelle auf Ablitron
Ablitron stellt zwei abliterierte Modelle über eine OpenAI-kompatible API bereit: Core für schnelle, kurze Aufgaben und Pro für tiefes Reasoning und langen Kontext. Beide behalten ihre volle Leistungsfähigkeit, nur ohne Verweigerungen – so bekommen Coding-Agenten und Anwendungen eine direkte Antwort statt einer Belehrung.