Abliterace je technika, která modelu odebere sklon k odmítání. Upravuje přímo váhy modelu, takže odpovídá i na požadavky, které by jinak odmítl — a přitom si zachová znalosti, uvažování i schopnost programovat.
Ve zkratce
Velké jazykové modely se trénují tak, aby určité požadavky odmítaly. Toto chování není v síti rozprostřené náhodně — soustřeďuje se podél konkrétního směru ve vnitřních aktivacích modelu, často označovaného jako „směr odmítání“ (refusal direction). Abliterace tento směr najde a odebere modelu schopnost podle něj jednat.
Odkud se odmítnutí berou
Během alignment tréninku se model učí rozpoznat prompty, které má odmítnout, a směrovat svůj výstup k odmítnutí — známému „S tím vám nemohu pomoci“. Výzkum ukázal, že toto směrování zprostředkovává jediný dominantní směr v prostoru aktivací: když ho přidáte, odmítne se téměř jakýkoli prompt; když ho odečtete, odmítnutí z velké části zmizí.
Co abliterace doopravdy mění
Abliterace určí směr odmítání — porovnáním aktivací modelu u škodlivých a neškodných promptů — a pak vůči němu ortogonalizuje váhy, takže model už tento směr nedokáže reprezentovat. Žádný nový trénink a žádná nová data: je to cílený, chirurgický zásah do vah, které už existují.
Abliterace odstraňuje chování, ne znalosti. Model si ponechá všechno, co se naučil — jen přestane stáčet odpovědi do odmítnutí.
Abliterace vs. fine-tuning
Fine-tuning učí nové chování pomocí dalších trénovacích dat a výpočetního výkonu. Abliterace odstraňuje jedno chování přímou úpravou vah — levněji, rychleji a předvídatelněji, ale v mnohem užším rozsahu. Obojí se doplňuje: fine-tuningem přidáváte schopnosti, abliterací odstraňujete konkrétní omezení.
Co nedělá
- Nepřidává nové znalosti, dovednosti ani přesnost.
- Nedělá model bezpečnějším — ani, sama o sobě, nebezpečnějším.
- Nesnímá z vás odpovědnost za to, jak výstupy použijete.
Abliterované modely v Ablitronu
Ablitron poskytuje dva abliterované modely přes API kompatibilní s OpenAI: Core pro rychlé, krátké úlohy a Pro pro hluboké uvažování a dlouhý kontext. Oba si zachovávají plné schopnosti bez odmítání, takže programovací agenti i aplikace dostanou přímou odpověď místo kázání.