Přeskočit na obsah

Co je abliterace?

Abliterace je technika, která modelu odebere sklon k odmítání. Upravuje přímo váhy modelu, takže odpovídá i na požadavky, které by jinak odmítl — a přitom si zachová znalosti, uvažování i schopnost programovat.

Ve zkratce

Velké jazykové modely se trénují tak, aby určité požadavky odmítaly. Toto chování není v síti rozprostřené náhodně — soustřeďuje se podél konkrétního směru ve vnitřních aktivacích modelu, často označovaného jako „směr odmítání“ (refusal direction). Abliterace tento směr najde a odebere modelu schopnost podle něj jednat.

Odkud se odmítnutí berou

Během alignment tréninku se model učí rozpoznat prompty, které má odmítnout, a směrovat svůj výstup k odmítnutí — známému „S tím vám nemohu pomoci“. Výzkum ukázal, že toto směrování zprostředkovává jediný dominantní směr v prostoru aktivací: když ho přidáte, odmítne se téměř jakýkoli prompt; když ho odečtete, odmítnutí z velké části zmizí.

Co abliterace doopravdy mění

Abliterace určí směr odmítání — porovnáním aktivací modelu u škodlivých a neškodných promptů — a pak vůči němu ortogonalizuje váhy, takže model už tento směr nedokáže reprezentovat. Žádný nový trénink a žádná nová data: je to cílený, chirurgický zásah do vah, které už existují.

Klíčový bod

Abliterace odstraňuje chování, ne znalosti. Model si ponechá všechno, co se naučil — jen přestane stáčet odpovědi do odmítnutí.

Abliterace vs. fine-tuning

Fine-tuning učí nové chování pomocí dalších trénovacích dat a výpočetního výkonu. Abliterace odstraňuje jedno chování přímou úpravou vah — levněji, rychleji a předvídatelněji, ale v mnohem užším rozsahu. Obojí se doplňuje: fine-tuningem přidáváte schopnosti, abliterací odstraňujete konkrétní omezení.

Co nedělá

  • Nepřidává nové znalosti, dovednosti ani přesnost.
  • Nedělá model bezpečnějším — ani, sama o sobě, nebezpečnějším.
  • Nesnímá z vás odpovědnost za to, jak výstupy použijete.

Abliterované modely v Ablitronu

Ablitron poskytuje dva abliterované modely přes API kompatibilní s OpenAI: Core pro rychlé, krátké úlohy a Pro pro hluboké uvažování a dlouhý kontext. Oba si zachovávají plné schopnosti bez odmítání, takže programovací agenti i aplikace dostanou přímou odpověď místo kázání.

Zeptejte se na cokoli.
Dostanete odpověď.

Začněte chatovat během pár sekund. Bez platební karty.