Przejdź do treści

Czym jest abliteracja?

Abliteracja to technika usuwania skłonności modelu do odmawiania. Edytuje bezpośrednio wagi modelu, więc odpowiada on na zapytania, które normalnie by odrzucił — a jego wiedza, zdolność rozumowania i umiejętności programistyczne pozostają nietknięte.

W skrócie

Duże modele językowe są trenowane tak, by odmawiać określonych zapytań. To zachowanie nie jest rozłożone losowo w sieci — koncentruje się wzdłuż konkretnego kierunku w wewnętrznych aktywacjach modelu, często nazywanego „kierunkiem odmowy” (refusal direction). Abliteracja znajduje ten kierunek i odbiera modelowi zdolność działania zgodnie z nim.

Skąd biorą się odmowy

Podczas treningu alignmentu model uczy się rozpoznawać prompty, których powinien odmówić, i kierować swoją odpowiedź w stronę odmowy — znanego „Nie mogę w tym pomóc”. Badania wykazały, że to sterowanie odbywa się za pośrednictwem jednego dominującego kierunku w przestrzeni aktywacji: dodaj go, a niemal każdy prompt zostanie odrzucony; odejmij, a odmowy w dużej mierze znikną.

Co abliteracja faktycznie zmienia

Abliteracja wyznacza kierunek odmowy — porównując aktywacje modelu dla szkodliwych i nieszkodliwych promptów — a następnie ortogonalizuje względem niego wagi, tak że model nie może już reprezentować tego kierunku. Bez ponownego trenowania i bez nowych danych: to precyzyjna, chirurgiczna edycja wag, które już istnieją.

Najważniejsze

Abliteracja usuwa zachowanie, a nie wiedzę. Model zachowuje wszystko, czego się nauczył — po prostu przestaje przekierowywać odpowiedzi w odmowy.

Abliteracja a fine-tuning

Fine-tuning uczy nowego zachowania za pomocą dodatkowych danych treningowych i mocy obliczeniowej. Abliteracja usuwa jedno zachowanie bezpośrednią edycją wag — taniej, szybciej i bardziej przewidywalnie, ale w znacznie węższym zakresie. Oba podejścia się uzupełniają: fine-tuning stosujesz, by dodać możliwości, a abliterację, by usunąć konkretne ograniczenie.

Czego nie robi

  • Nie dodaje nowej wiedzy, umiejętności ani dokładności.
  • Nie czyni modelu bezpieczniejszym — ani, sama w sobie, bardziej niebezpiecznym.
  • Nie zdejmuje z ciebie odpowiedzialności za to, jak wykorzystasz wyniki.

Abliterowane modele w Ablitronie

Ablitron udostępnia dwa abliterowane modele przez API zgodne z OpenAI: Core do szybkich, krótkich zadań i Pro do głębokiego rozumowania i długiego kontekstu. Oba zachowują pełne możliwości bez odmów, więc agenci kodujący i aplikacje dostają bezpośrednią odpowiedź zamiast pouczeń.

Pytaj o wszystko.
Dostaniesz odpowiedź.

Zacznij czatować w kilka sekund. Bez podawania karty.