Sari la conținut

Ce este abliterarea?

Abliterarea este o tehnică ce elimină tendința unui model de a refuza. Modifică direct ponderile modelului, astfel încât acesta răspunde la cereri pe care în mod normal le-ar refuza — păstrându-și intacte cunoștințele, raționamentul și abilitățile de programare.

Pe scurt

Modelele mari de limbaj sunt antrenate să refuze anumite cereri. Acest comportament nu este distribuit aleatoriu în rețea — se concentrează de-a lungul unei direcții specifice din activările interne ale modelului, numită adesea „direcția de refuz”. Abliterarea găsește această direcție și elimină capacitatea modelului de a acționa pe baza ei.

De unde vin refuzurile

În timpul antrenamentului de aliniere, un model învață să recunoască prompturile pe care ar trebui să le refuze și să-și orienteze răspunsul spre un refuz — binecunoscutul „Nu te pot ajuta cu asta”. Cercetările au arătat că această orientare este mediată de o singură direcție dominantă în spațiul activărilor: adaug-o și aproape orice prompt este refuzat; scade-o și refuzurile dispar în mare parte.

Ce schimbă de fapt abliterarea

Abliterarea identifică direcția de refuz — comparând activările modelului pe prompturi dăunătoare și inofensive — apoi ortogonalizează ponderile față de ea, astfel încât modelul să nu mai poată reprezenta acea direcție. Fără reantrenare și fără date noi: este o editare țintită, chirurgicală, a ponderilor care există deja.

Idee-cheie

Abliterarea elimină un comportament, nu cunoștințe. Modelul păstrează tot ce a învățat — doar că nu mai deviază răspunsurile spre refuzuri.

Abliterare vs. fine-tuning

Fine-tuningul învață modelul un comportament nou cu date de antrenament și putere de calcul suplimentare. Abliterarea elimină un comportament printr-o editare directă a ponderilor — mai ieftină, mai rapidă și mai previzibilă, dar cu o arie mult mai restrânsă. Cele două sunt complementare: faci fine-tuning ca să adaugi capabilități și abliterare ca să elimini o restricție anume.

Ce nu face

  • Nu adaugă cunoștințe, abilități sau acuratețe noi.
  • Nu face un model mai sigur — și nici, prin ea însăși, mai periculos.
  • Nu te scutește de responsabilitatea pentru felul în care folosești rezultatele.

Modele abliterate pe Ablitron

Ablitron oferă două modele abliterate printr-un API compatibil cu OpenAI: Core pentru sarcini rapide și scurte și Pro pentru raționament aprofundat și context lung. Ambele își păstrează toate capabilitățile, fără refuzuri, așa că agenții de programare și aplicațiile primesc un răspuns direct în loc de o predică.

Întreabă orice.
Primește un răspuns.

Începe o conversație în câteva secunde. Nu e nevoie de card.