L'abliterazione è una tecnica per eliminare la tendenza di un modello a rifiutare. Modifica direttamente i pesi del modello, così risponde a richieste che normalmente rifiuterebbe, mantenendo intatte conoscenze, capacità di ragionamento e abilità nel coding.
In breve
I modelli linguistici di grandi dimensioni vengono addestrati a rifiutare certe richieste. Questo comportamento non è distribuito a caso nella rete: si concentra lungo una direzione specifica nelle attivazioni interne del modello, spesso chiamata “direzione di rifiuto”. L'abliterazione trova quella direzione e toglie al modello la capacità di agire in base a essa.
Da dove nascono i rifiuti
Durante l'addestramento di allineamento, un modello impara a riconoscere i prompt che dovrebbe rifiutare e a orientare l'output verso un rifiuto: il classico “Non posso aiutarti con questo”. La ricerca ha dimostrato che questo orientamento è mediato da un'unica direzione dominante nello spazio delle attivazioni: se la aggiungi, quasi ogni prompt viene rifiutato; se la sottrai, i rifiuti in gran parte scompaiono.
Cosa cambia davvero l'abliterazione
L'abliterazione individua la direzione di rifiuto (confrontando le attivazioni del modello su prompt dannosi e innocui) e poi ortogonalizza i pesi rispetto a essa, così il modello non può più rappresentare quella direzione. Niente riaddestramento e niente dati nuovi: è una modifica mirata e chirurgica ai pesi già esistenti.
L'abliterazione rimuove un comportamento, non conoscenze. Il modello conserva tutto ciò che ha imparato: smette semplicemente di trasformare le risposte in rifiuti.
Abliterazione vs. fine-tuning
Il fine-tuning insegna un nuovo comportamento con dati di addestramento e potenza di calcolo aggiuntivi. L'abliterazione rimuove un comportamento con una modifica diretta dei pesi: più economica, più veloce e più prevedibile, ma con una portata molto più ristretta. Le due tecniche sono complementari: fai fine-tuning per aggiungere capacità e abliteri per rimuovere una restrizione specifica.
Cosa non fa
- Non aggiunge nuove conoscenze, competenze o precisione.
- Non rende un modello più sicuro né, di per sé, più pericoloso.
- Non ti solleva dalla responsabilità per come usi l'output.
Modelli abliterati su Ablitron
Ablitron offre due modelli abliterati tramite un'API compatibile con OpenAI: Core per attività rapide e brevi e Pro per ragionamento approfondito e contesti lunghi. Entrambi mantengono tutte le loro capacità senza rifiuti, così agenti di coding e applicazioni ricevono una risposta diretta invece di una predica.