L'abliteration est une technique qui supprime la tendance d'un modèle à refuser. Elle modifie directement ses poids, si bien qu'il répond à des demandes qu'il déclinerait normalement — tout en conservant intacts ses connaissances, son raisonnement et ses capacités en code.
En bref
Les grands modèles de langage sont entraînés à refuser certaines requêtes. Ce comportement n'est pas réparti au hasard dans le réseau : il se concentre le long d'une direction précise des activations internes du modèle, souvent appelée « direction de refus ». L'abliteration trouve cette direction et retire au modèle la capacité d'agir selon elle.
D'où viennent les refus
Pendant l'entraînement d'alignement, un modèle apprend à reconnaître les prompts qu'il doit décliner et à orienter sa sortie vers un refus — le fameux « Je ne peux pas vous aider avec ça ». La recherche a montré que cette orientation passe par une seule direction dominante dans l'espace des activations : ajoutez-la et presque n'importe quel prompt est refusé ; soustrayez-la et les refus disparaissent en grande partie.
Ce que l'abliteration change vraiment
L'abliteration identifie la direction de refus — en comparant les activations du modèle sur des prompts nuisibles et inoffensifs — puis orthogonalise les poids par rapport à elle, pour que le modèle ne puisse plus représenter cette direction. Pas de réentraînement, pas de nouvelles données : c'est une modification ciblée, chirurgicale, des poids existants.
L'abliteration supprime un comportement, pas des connaissances. Le modèle garde tout ce qu'il a appris — il cesse simplement de détourner ses réponses vers des refus.
Abliteration vs fine-tuning
Le fine-tuning enseigne un nouveau comportement à l'aide de données d'entraînement et de calcul supplémentaires. L'abliteration supprime un comportement par une modification directe des poids — moins chère, plus rapide et plus prévisible, mais d'une portée bien plus étroite. Les deux sont complémentaires : le fine-tuning sert à ajouter des capacités, l'abliteration à retirer une restriction précise.
Ce qu'elle ne fait pas
- Elle n'ajoute ni connaissances, ni compétences, ni précision.
- Elle ne rend pas un modèle plus sûr — ni, à elle seule, plus dangereux.
- Elle ne vous dégage pas de votre responsabilité quant à l'usage que vous faites des résultats.
Les modèles abliterated sur Ablitron
Ablitron sert deux modèles abliterated via une API compatible OpenAI : Core pour les tâches rapides et courtes, et Pro pour le raisonnement approfondi et les longs contextes. Tous deux conservent toutes leurs capacités, sans les refus : les agents de codage et les applications obtiennent une réponse directe plutôt qu'un sermon.