Abliteração é uma técnica para remover a tendência de um modelo a recusar. Ela edita diretamente os pesos do modelo, para que ele responda a pedidos que normalmente recusaria, mantendo intactos o conhecimento, o raciocínio e a capacidade de programar.
A versão curta
Grandes modelos de linguagem são treinados para recusar certos pedidos. Esse comportamento não está espalhado aleatoriamente pela rede: ele se concentra ao longo de uma direção específica nas ativações internas do modelo, muitas vezes chamada de “direção de recusa”. A abliteração encontra essa direção e remove a capacidade do modelo de agir com base nela.
De onde vêm as recusas
Durante o treinamento de alinhamento, o modelo aprende a reconhecer prompts que deve recusar e a direcionar a saída para uma recusa: o conhecido “Não posso ajudar com isso”. Pesquisas mostraram que esse direcionamento é mediado por uma única direção dominante no espaço de ativações: adicione-a e quase qualquer prompt é recusado; subtraia-a e as recusas praticamente desaparecem.
O que a abliteração realmente muda
A abliteração identifica a direção de recusa (comparando as ativações do modelo em prompts nocivos e inofensivos) e depois ortogonaliza os pesos em relação a ela, de modo que o modelo não consegue mais representar essa direção. Não há retreinamento nem dados novos: é uma edição precisa e cirúrgica dos pesos que já existem.
A abliteração remove um comportamento, não conhecimento. O modelo mantém tudo o que aprendeu; ele simplesmente para de desviar as respostas para recusas.
Abliteração vs. fine-tuning
O fine-tuning ensina um comportamento novo com dados de treinamento e computação adicionais. A abliteração remove um comportamento com uma edição direta dos pesos: mais barata, mais rápida e mais previsível, mas de alcance muito mais restrito. As duas se complementam: você faz fine-tuning para adicionar capacidade e abliteração para remover uma restrição específica.
O que ela não faz
- Não adiciona novos conhecimentos, habilidades nem precisão.
- Não torna um modelo mais seguro, nem, por si só, mais perigoso.
- Não tira de você a responsabilidade pela forma como usa o resultado.
Modelos abliterados na Ablitron
A Ablitron serve dois modelos abliterados por meio de uma API compatível com OpenAI: Core para tarefas rápidas e curtas e Pro para raciocínio profundo e contexto longo. Os dois mantêm toda a capacidade, sem recusas, então agentes de código e aplicações recebem uma resposta direta em vez de um sermão.