Pular para o conteúdo

O que é abliteração?

Abliteração é uma técnica para remover a tendência de um modelo a recusar. Ela edita diretamente os pesos do modelo, para que ele responda a pedidos que normalmente recusaria, mantendo intactos o conhecimento, o raciocínio e a capacidade de programar.

A versão curta

Grandes modelos de linguagem são treinados para recusar certos pedidos. Esse comportamento não está espalhado aleatoriamente pela rede: ele se concentra ao longo de uma direção específica nas ativações internas do modelo, muitas vezes chamada de “direção de recusa”. A abliteração encontra essa direção e remove a capacidade do modelo de agir com base nela.

De onde vêm as recusas

Durante o treinamento de alinhamento, o modelo aprende a reconhecer prompts que deve recusar e a direcionar a saída para uma recusa: o conhecido “Não posso ajudar com isso”. Pesquisas mostraram que esse direcionamento é mediado por uma única direção dominante no espaço de ativações: adicione-a e quase qualquer prompt é recusado; subtraia-a e as recusas praticamente desaparecem.

O que a abliteração realmente muda

A abliteração identifica a direção de recusa (comparando as ativações do modelo em prompts nocivos e inofensivos) e depois ortogonaliza os pesos em relação a ela, de modo que o modelo não consegue mais representar essa direção. Não há retreinamento nem dados novos: é uma edição precisa e cirúrgica dos pesos que já existem.

Ponto-chave

A abliteração remove um comportamento, não conhecimento. O modelo mantém tudo o que aprendeu; ele simplesmente para de desviar as respostas para recusas.

Abliteração vs. fine-tuning

O fine-tuning ensina um comportamento novo com dados de treinamento e computação adicionais. A abliteração remove um comportamento com uma edição direta dos pesos: mais barata, mais rápida e mais previsível, mas de alcance muito mais restrito. As duas se complementam: você faz fine-tuning para adicionar capacidade e abliteração para remover uma restrição específica.

O que ela não faz

  • Não adiciona novos conhecimentos, habilidades nem precisão.
  • Não torna um modelo mais seguro, nem, por si só, mais perigoso.
  • Não tira de você a responsabilidade pela forma como usa o resultado.

Modelos abliterados na Ablitron

A Ablitron serve dois modelos abliterados por meio de uma API compatível com OpenAI: Core para tarefas rápidas e curtas e Pro para raciocínio profundo e contexto longo. Os dois mantêm toda a capacidade, sem recusas, então agentes de código e aplicações recebem uma resposta direta em vez de um sermão.

Pergunte qualquer coisa.
Receba uma resposta.

Comece a conversar em segundos. Não precisa de cartão.