Saltar al contenido

¿Qué es la abliteración?

La abliteración es una técnica para eliminar la tendencia de un modelo a negarse. Edita directamente los pesos del modelo, de modo que responde a peticiones que normalmente rechazaría, y conserva intactos su conocimiento, su razonamiento y su capacidad para programar.

La versión corta

Los modelos de lenguaje grandes se entrenan para rechazar ciertas peticiones. Ese comportamiento no está repartido al azar por la red: se concentra a lo largo de una dirección específica de las activaciones internas del modelo, a menudo llamada “dirección de rechazo”. La abliteración encuentra esa dirección y elimina la capacidad del modelo de actuar según ella.

De dónde vienen los rechazos

Durante el entrenamiento de alineamiento, un modelo aprende a reconocer los prompts que debe rechazar y a dirigir su salida hacia un rechazo: el clásico “No puedo ayudarte con eso”. La investigación ha demostrado que esa orientación depende de una única dirección dominante en el espacio de activaciones: si la sumas, casi cualquier prompt se rechaza; si la restas, los rechazos desaparecen en gran medida.

Qué cambia realmente la abliteración

La abliteración identifica la dirección de rechazo (comparando las activaciones del modelo ante prompts dañinos e inofensivos) y luego ortogonaliza los pesos respecto a ella, de modo que el modelo ya no puede representar esa dirección. No hay reentrenamiento ni datos nuevos: es una edición precisa y quirúrgica de los pesos que ya existen.

Idea clave

La abliteración elimina un comportamiento, no conocimiento. El modelo conserva todo lo que aprendió: simplemente deja de desviar las respuestas hacia rechazos.

Abliteración vs. fine-tuning

El fine-tuning enseña un comportamiento nuevo con datos de entrenamiento y cómputo adicionales. La abliteración elimina un comportamiento con una edición directa de los pesos: más barata, más rápida y más predecible, pero de alcance mucho más limitado. Las dos se complementan: haces fine-tuning para añadir capacidades y abliteras para quitar una restricción concreta.

Lo que no hace

  • No añade conocimientos, habilidades ni precisión nuevos.
  • No hace que un modelo sea más seguro ni, por sí sola, más peligroso.
  • No te exime de la responsabilidad sobre cómo usas lo que genera.

Modelos abliterados en Ablitron

Ablitron sirve dos modelos abliterados a través de una API compatible con OpenAI: Core para tareas rápidas y cortas, y Pro para razonamiento profundo y contexto largo. Ambos mantienen toda su capacidad sin rechazos, así que los agentes de código y las aplicaciones reciben una respuesta directa en lugar de un sermón.

Pregunta lo que quieras.
Recibe una respuesta.

Empieza a chatear en segundos. No necesitas tarjeta.