跳到主要内容

什么是 abliteration?

Abliteration 是一种消除模型拒绝倾向的技术。它直接修改模型权重,让模型回答原本会拒绝的请求——同时完整保留其知识、推理和编程能力。

简而言之

大语言模型经过训练,会拒绝某些请求。这种行为并非随机分布在整个网络中,而是集中在模型内部激活的一个特定方向上,通常称为“拒绝方向”。Abliteration 会找到这个方向,并让模型无法再依据它行事。

拒绝从何而来

在对齐训练中,模型学会识别应当拒绝的提示词,并把输出引向拒绝——也就是大家熟悉的那句“这个我帮不了你”。研究表明,这种引导由激活空间中一个占主导地位的方向介导:加上它,几乎任何提示词都会被拒绝;减去它,拒绝基本就消失了。

Abliteration 到底改变了什么

Abliteration 通过比较模型在有害与无害提示词上的激活来找出拒绝方向,然后将权重相对该方向正交化,使模型再也无法表示这个方向。无需重新训练,也无需新数据:这是对现有权重的一次精准的“外科手术式”修改。

要点

Abliteration 移除的是一种行为,而不是知识。模型保留了它学到的一切——只是不再把回答引向拒绝。

Abliteration 与微调对比

微调借助额外的训练数据和算力教会模型新的行为。Abliteration 则通过直接编辑权重移除某一种行为——成本更低、速度更快、结果更可预测,但作用范围要窄得多。两者可以互补:用微调增加能力,用 abliteration 去掉某个特定限制。

它不会做什么

  • 它不会增加新的知识、技能或准确率。
  • 它不会让模型更安全——单靠它本身,也不会让模型更危险。
  • 它不会免除你对如何使用输出所承担的责任。

Ablitron 上的 abliterated 模型

Ablitron 通过兼容 OpenAI 的 API 提供两款 abliterated 模型:Core 适合快速、简短的任务,Pro 适合深度推理和长上下文。两者都在移除拒绝的同时保留完整能力,让编程智能体和应用直接拿到答案,而不是一通说教。

想问就问。
有问必答。

几秒钟即可开始对话,无需绑卡。