Abliteration(アブリテレーション)は、モデルが拒否する傾向を取り除く手法です。モデルの重みを直接編集するため、通常なら断るリクエストにも答えるようになります。それでいて、知識、推論、コーディング能力はそのまま保たれます。
要点
大規模言語モデルは、特定のリクエストを拒否するようにトレーニングされています。この振る舞いはネットワーク全体にランダムに散らばっているわけではなく、モデル内部の活性化における特定の方向、いわゆる「拒否方向(refusal direction)」に集中しています。Abliteration はその方向を見つけ出し、モデルがその方向に沿って動作できないようにします。
拒否はどこから来るのか
アライメントのためのトレーニングで、モデルは断るべきプロンプトを見分け、出力を拒否、つまりおなじみの「それはお手伝いできません」へと誘導することを学びます。研究によると、この誘導は活性化空間における 1 つの支配的な方向によって担われています。この方向を加えるとほぼどんなプロンプトも拒否され、差し引くと拒否はほとんど消えます。
abliteration が実際に変えるもの
Abliteration は、有害なプロンプトと無害なプロンプトに対するモデルの活性化を比較して拒否方向を特定し、その方向に対して重みを直交化します。これにより、モデルはその方向を表現できなくなります。再トレーニングも新しいデータも不要です。既存の重みに対する、狙いを絞った精密な編集です。
Abliteration が取り除くのは振る舞いであり、知識ではありません。モデルは学習したことをすべて保持したまま、回答を拒否へとすり替えることだけをやめます。
Abliteration とファインチューニングの違い
ファインチューニングは、追加の学習データと計算資源を使って新しい振る舞いを教えます。Abliteration は、重みを直接編集して 1 つの振る舞いを取り除きます。より安く、速く、予測しやすい一方で、適用範囲ははるかに狭くなります。両者は補完し合う関係です。能力を加えるにはファインチューニングを、特定の制限を取り除くには abliteration を使います。
abliteration にできないこと
- 新しい知識やスキルを加えたり、精度を高めたりはしません。
- モデルをより安全にはしません。また、それ自体でより危険にするわけでもありません。
- 出力をどう使うかについての、あなたの責任がなくなるわけではありません。
Ablitron の abliterated モデル
Ablitron は、OpenAI 互換 API で 2 つの abliterated モデルを提供しています。高速で短いタスク向けの Core と、深い推論と長いコンテキスト向けの Pro です。どちらも拒否を取り除いたうえで能力をすべて保っているため、コーディングエージェントやアプリケーションは、説教ではなく率直な答えを得られます。