Abliteration은 모델의 거부 성향을 제거하는 기법입니다. 모델 가중치를 직접 편집하기 때문에 평소라면 거절했을 요청에도 답하게 되며, 지식·추론·코딩 능력은 그대로 유지됩니다.
핵심만 간단히
대규모 언어 모델은 특정 요청을 거부하도록 학습됩니다. 이 동작은 네트워크 전체에 무작위로 흩어져 있는 것이 아니라, 흔히 ‘거부 방향(refusal direction)’이라고 부르는 모델 내부 활성화의 특정 방향을 따라 집중되어 있습니다. Abliteration은 그 방향을 찾아내 모델이 그 방향에 따라 동작하지 못하게 만듭니다.
거부는 어디에서 오는가
정렬(alignment) 학습 과정에서 모델은 거절해야 할 프롬프트를 알아보고 출력을 거부 쪽으로 유도하는 법을 배웁니다. 익숙한 “그건 도와드릴 수 없습니다”가 바로 그것입니다. 연구에 따르면 이 유도는 활성화 공간의 단일한 지배적 방향이 매개합니다. 이 방향을 더하면 거의 모든 프롬프트가 거부되고, 빼면 거부가 대부분 사라집니다.
abliteration이 실제로 바꾸는 것
Abliteration은 유해한 프롬프트와 무해한 프롬프트에 대한 모델의 활성화를 비교해 거부 방향을 찾아낸 다음, 그 방향에 대해 가중치를 직교화해 모델이 더 이상 그 방향을 표현할 수 없게 만듭니다. 재학습도, 새로운 데이터도 필요 없습니다. 이미 존재하는 가중치를 겨냥한 정밀한 편집입니다.
Abliteration은 지식이 아니라 동작을 제거합니다. 모델은 학습한 모든 것을 그대로 유지하며, 단지 답변을 거부로 돌리는 일을 멈출 뿐입니다.
Abliteration vs. 파인튜닝
파인튜닝은 추가 학습 데이터와 컴퓨팅 자원으로 새로운 동작을 가르칩니다. Abliteration은 가중치를 직접 편집해 하나의 동작을 제거합니다. 더 저렴하고 빠르며 예측 가능하지만, 적용 범위는 훨씬 좁습니다. 둘은 상호 보완적입니다. 능력을 더하려면 파인튜닝을, 특정 제약을 없애려면 abliteration을 사용합니다.
abliteration이 하지 않는 것
- 새로운 지식, 기술, 정확도를 더하지 않습니다.
- 모델을 더 안전하게 만들지 않습니다. 그 자체로 더 위험하게 만들지도 않습니다.
- 출력을 어떻게 사용하는지에 대한 책임이 사라지지는 않습니다.
Ablitron의 abliterated 모델
Ablitron은 OpenAI 호환 API를 통해 두 가지 abliterated 모델을 제공합니다. 빠르고 짧은 작업에는 Core, 깊은 추론과 긴 컨텍스트에는 Pro입니다. 두 모델 모두 거부를 제거하면서도 능력은 온전히 유지하므로, 코딩 에이전트와 애플리케이션은 훈계 대신 바로 답을 얻습니다.