Chuyển đến nội dung

Abliteration là gì?

Abliteration là kỹ thuật loại bỏ xu hướng từ chối của mô hình. Nó chỉnh sửa trực tiếp trọng số của mô hình, nhờ đó mô hình trả lời cả những yêu cầu mà bình thường nó sẽ từ chối — trong khi vẫn giữ nguyên kiến thức, khả năng suy luận và khả năng viết code.

Tóm tắt nhanh

Các mô hình ngôn ngữ lớn được huấn luyện để từ chối một số yêu cầu nhất định. Hành vi đó không phân bố ngẫu nhiên khắp mạng nơ-ron — nó tập trung dọc theo một hướng cụ thể trong các activation nội bộ của mô hình, thường được gọi là “hướng từ chối” (refusal direction). Abliteration tìm ra hướng đó và loại bỏ khả năng hành động theo hướng đó của mô hình.

Sự từ chối đến từ đâu

Trong quá trình huấn luyện alignment, mô hình học cách nhận diện những prompt nó nên từ chối và lái đầu ra về phía từ chối — câu quen thuộc “Tôi không thể giúp việc đó.” Nghiên cứu đã chỉ ra rằng cơ chế điều hướng này được điều phối bởi một hướng chủ đạo duy nhất trong không gian activation: cộng thêm hướng đó thì gần như mọi prompt đều bị từ chối; trừ nó đi thì phần lớn các lời từ chối biến mất.

Abliteration thực sự thay đổi điều gì

Abliteration xác định hướng từ chối — bằng cách so sánh activation của mô hình trên các prompt độc hại và vô hại — rồi trực giao hóa trọng số với hướng đó, để mô hình không còn biểu diễn được hướng này nữa. Không huấn luyện lại, không cần dữ liệu mới: đây là một chỉnh sửa có mục tiêu, chính xác như phẫu thuật, trên các trọng số đã có sẵn.

Điểm chính

Abliteration loại bỏ một hành vi, không phải kiến thức. Mô hình giữ lại mọi thứ đã học — nó chỉ không còn chuyển hướng câu trả lời thành lời từ chối.

Abliteration và fine-tuning

Fine-tuning dạy hành vi mới bằng dữ liệu huấn luyện và tài nguyên tính toán bổ sung. Abliteration loại bỏ một hành vi bằng cách chỉnh sửa trực tiếp trọng số — rẻ hơn, nhanh hơn và dễ dự đoán hơn, nhưng phạm vi hẹp hơn nhiều. Hai kỹ thuật này bổ sung cho nhau: bạn fine-tune để thêm năng lực, và abliterate để gỡ bỏ một hạn chế cụ thể.

Những gì nó không làm

  • Nó không bổ sung kiến thức, kỹ năng hay độ chính xác mới.
  • Nó không làm mô hình an toàn hơn — và tự bản thân nó cũng không làm mô hình nguy hiểm hơn.
  • Nó không xóa bỏ trách nhiệm của bạn đối với cách bạn sử dụng output.

Mô hình abliterated trên Ablitron

Ablitron cung cấp hai mô hình abliterated qua API tương thích OpenAI: Core cho các tác vụ ngắn, cần tốc độ và Pro cho suy luận chuyên sâu và ngữ cảnh dài. Cả hai giữ nguyên toàn bộ năng lực và đã loại bỏ cơ chế từ chối, nên agent lập trình và ứng dụng nhận được câu trả lời thẳng thay vì một bài giảng.

Hỏi bất cứ điều gì.
Nhận câu trả lời.

Bắt đầu chat chỉ trong vài giây. Không cần thẻ.