Langsung ke konten

Apa itu abliteration?

Abliteration adalah teknik untuk menghilangkan kecenderungan model untuk menolak. Teknik ini mengedit bobot model secara langsung, sehingga model menjawab permintaan yang biasanya akan ditolaknya — sambil tetap mempertahankan pengetahuan, penalaran, dan kemampuan coding-nya.

Versi singkatnya

Model bahasa besar (LLM) dilatih untuk menolak permintaan tertentu. Perilaku itu tidak tersebar acak di seluruh jaringan — ia terkonsentrasi di sepanjang satu arah tertentu dalam aktivasi internal model, yang sering disebut “arah penolakan” (refusal direction). Abliteration menemukan arah itu dan menghilangkan kemampuan model untuk bertindak berdasarkan arah tersebut.

Dari mana penolakan berasal

Selama pelatihan alignment, model belajar mengenali prompt yang harus ditolaknya dan mengarahkan output-nya ke penolakan — kalimat yang sudah akrab: “Saya tidak bisa membantu dengan itu.” Riset menunjukkan bahwa pengarahan ini dimediasi oleh satu arah dominan di ruang aktivasi: tambahkan arah itu, dan hampir semua prompt akan ditolak; kurangi arah itu, dan penolakan sebagian besar menghilang.

Apa yang sebenarnya diubah oleh abliteration

Abliteration mengidentifikasi arah penolakan — dengan membandingkan aktivasi model pada prompt berbahaya dan prompt yang tidak berbahaya — lalu mengortogonalkan bobot terhadap arah tersebut, sehingga model tidak bisa lagi merepresentasikan arah itu. Tanpa pelatihan ulang dan tanpa data baru: ini adalah edit yang tertarget dan presisi, layaknya operasi bedah, pada bobot yang sudah ada.

Poin penting

Abliteration menghapus sebuah perilaku, bukan pengetahuan. Model tetap menyimpan semua yang telah dipelajarinya — ia hanya berhenti membelokkan jawaban menjadi penolakan.

Abliteration vs. fine-tuning

Fine-tuning mengajarkan perilaku baru dengan data pelatihan dan komputasi tambahan. Abliteration menghapus satu perilaku dengan edit bobot secara langsung — lebih murah, lebih cepat, dan lebih mudah diprediksi, tetapi cakupannya jauh lebih sempit. Keduanya saling melengkapi: Anda melakukan fine-tuning untuk menambah kemampuan, dan abliteration untuk menghapus satu batasan tertentu.

Yang tidak dilakukannya

  • Tidak menambah pengetahuan, keterampilan, atau akurasi baru.
  • Tidak membuat model lebih aman — atau, dengan sendirinya, lebih berbahaya.
  • Tidak menghapus tanggung jawab Anda atas cara Anda menggunakan output-nya.

Model abliterated di Ablitron

Ablitron menyajikan dua model abliterated melalui API yang kompatibel dengan OpenAI: Core untuk tugas singkat yang cepat dan Pro untuk penalaran mendalam dan konteks panjang. Keduanya mempertahankan kemampuan penuh dengan penolakan yang sudah dihapus, sehingga agen coding dan aplikasi mendapat jawaban langsung, bukan ceramah.

Tanya apa saja.
Dapat jawabannya.

Mulai chat dalam hitungan detik. Tanpa kartu kredit.