Abliteration, bir modelin reddetme eğilimini ortadan kaldıran bir tekniktir. Modelin ağırlıklarını doğrudan düzenler; böylece model normalde reddedeceği isteklere yanıt verir — bilgisini, akıl yürütmesini ve kodlama yeteneğini koruyarak.
Kısaca
Büyük dil modelleri belirli istekleri reddetmek üzere eğitilir. Bu davranış ağa rastgele dağılmış değildir — modelin iç aktivasyonlarında, genellikle “ret yönü” (refusal direction) olarak adlandırılan belirli bir yön boyunca yoğunlaşır. Abliteration bu yönü bulur ve modelin ona göre hareket etme yeteneğini ortadan kaldırır.
Retler nereden gelir
Hizalama (alignment) eğitimi sırasında model, reddetmesi gereken prompt'ları tanımayı ve çıktısını bir rete — o tanıdık “Bu konuda yardımcı olamam” cevabına — yönlendirmeyi öğrenir. Araştırmalar bu yönlendirmenin aktivasyon uzayındaki tek bir baskın yön aracılığıyla gerçekleştiğini gösterdi: bu yönü eklerseniz neredeyse her prompt reddedilir; çıkarırsanız retler büyük ölçüde ortadan kalkar.
Abliteration aslında neyi değiştirir
Abliteration, modelin zararlı ve zararsız prompt'lardaki aktivasyonlarını karşılaştırarak ret yönünü belirler, ardından ağırlıkları bu yöne göre ortogonalleştirir; böylece model artık bu yönü temsil edemez. Yeniden eğitim yok, yeni veri yok: zaten var olan ağırlıklar üzerinde hedefli, cerrahi bir düzenleme.
Abliteration bilgiyi değil, bir davranışı kaldırır. Model öğrendiği her şeyi korur — yalnızca yanıtları rete yönlendirmeyi bırakır.
Abliteration mı, fine-tuning mi?
Fine-tuning, ek eğitim verisi ve işlem gücüyle yeni bir davranış öğretir. Abliteration ise doğrudan bir ağırlık düzenlemesiyle tek bir davranışı kaldırır — daha ucuz, daha hızlı ve daha öngörülebilir, ama kapsamı çok daha dar. İkisi birbirini tamamlar: yetenek eklemek için fine-tuning, belirli bir kısıtlamayı kaldırmak için abliteration uygularsınız.
Neyi yapmaz
- Yeni bilgi, beceri veya doğruluk eklemez.
- Modeli daha güvenli yapmaz — tek başına daha tehlikeli de yapmaz.
- Çıktıyı nasıl kullandığınıza ilişkin sorumluluğunuzu ortadan kaldırmaz.
Ablitron'da abliterated modeller
Ablitron, OpenAI uyumlu bir API üzerinden iki abliterated model sunar: hızlı ve kısa görevler için Core, derin akıl yürütme ve uzun bağlam için Pro. İkisi de retler kaldırılmış hâlde tüm yeteneklerini korur; böylece kodlama ajanları ve uygulamalar nutuk yerine doğrudan cevap alır.