Abliteration คือเทคนิคที่กำจัดแนวโน้มการปฏิเสธของโมเดล โดยแก้ไขน้ำหนักของโมเดลโดยตรง ทำให้โมเดลตอบคำขอที่ปกติจะปฏิเสธ — ขณะที่ยังคงความรู้ การให้เหตุผล และความสามารถในการเขียนโค้ดไว้ครบถ้วน
ฉบับย่อ
โมเดลภาษาขนาดใหญ่ถูกเทรนให้ปฏิเสธคำขอบางประเภท พฤติกรรมนี้ไม่ได้กระจายอยู่แบบสุ่มทั่วทั้งเครือข่าย — แต่รวมตัวอยู่ตามทิศทางหนึ่งที่เฉพาะเจาะจงใน activation ภายในของโมเดล ซึ่งมักเรียกว่า “ทิศทางการปฏิเสธ” (refusal direction) Abliteration จะค้นหาทิศทางนั้นแล้วตัดความสามารถของโมเดลที่จะทำตามทิศทางนั้นออก
การปฏิเสธมาจากไหน
ระหว่างการเทรนเพื่อ alignment โมเดลจะเรียนรู้ที่จะจดจำ prompt ที่ควรปฏิเสธ และบังคับเอาต์พุตไปสู่การปฏิเสธ — ประโยคคุ้นหูอย่าง “ฉันช่วยเรื่องนั้นไม่ได้” งานวิจัยแสดงให้เห็นว่าการบังคับทิศทางนี้ถูกควบคุมผ่านทิศทางหลักเพียงทิศทางเดียวใน activation space: เพิ่มทิศทางนี้เข้าไป แทบทุก prompt จะถูกปฏิเสธ ลบออก การปฏิเสธก็แทบหายไป
Abliteration เปลี่ยนอะไรจริงๆ
Abliteration ระบุทิศทางการปฏิเสธ — โดยเปรียบเทียบ activation ของโมเดลระหว่าง prompt ที่เป็นอันตรายกับ prompt ที่ไม่เป็นอันตราย — จากนั้นทำ orthogonalization ให้น้ำหนักตั้งฉากกับทิศทางนั้น เพื่อให้โมเดลไม่สามารถแทนทิศทางนั้นได้อีก ไม่ต้องเทรนใหม่และไม่ต้องใช้ข้อมูลใหม่: เป็นการแก้ไขน้ำหนักที่มีอยู่แล้วอย่างตรงจุดและแม่นยำเหมือนการผ่าตัด
Abliteration ตัดพฤติกรรมออก ไม่ได้ตัดความรู้ โมเดลยังคงทุกอย่างที่เรียนรู้มา — เพียงแค่เลิกเบี่ยงคำตอบไปเป็นการปฏิเสธ
Abliteration เทียบกับ fine-tuning
Fine-tuning สอนพฤติกรรมใหม่ด้วยข้อมูลเทรนและพลังประมวลผลเพิ่มเติม Abliteration ตัดพฤติกรรมหนึ่งออกด้วยการแก้ไขน้ำหนักโดยตรง — ถูกกว่า เร็วกว่า และคาดเดาได้มากกว่า แต่ขอบเขตแคบกว่ามาก ทั้งสองวิธีเสริมกัน: คุณ fine-tune เพื่อเพิ่มความสามารถ และ abliterate เพื่อตัดข้อจำกัดเฉพาะอย่างออก
สิ่งที่มันไม่ได้ทำ
- ไม่ได้เพิ่มความรู้ ทักษะ หรือความแม่นยำใหม่
- ไม่ได้ทำให้โมเดลปลอดภัยขึ้น — และโดยตัวมันเองก็ไม่ได้ทำให้อันตรายขึ้น
- ไม่ได้ลบความรับผิดชอบของคุณต่อวิธีที่คุณนำเอาต์พุตไปใช้
โมเดล abliterated บน Ablitron
Ablitron ให้บริการโมเดล abliterated สองตัวผ่าน API ที่เข้ากันได้กับ OpenAI: Core สำหรับงานสั้นที่ต้องการความเร็ว และ Pro สำหรับการให้เหตุผลเชิงลึกและบริบทยาว ทั้งสองยังคงความสามารถเต็มที่โดยตัดการปฏิเสธออกแล้ว เอเจนต์เขียนโค้ดและแอปพลิเคชันจึงได้คำตอบตรงๆ แทนคำเทศนา