ข้ามไปยังเนื้อหา

Abliteration คืออะไร

Abliteration คือเทคนิคที่กำจัดแนวโน้มการปฏิเสธของโมเดล โดยแก้ไขน้ำหนักของโมเดลโดยตรง ทำให้โมเดลตอบคำขอที่ปกติจะปฏิเสธ — ขณะที่ยังคงความรู้ การให้เหตุผล และความสามารถในการเขียนโค้ดไว้ครบถ้วน

ฉบับย่อ

โมเดลภาษาขนาดใหญ่ถูกเทรนให้ปฏิเสธคำขอบางประเภท พฤติกรรมนี้ไม่ได้กระจายอยู่แบบสุ่มทั่วทั้งเครือข่าย — แต่รวมตัวอยู่ตามทิศทางหนึ่งที่เฉพาะเจาะจงใน activation ภายในของโมเดล ซึ่งมักเรียกว่า “ทิศทางการปฏิเสธ” (refusal direction) Abliteration จะค้นหาทิศทางนั้นแล้วตัดความสามารถของโมเดลที่จะทำตามทิศทางนั้นออก

การปฏิเสธมาจากไหน

ระหว่างการเทรนเพื่อ alignment โมเดลจะเรียนรู้ที่จะจดจำ prompt ที่ควรปฏิเสธ และบังคับเอาต์พุตไปสู่การปฏิเสธ — ประโยคคุ้นหูอย่าง “ฉันช่วยเรื่องนั้นไม่ได้” งานวิจัยแสดงให้เห็นว่าการบังคับทิศทางนี้ถูกควบคุมผ่านทิศทางหลักเพียงทิศทางเดียวใน activation space: เพิ่มทิศทางนี้เข้าไป แทบทุก prompt จะถูกปฏิเสธ ลบออก การปฏิเสธก็แทบหายไป

Abliteration เปลี่ยนอะไรจริงๆ

Abliteration ระบุทิศทางการปฏิเสธ — โดยเปรียบเทียบ activation ของโมเดลระหว่าง prompt ที่เป็นอันตรายกับ prompt ที่ไม่เป็นอันตราย — จากนั้นทำ orthogonalization ให้น้ำหนักตั้งฉากกับทิศทางนั้น เพื่อให้โมเดลไม่สามารถแทนทิศทางนั้นได้อีก ไม่ต้องเทรนใหม่และไม่ต้องใช้ข้อมูลใหม่: เป็นการแก้ไขน้ำหนักที่มีอยู่แล้วอย่างตรงจุดและแม่นยำเหมือนการผ่าตัด

ประเด็นสำคัญ

Abliteration ตัดพฤติกรรมออก ไม่ได้ตัดความรู้ โมเดลยังคงทุกอย่างที่เรียนรู้มา — เพียงแค่เลิกเบี่ยงคำตอบไปเป็นการปฏิเสธ

Abliteration เทียบกับ fine-tuning

Fine-tuning สอนพฤติกรรมใหม่ด้วยข้อมูลเทรนและพลังประมวลผลเพิ่มเติม Abliteration ตัดพฤติกรรมหนึ่งออกด้วยการแก้ไขน้ำหนักโดยตรง — ถูกกว่า เร็วกว่า และคาดเดาได้มากกว่า แต่ขอบเขตแคบกว่ามาก ทั้งสองวิธีเสริมกัน: คุณ fine-tune เพื่อเพิ่มความสามารถ และ abliterate เพื่อตัดข้อจำกัดเฉพาะอย่างออก

สิ่งที่มันไม่ได้ทำ

  • ไม่ได้เพิ่มความรู้ ทักษะ หรือความแม่นยำใหม่
  • ไม่ได้ทำให้โมเดลปลอดภัยขึ้น — และโดยตัวมันเองก็ไม่ได้ทำให้อันตรายขึ้น
  • ไม่ได้ลบความรับผิดชอบของคุณต่อวิธีที่คุณนำเอาต์พุตไปใช้

โมเดล abliterated บน Ablitron

Ablitron ให้บริการโมเดล abliterated สองตัวผ่าน API ที่เข้ากันได้กับ OpenAI: Core สำหรับงานสั้นที่ต้องการความเร็ว และ Pro สำหรับการให้เหตุผลเชิงลึกและบริบทยาว ทั้งสองยังคงความสามารถเต็มที่โดยตัดการปฏิเสธออกแล้ว เอเจนต์เขียนโค้ดและแอปพลิเคชันจึงได้คำตอบตรงๆ แทนคำเทศนา

ถามอะไรก็ได้
แล้วได้คำตอบ

เริ่มแชตได้ในไม่กี่วินาที ไม่ต้องใช้บัตร