เชื่อมต่อไคลเอนต์ chat-completions แบบข้อความเข้ากับ Ablitron ลงทะเบียนในคอนโซลและเติมเงินเข้ายอดคงเหลือเพื่อใช้ gateway
โมเดล
ablitron-pro (บริบท 1M โทเคน พัฒนาจาก GLM-5.3 ที่ผ่านการดัดแปลง) และ ablitron-core (บริบท 256K โทเคน ราคาครึ่งเดียว) เป็นโมเดลแบบ abliterated ชื่อเหล่านี้เป็นชื่อบริการ ไม่ได้อ้างว่า Ablitron เป็นผู้เทรนโมเดลต้นทาง คุณภาพการเขียนโค้ดยังรอการทำ benchmark
1. สร้าง API key
เปิดคอนโซล ลงทะเบียนและยืนยันอีเมล สร้าง key คัดลอกครั้งเดียว แล้วเก็บไว้ใน environment ของเซิร์ฟเวอร์ คุณเพิกถอน key ได้จากหน้าเดียวกัน เติมเครดิตล่วงหน้าหรือเลือกแพ็กเกจรายเดือน
2. ส่งคำขอ
Base URL สำหรับ production: https://ablitron.com/v1 สำหรับการพัฒนาในเครื่อง ใช้ http://localhost:4174/v1 เก็บ key ไว้ใน ABLITRON_API_KEY
curl https://ablitron.com/v1/chat/completions \
-H "Authorization: Bearer $ABLITRON_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"ablitron-core","messages":[{"role":"user","content":"Write a Python binary search."}],"max_tokens":2048}'
3. สตรีมหรือเรียกใช้ tool
เพิ่ม "stream": true เพื่อรับ server-sent events ที่มีชิ้นส่วนของ completion, usage สุดท้าย และตัวปิดท้าย [DONE] การกำหนดฟังก์ชันใช้อาร์เรย์ tools ส่งผลลัพธ์ของ tool กลับมาในข้อความที่มี role เป็น tool พร้อม tool_call_id ที่ตรงกัน ไคลเอนต์เป็นผู้รัน tool เอง Ablitron ไม่รันโค้ดของคุณ
ขีดจำกัดอินพุตและเอาต์พุต
ช่วงพรีวิวรองรับเฉพาะข้อความตัวอักษร สูงสุด 10,000 ข้อความ และ 64 tool ขีดจำกัดเอาต์พุตอยู่ที่ 1–16,384 โทเคน ค่าเริ่มต้น 2,048 ใช้ max_tokens หรือ max_completion_tokens อย่างใดอย่างหนึ่ง ไม่ใช่ทั้งสองอย่าง ไม่มีเพดานโทเคนเพิ่มเติมสำหรับอินพุตในช่วงพรีวิว ผู้ให้บริการจะบังคับใช้ context window ของโมเดลที่เลือก body ของคำขอ HTTP จำกัดที่ 16 MB และต้องมีแพ็กเกจที่ยังเหลือโควตา หรือเครดิตแบบเติมเงินเพียงพอสำหรับการกันวงเงินของคำขอ รองรับเพียงหนึ่ง completion ต่อคำขอ
แพ็กเกจ เครดิต และการเรียกเก็บเงิน
เมื่อมีแพ็กเกจ แต่ละคำขอจะถูกนับรวมในขีดจำกัด 5 ชั่วโมง รายสัปดาห์ และรายเดือนของแพ็กเกจ โดยวัดตามอัตราค่าโทเคน เมื่อถึงขีดจำกัด หรือหากไม่มีแพ็กเกจ คำขอจะใช้เครดิตแบบเติมเงิน: ระบบจะกันเครดิตไว้ก่อนทำ inference โดยประเมินขนาดอินพุตแบบเผื่อไว้และใช้เอาต์พุตสูงสุดที่ขอ แล้วคิดค่าบริการจริงตามการใช้โทเคนที่รายงานกลับมา อินพุตที่แคชไว้เป็นส่วนหนึ่งของอินพุต และคิดในอัตราที่ต่ำกว่า โทเคน reasoning รวมอยู่ในเอาต์พุตแล้วและไม่ถูกคิดเงินซ้ำ
ข้อผิดพลาดและการลองใหม่
- 400
- คำขอไม่ถูกต้องหรือไม่รองรับ ตรวจสอบข้อความและขีดจำกัดเอาต์พุต
- 401
- ไม่มี key, key ถูกเพิกถอน หรือ key ไม่ได้ใช้งานอยู่
- 403
account_suspended: บัญชีเจ้าของ key นี้ถูกระงับ ติดต่อฝ่ายช่วยเหลือ- 402
- เครดิตที่ใช้ได้ไม่พอสำหรับการกันวงเงิน เติมเครดิตหรือลดขีดจำกัดเอาต์พุต
- 429
- Rate limit (ค่าเริ่มต้น 120 คำขอต่อนาทีต่อเครือข่ายและต่อ key หรือ
key_rate_limitของ key นั้นเอง), มีคำขอกำลังทำงานอยู่แล้วสี่รายการ,key_usage_limit: key ใช้ถึงขีดจำกัดรายวันหรือรายเดือนที่ตั้งไว้ใน Settings → API keys หรือusage_limit: แพ็กเกจของคุณถึงขีดจำกัดแล้วและไม่มีเครดิตแบบเติมเงินerror.resets_at(เวลา Unix) และ headerRetry-Afterบอกว่าจะรีเซ็ตเมื่อไร - 502
- ยืนยันคำตอบของโมเดลหรือการใช้งานไม่ได้ ตรวจสอบคอนโซลก่อนลองใหม่
- 503
- ยังไม่ได้เปิดใช้ inference หรือบริการอื่นที่จำเป็น
เก็บ header X-Request-ID ของ response ไว้เมื่อแจ้งปัญหา ระบบจะไม่ลอง inference ใหม่โดยอัตโนมัติ หากยืนยันการใช้งานไม่ได้หลังการเชื่อมต่อหลุดหรือเซิร์ฟเวอร์ผิดพลาด วงเงินที่กันไว้จะอยู่ในสถานะรอดำเนินการ 15 นาที จากนั้นจะคิดเงินตามค่าประมาณแบบเผื่อไว้ของข้อความที่คุณได้รับ หรือคืนให้โดยไม่คิดเงินหากยังไม่มีอะไรส่งถึงคุณ คำขอที่ไม่ใช้ streaming จะสิ้นสุดหลังประมาณ 170 วินาทีด้วย 504 request_timeout และยังคิดค่า prompt ตามค่าประมาณ ดังนั้นควรใช้ streaming สำหรับคำตอบยาวๆ การลองใหม่ถือเป็นคำขอใหม่และอาจมีค่าใช้งานเพิ่มเติม
ข้อมูลที่ gateway จัดการ
คำขอจะถูกส่งต่อไปยังผู้ให้บริการ inference บันทึกการใช้งานในระบบเก็บ request ID, เวลา, alias ของโมเดล, จำนวนโทเคน และค่าบริการ โดยไม่เก็บข้อความใน prompt หรือเอาต์พุต API key ของลูกค้าจัดเก็บเป็นค่าแฮช คุณต้องตรวจสอบการจัดการข้อมูลฝั่งผู้ให้บริการและข้อกำหนดการให้บริการที่เกี่ยวข้องให้เหมาะกับกรณีใช้งานของคุณ เราไม่ได้อ้างว่าไม่มีการเก็บข้อมูลตลอดทั้งเส้นทาง (zero-retention แบบ end-to-end)