Higress

Active

สโลแกน:เกตเวย์ AI โอเพนซอร์สระดับการผลิตสำหรับการพัฒนาเอเจนต์และการจัดการ LLM API

อัปเดตแล้ว:6 กันยายน 2569

Domain Rating:

โซเชียลมีเดีย:-

อินเทอร์เฟซ API ของ AI เครื่องมือสำหรับนักพัฒนา AI เอเจนต์ AI โอเพนซอร์ส API พร้อมใช้งาน เซลฟ์โฮสต์สำหรับนักพัฒนา สำหรับองค์กร บนคลาวด์หลายภาษา พร้อมสำหรับ AI Agent

เปิดเว็บไซต์

เยี่ยมชมเว็บไซต์

อะไรคือ Higress?

Higress คือเกตเวย์ API และ AI แบบคลาวด์เนทีฟบน Istio และ Envoy ขยายได้ด้วยปลั๊กอิน Wasm ที่เขียนด้วย Go, Rust และ JS รวมการกำกับดูแล API ของโมเดล การเรียกเครื่องมือ MCP และเวิร์กโหลดการอนุมาน Kubernetes เข้าด้วยกัน รองรับโมเดล LLM หลักกว่า 100 โมเดลด้วยการแปลงโปรโตคอลแบบรวม การกระจายโหลด และการสำรอง โครงการ CNCF Sandbox กำเนิดจาก Alibaba

วิธีใช้ Higress?

รัน `curl -sS https://higress.cn/ai-gateway/install.sh | bash` เพื่อปรับใช้เกตเวย์ AI ในเครื่องผ่าน Docker เข้าถึงคอนโซลที่ http://localhost:8001/ เพื่อกำหนดค่าผู้ให้บริการโมเดล คีย์ API เส้นทาง AI และนโยบาย สำหรับการปรับใช้ Kubernetes ใช้ Helm: `helm install higress -n higress-system higress.io/higress --create-namespace`。

Higress คุณลักษณะเด่น

การเข้าถึงหลายโมเดลแบบรวม

ให้จุดเข้าเกตเวย์รวมสำหรับ API ที่รองรับ OpenAI และบริการ LLM หลัก ปกปิดความแตกต่างของการยืนยันตัวตนและอินเทอร์เฟซระหว่างผู้ให้บริการ รองรับการกระจายโหลดและการสำรองโมเดลเพื่อความน่าเชื่อถือ

การจัดการ MCP แบบรวม

รองรับการแปลงโปรโตคอล HTTP เป็น MCP และพร็อกซีบริการ MCP ดั้งเดิม รวมความสามารถของเครื่องมือที่กระจัดกระจายเข้าเป็นจุดเข้าเดียวเพื่อลดต้นทุนการเชื่อมต่อและการบำรุงรักษา

การจัดการปริมาณการจราจร Token

นอกเหนือจากการจำกัดอัตรา QPS แบบดั้งเดิม ยังให้การจัดการโควต้าการใช้ Token และการจำกัดอัตรา ร่วมกับการหมุนเวียนพูลคีย์ API และการยืนยันตัวตนผู้บริโภคเพื่อป้องกันโมเดลทำงานเกินขีดจำกัด

แคชเชิงความหมาย

รองรับแคชที่แม่นยำและเชิงความหมายสำหรับผลลัพธ์การอนุมาน ประหยัดโทเค็นและลดความหน่วงสำหรับคำค้นที่คล้ายหรือซ้ำกัน

เกตเวย์ API แบบคลาวด์เนทีฟ

รวมเกตเวย์การจราจร ไมโครเซอร์วิส และความปลอดภัยไว้ในหนึ่งเดียว รองรับการยืนยันตัวตนแบบทวิภาคี mTLS การผสานรวม WAF ปลั๊กอินความปลอดภัยแบบกำหนดเอง และความเข้ากันได้ของคำอธิบาย Nginx Ingress เพื่อการย้ายด้วยต้นทุนต่ำ

ความสามารถในการขยายปลั๊กอิน

ผสานรวม RAG ฐานข้อมูลเวกเตอร์ การบันทึกประวัติ ความสามารถในการสังเกต และแคชอย่างรวดเร็วผ่านระบบนิเวศปลั๊กอินแบบสลับร้อน รองรับการพัฒนาปลั๊กอิน Wasm แบบกำหนดเองด้วย Go, Rust และ JS

Higress สถานการณ์การใช้งาน

พร็อกซีหลายโมเดลสำหรับการเข้าถึง LLM API แบบรวมระหว่างผู้ให้บริการ

การปกป้องแอปพลิเคชันด้วยความเป็นส่วนตัวของข้อมูลและการกรองเนื้อหาสำหรับการโต้ตอบ AI

การโฮสต์เซิร์ฟเวอร์ MCP สำหรับเอเจนต์ AI เรียกใช้เครื่องมือและบริการภายนอก

การจัดการโทเค็นและการควบคุมโควต้าสำหรับผู้บริโภคแอปพลิเคชัน AI

Higress คำถามที่พบบ่อย

Higress เหมาะสำหรับระบบการผลิตหรือไม่?

ใช่ แนะนำให้ใช้เวอร์ชัน v1.0.0 ขึ้นไป ดูแผนงานโครงการสำหรับการวางแผนเวอร์ชันและความเสถียรของฟีเจอร์

ความแตกต่างระหว่าง Higress และ Envoy Gateway คืออะไร?

Higress สร้างบน Envoy และเป็นไปตามมาตรฐาน Gateway API เช่นเดียวกับ Envoy Gateway แต่เพิ่มการป้องกัน WAF ปลั๊กอินการยืนยันตัวตน การรองรับหลายรีจิสตรี การแปลงโปรโตคอล (HTTP เป็น Dubbo) และการรองรับปลั๊กอิน WASM/Lua แบบกำหนดเอง