Higress

Active

Khẩu hiệu (Tagline):AI gateway mã nguồn mở cấp độ production cho phát triển agent và quản lý LLM API

Đã cập nhật:6 tháng 9, 2026

Domain Rating:

Mạng Xã hội:-

Giao diện API AI Công cụ phát triển AI Tác nhân AI Mã nguồn mở API có sẵn Tự lưu trữ Dành cho nhà phát triển Dành cho doanh nghiệp Dựa trên đám mây Đa ngôn ngữ Sẵn sàng cho tác nhân AI

Mở Website

Truy cập Website

là gì Higress?

Higress là API và AI gateway cloud-native dựa trên Istio và Envoy, mở rộng qua plugin Wasm viết bằng Go, Rust và JS. Thống nhất quản trị API mô hình, lệnh gọi công cụ MCP và khối lượng công việc suy luận Kubernetes, hỗ trợ 100+ mô hình LLM phổ biến với chuyển đổi giao thức thống nhất, cân bằng tải và fallback. Dự án Sandbox CNCF, khởi nguồn từ Alibaba.

Cách sử dụng Higress?

Chạy `curl -sS https://higress.cn/ai-gateway/install.sh | bash` để triển khai AI gateway cục bộ qua Docker. Truy cập bảng điều khiển tại http://localhost:8001/ để cấu hình nhà cung cấp mô hình, khóa API, tuyến AI và chính sách. Triển khai Kubernetes sử dụng Helm: `helm install higress -n higress-system higress.io/higress --create-namespace`。

Higress Tính năng Cốt lõi

Truy cập đa mô hình thống nhất

Cung cấp lối vào gateway thống nhất cho API tương thích OpenAI và dịch vụ LLM phổ biến, che giấu khác biệt xác thực và giao diện giữa nhà cung cấp. Hỗ trợ cân bằng tải và fallback mô hình để đảm bảo độ tin cậy.

Quản lý MCP thống nhất

Hỗ trợ chuyển đổi giao thức HTTP-sang-MCP và proxy dịch vụ MCP gốc, gộp năng lực công cụ phân tán thành lối vào thống nhất để giảm chi phí tích hợp và bảo trì.

Quản lý lưu lượng Token

Ngoài giới hạn tốc độ QPS truyền thống, cung cấp quản lý hạn ngạch tiêu thụ Token và giới hạn tốc độ, kết hợp xoay vòng pool khóa API và xác thực người tiêu dùng để ngăn quá tải mô hình.

Bộ nhớ đệm ngữ nghĩa

Hỗ trợ bộ nhớ đệm chính xác và ngữ nghĩa cho kết quả suy luận, tiết kiệm token và giảm độ trễ cho truy vấn tương tự hoặc lặp lại.

API gateway cloud-native

Kết hợp gateway lưu lượng, microservice và bảo mật trong một. Hỗ trợ xác thực lẫn nhau mTLS, tích hợp WAF, plugin bảo mật tùy chỉnh và tương thích chú thích Nginx Ingress để di chuyển chi phí thấp.

Khả năng mở rộng plugin

Tích hợp nhanh RAG, cơ sở dữ liệu vector, ghi nhật ký, quan sát và bộ nhớ đệm qua hệ sinh thái plugin hot-swap. Hỗ trợ phát triển plugin Wasm tùy chỉnh bằng Go, Rust và JS.

Higress Ca Sử dụng

Proxy đa mô hình cho truy cập API LLM thống nhất giữa các nhà cung cấp

Bảo vệ ứng dụng với quyền riêng tư dữ liệu và lọc nội dung cho tương tác AI

Hosting máy chủ MCP để AI agent gọi công cụ và dịch vụ bên ngoài

Quản lý token và kiểm soát hạn ngạch cho người tiêu dùng ứng dụng AI

Higress Câu hỏi thường gặp

Higress có phù hợp cho hệ thống production không?

Có, khuyến nghị sử dụng v1.0.0 trở lên. Tham khảo roadmap dự án để biết kế hoạch phiên bản và độ ổn định tính năng.

Khác biệt giữa Higress và Envoy Gateway là gì?

Higress được xây dựng trên Envoy và tuân theo tiêu chuẩn Gateway API như Envoy Gateway, nhưng bổ sung bảo vệ WAF, plugin xác thực, hỗ trợ đa đăng ký, chuyển đổi giao thức (HTTP-sang-Dubbo) và hỗ trợ plugin tùy chỉnh WASM/Lua.