Higress

Active

شعار کوتاه:دروازه AI متن‌باز با سطح تولید برای توسعه عامل و مدیریت LLM API

به‌روزرسانی شده:۱۵ شهریور ۱۴۰۵

Domain Rating:

شبکه‌های اجتماعی:-

رابط API هوش مصنوعی ابزارهای توسعه‌دهنده هوش مصنوعی عامل هوش مصنوعی متن‌باز API در دسترس خودمیزبان برای توسعه‌دهندگان برای سازمان‌ها مبتنی بر ابر چندزبانه آماده برای ایجنت AI

باز کردن وب‌سایت

مشاهده وب‌سایت

چیست Higress?

Higress یک دروازه API و AI ابری-بومی مبتنی بر Istio و Envoy است که با افزونه‌های Wasm به زبان‌های Go، Rust و JS قابل گسترش است. مدیریت یکپارچه API مدل‌ها، فراخوانی ابزارهای MCP و بارهای کاری استنتاج Kubernetes را فراهم می‌کند و از 100+ مدل LLM اصلی با تبدیل پروتکل یکپارچه، توازن بار و فالبک پشتیبانی می‌کند. پروژه CNCF Sandbox، متولد شده در Alibaba.

نحوه استفاده Higress?

دستور `curl -sS https://higress.cn/ai-gateway/install.sh | bash` را برای استقرار محلی دروازه AI از طریق Docker اجرا کنید. به کنسول در http://localhost:8001/ دسترسی پیدا کنید تا ارائه‌دهندگان مدل، کلیدهای API، مسیرهای AI و سیاست‌ها را پیکربندی کنید. برای استقرار Kubernetes از Helm استفاده کنید: `helm install higress -n higress-system higress.io/higress --create-namespace`。

Higress ویژگی‌های اصلی

دسترسی یکپارچه چندمدلی

نقطه ورود دروازه یکپارچه برای API‌های سازگار با OpenAI و سرویس‌های LLM اصلی فراهم می‌کند و تفاوت‌های احراز هویت و رابط بین ارائه‌دهندگان را پنهان می‌سازد. از توازن بار و فالبک مدل برای قابلیت اطمینان پشتیبانی می‌کند.

مدیریت یکپارچه MCP

از تبدیل پروتکل HTTP به MCP و پروکسی سرویس‌های MCP بومی پشتیبانی می‌کند و توانمندی‌های ابزار پراکنده را در یک نقطه ورود یکپارچه تجمیع می‌کند تا هزینه‌های یکپارچه‌سازی و نگهداری کاهش یابد.

مدیریت ترافیک Token

علاوه بر محدودیت نرخ QPS سنتی، مدیریت سهمیه مصرف Token و محدودیت نرخ را با چرخش استخر کلید API و احراز هویت مصرف‌کننده برای جلوگیری از اضافه‌بار مدل ارائه می‌دهد.

حافظه پنهان معنایی

از حافظه پنهان دقیق و معنایی نتایج استنتاج پشتیبانی می‌کند و توکن‌ها را ذخیره کرده و تأخیر را برای پرس‌وجوهای مشابه یا تکراری کاهش می‌دهد.

دروازه API ابری-بومی

دروازه‌های ترافیک، میکروسرویس و امنیت را در یک مجموعه ادغام می‌کند. از احراز هویت متقابل mTLS، یکپارچه‌سازی WAF، افزونه‌های امنیتی سفارشی و سازگاری حاشیه‌نویسی Nginx Ingress برای مهاجرت کم‌هزینه پشتیبانی می‌کند.

قابلیت گسترش افزونه

به سرعت RAG، پایگاه‌های داده برداری، ثبت رویداد، قابلیت مشاهده و حافظه پنهان را از طریق اکوسیستم افزونه‌های تعویض سریع ادغام می‌کند. از توسعه افزونه‌های Wasm سفارشی به زبان‌های Go، Rust و JS پشتیبانی می‌کند.

Higress موارد استفاده

پروکسی چندمدلی برای دسترسی یکپارچه به LLM API بین ارائه‌دهندگان

محافظت از برنامه با حریم خصوصی داده و فیلتر کردن محتوا برای تعاملات AI

میزبانی سرورهای MCP برای عامل‌های AI جهت فراخوانی ابزارها و سرویس‌های خارجی

مدیریت توکن و کنترل سهمیه برای مصرف‌کنندگان برنامه‌های AI

Higress سوالات متداول

آیا Higress برای سیستم‌های تولیدی مناسب است؟

بله، استفاده از نسخه v1.0.0 و بالاتر توصیه می‌شود. برای برنامه‌ریزی نسخه و پایداری ویژگی‌ها به نقشه راه پروژه مراجعه کنید.

تفاوت Higress و Envoy Gateway چیست؟

Higress بر روی Envoy ساخته شده و مانند Envoy Gateway از استاندارد Gateway API پیروی می‌کند، اما علاوه بر آن محافظت WAF، افزونه‌های احراز هویت، پشتیبانی چندرجیستری، تبدیل پروتکل (HTTP به Dubbo) و پشتیبانی افزونه‌های سفارشی WASM/Lua را ارائه می‌دهد.