Higress

Active

ট্যাগলাইন:এজেন্ট ডেভেলপমেন্ট এবং LLM API ব্যবস্থাপনার জন্য প্রোডাকশন-স্তরের ওপেন-সোর্স AI গেটওয়ে

আপডেট করা হয়েছে:৬ সেপ্টেম্বর, ২০২৬

Domain Rating:

সোশ্যাল মিডিয়া:-

এআই এপিআই ইন্টারফেস এআই ডেভেলপার টুলস AI এজেন্ট ওপেন সোর্স API উপলব্ধ সেলফ-হোস্টেড ডেভেলপারদের জন্য এন্টারপ্রাইজের জন্য ক্লাউড-ভিত্তিক বহুভাষিক AI এজেন্টের জন্য প্রস্তুত

ওয়েবসাইট খুলুন

ওয়েবসাইট পরিদর্শন করুন

কী Higress?

Higress হলো Istio এবং Envoy ভিত্তিক ক্লাউড-নেটিভ API এবং AI গেটওয়ে, যা Go, Rust এবং JS-এ লেখা Wasm প্লাগইন দ্বারা সম্প্রসারিত করা যায়। এটি মডেল API, MCP টুল কল এবং Kubernetes ইনফারেন্স ওয়ার্কলোডের একীভূত শাসন প্রদান করে এবং ১০০+ প্রধান LLM মডেলকে একীভূত প্রোটোকল রূপান্তর, লোড ব্যালেন্সিং এবং ফলব্যাক সহ সমর্থন করে। CNCF স্যান্ডবক্স প্রকল্প, অ্যালিবাবায় উৎপন্ন।

কীভাবে ব্যবহার করবেন Higress?

Docker-এর মাধ্যমে স্থানীয়ভাবে AI গেটওয়ে স্থাপন করতে `curl -sS https://higress.cn/ai-gateway/install.sh | bash` চালান। মডেল সরবরাহকারী, API কী, AI রুট এবং নীতি কনফিগার করতে http://localhost:8001/ এ কনসোল অ্যাক্সেস করুন। Kubernetes স্থাপনার জন্য Helm ব্যবহার করুন: `helm install higress -n higress-system higress.io/higress --create-namespace`。

Higress মূল বৈশিষ্ট্যসমূহ

একীভূত মাল্টি-মডেল অ্যাক্সেস

OpenAI-সামঞ্জস্য API এবং প্রধান LLM পরিষেবার জন্য একীভূত গেটওয়ে এন্ট্রি পয়েন্ট প্রদান করে, সরবরাহকারীদের মধ্যে প্রমাণীকরণ এবং ইন্টারফেস পার্থক্য গোপন করে। নির্ভরযোগ্যতার জন্য মডেল লোড ব্যালেন্সিং এবং ফলব্যাক সমর্থন করে।

একীভূত MCP ব্যবস্থাপনা

HTTP-থেকে-MCP প্রোটোকল রূপান্তর এবং নেটিভ MCP পরিষেবা প্রক্সি সমর্থন করে, বিক্ষিপ্ত টুল সক্ষমতাকে একীভূত এন্ট্রি পয়েন্টে সমন্বিত করে ইন্টিগ্রেশন এবং রক্ষণাবেক্ষণ খরচ কমায়।

Token ট্রাফিক ব্যবস্থাপনা

ঐতিহ্যবাহী QPS রেট লিমিটিংয়ের অতিরিক্তে, Token খরচ কোটা ব্যবস্থাপনা এবং রেট লিমিটিং প্রদান করে, API কী পুল রোটেশন এবং ভোক্তা প্রমাণীকরণের সাথে মডেল ওভারলোড প্রতিরোধ করে।

শব্দার্থগত ক্যাশিং

ইনফারেন্স ফলাফলের নির্ভুল এবং শব্দার্থগত ক্যাশিং সমর্থন করে, অনুরূপ বা পুনরাবৃত্ত প্রশ্নের জন্য টোকেন সাশ্রয় এবং বিলম্ব হ্রাস করে।

ক্লাউড-নেটিভ API গেটওয়ে

ট্রাফিক, মাইক্রোসার্ভিস এবং নিরাপত্তা গেটওয়েকে একত্রে সম্প্রসারণ করে। mTLS পারস্পরিক প্রমাণীকরণ, WAF ইন্টিগ্রেশন, কাস্টম নিরাপত্তা প্লাগইন এবং কম খরচে মাইগ্রেশনের জন্য Nginx Ingress অ্যানোটেশন সামঞ্জস্য সমর্থন করে।

প্লাগইন সম্প্রসারণযোগ্যতা

হট-সোয়াপ প্লাগইন ইকোসিস্টেমের মাধ্যমে দ্রুত RAG, ভেক্টর ডেটাবেস, লগিং, অবজারভেবিলিটি এবং ক্যাশিং একীভূত করে। Go, Rust এবং JS-এ কাস্টম Wasm প্লাগইন ডেভেলপমেন্ট সমর্থন করে।

Higress ব্যবহারের ক্ষেত্র

সরবরাহকারীদের মধ্যে একীভূত LLM API অ্যাক্সেসের জন্য মাল্টি-মডেল প্রক্সি

AI ইন্টারঅ্যাকশনের জন্য ডেটা গোপনীয়তা এবং কন্টেন্ট ফিল্টারিং সহ অ্যাপ্লিকেশন সুরক্ষা

AI এজেন্ট কর্তৃক বাহ্যিক টুল এবং পরিষেবা কল করার জন্য MCP সার্ভার হোস্টিং

AI অ্যাপ্লিকেশন ভোক্তাদের জন্য টোকেন ব্যবস্থাপনা এবং কোটা নিয়ন্ত্রণ

Higress প্রায়শই জিজ্ঞাসিত প্রশ্ন

Higress কি প্রোডাকশন সিস্টেমের জন্য উপযুক্ত?

হ্যাঁ, v1.0.0 এবং তদূর্ধ্ব ব্যবহার করা অনুমোদিত। ভার্সন পরিকল্পনা এবং ফিচার স্থিতিশীলতার জন্য প্রকল্প রোডম্যাপ দেখুন।

Higress এবং Envoy Gateway-এর মধ্যে পার্থক্য কী?

Higress Envoy-এর উপর নির্মিত এবং Envoy Gateway-এর মতো Gateway API মানদণ্ড অনুসরণ করে, কিন্তু অতিরিক্তভাবে WAF সুরক্ষা, প্রমাণীকরণ প্লাগইন, মাল্টি-রেজিস্ট্রি সমর্থন, প্রোটোকল রূপান্তর (HTTP-থেকে-Dubbo) এবং WASM/Lua কাস্টম প্লাগইন সমর্থন প্রদান করে।