AI Gateway¶

Внедрение ИИ в производство сталкивается с серьезными проблемами: чрезмерные затраты из-за неправильно настроенных агентов, проблемы с надежностью из-за сбоев в работе провайдера и риски безопасности, связанные с неконтролируемыми потоками данных во внешние модели.

NEOMSA AI Gateway обеспечивает управление инфраструктурой искусственного интеллекта корпоративного уровня в рамках платформы NEOMSA APIM .

Выступая в роли посредника между приложениями и сервисами искусственного интеллекта, он обеспечивает:

Контроль затрат: продуманная маршрутизация, квоты и лимиты расходов предотвращают неконтролируемый рост затрат.
Независимость от провайдера: поддержка нескольких провайдеров с бесперебойным переключением и резервированием.
Корпоративная безопасность: централизованное маскирование данных, журналы аудита и средства контроля соответствия требованиям.
Надежная работа: интеллектуальное кэширование, балансировка нагрузки и механизмы автоматического повтора попыток.
Полная наблюдаемость: унифицированный мониторинг использования, задержек и ошибок у разных провайдеров.
Централизованное управление: доступ на основе ролей, фильтрация контента и обеспечение соблюдения политик.

AI Gateway работает в двух взаимодополняющих режимах:

LLM Gateway: прямое взаимодействие с моделями ИИ и управление несколькими поставщиками.
MCP Gateway: преобразование существующих API в инструменты, позволяющие агентам находить решения с помощью ИИ.

Разделы главы¶

Обзор — архитектура LLM Gateway и MCP Gateway.
LLM Gateway — AI API, безопасность бэкенда, ограничения, многомодельная маршрутизация, провайдеры, guardrails и семантический кэш.
MCP Gateway — создание MCP-серверов, инструменты, развертывание, подписка и MCP Playground.