Обзор¶

LLM Gateway¶

Специализируется на управлении взаимодействиями с большими языковыми моделями (LLM) для традиционных шаблонов API искусственного интеллекта.

Он обеспечивает прямую интеграцию с основными поставщиками услуг ИИ, позволяя организациям создавать приложения на основе разговорного ИИ, системы генерации контента и сервисы на базе ИИ.

LLM Gateway используется:

Для прямого взаимодействия моделей ИИ (чат, автодополнение, эмбеддинги);
Для управление услугами на основе искусственного интеллекта с участием нескольких поставщиков;
Для приложений разговорного искусственного интеллекта с промпт-инжинирингом;
Для оптимизации затрат на услуги ИИ и настройки производительности.

Функциональность LLM Gateway

1. Основные операции с LLM

Позволяет создавать API для ИИ: создавайте API для ИИ, выбирая поставщика услуг ИИ и версию.
Управляет поставщиками ИИ-услуг: управление встроенными поставщиками (OpenAI, Azure OpenAI, AWS Bedrock, Anthropic, Google Gemini, Mistral AI, Azure AI Foundry) и интеграция пользовательских сервисов ИИ.

2. Управление трафиком и производительность

Многомодельная маршрутизация: динамическая маршрутизация запросов между несколькими моделями в рамках одного поставщика услуг для оптимизации производительности.
Балансировка нагрузки: распределение запросов между несколькими моделями ИИ или поставщиками для оптимальной производительности.
Отказоустойчивость: автоматическая переадресация запросов резервным поставщикам при недоступности основных служб.
Семантическое кэширование: снижение задержки и затрат за счет предоставления семантически схожих ответов с помощью кэша на основе встраивания с пороговыми значениями сходства и TTL.

3. Безопасность и управление

Безопасность backend ИИ: безопасный доступ к сервисам ИИ с помощью OAuth2, ключей API и пользовательских методов аутентификации.
Защитные механизмы ИИ: обеспечение безопасности и контроля политик для входных и выходных данных с использованием встроенных в систему и пользовательских защитных механизмов (регулярные выражения, схема JSON, безопасность контента).
Настройки защиты данных: скрытие конфиденциальной информации в запросах и ответах.

4. Контроль и мониторинг затрат

Ограничение скорости запросов: защита backend ИИ путем применения ограничений скорости запросов на основе токенов для управления потреблением ресурсов.
Контроль затрат: мониторинг и управление использованием сервисов ИИ с помощью расширенных ограничений скорости и лимитов расходов.
Наблюдаемость API ИИ: отслеживание статистики использования API ИИ и показателей производительности.

5. Разработка и управление

Управление промптами: централизованное создание, версионирование и повторное использование промптов и шаблонов с декораторами для стандартизации.
API для ИИ через SDK: генерация и управление SDK для использования API ИИ.

MCP Gateway¶

Model Context Protocol (MCP) Gateway преобразует существующие API в инструменты, готовые к использованию в системах искусственного интеллекта, которые агенты ИИ могут обнаруживать и вызывать.

Созданный на основе спецификации протокола контекста модели с использованием JSON-RPC, он стандартизирует взаимодействие приложений с LLM, предоставляя вызываемые инструменты, которые агенты ИИ могут запускать в рабочих процессах, с машиночитаемыми схемами для обнаружения и проверки.

MCP Gateway реализует трехзвенную архитектуру:

Хост: среда выполнения, в которой работает MCP- клиент, например, агент ИИ или шлюз.
Клиент: выступает посредником в обмене данными между MCP- серверами.
Серверы: публикуют инструменты, схемы и метаданные для обнаружения и вызова.

Этот стандартизированный подход позволяет создавать структурированные рабочие процессы ИИ, в которых агенты ИИ могут беспрепятственно вызывать вашу бизнес-логику в качестве инструментов.

MCP Gateway используется:

Для преобразования существующих API в инструменты, доступные для вызова ИИ;
Для взаимодействия агентов искусственного интеллекта с вашими бизнес-системами;
Для структурирования рабочих процессов ИИ с оркестровкой инструментов;
Для стандартизированного поиска инструментов для приложений искусственного интеллекта.

Функциональность MCP Gateway

1. Управление инструментами и поиск

Преобразование API в инструменты: преобразуйте существующие API в инструменты, готовые к использованию в системах искусственного интеллекта, с машиночитаемыми схемами.
Создание MCP-серверов: создавайте MCP-серверы на основе определений OpenAPI, существующих API или путем проксирования существующих MCP-серверов.
Поиск инструментов: стандартизированный поиск инструментов и получение схем для агентов искусственного интеллекта.
Версионированные изменения инструментов: выпуск обновлений инструментов с минимальными нарушениями рабочих процессов ИИ.

2. Выполнение и тестирование

Вызов инструмента: выполнение инструмента на основе JSON-RPC с использованием подписок и токенов доступа.
MCP Playground: интерактивная среда тестирования серверов и инструментов MCP.

Безопасность и аналитика

Безопасность API: используйте политики безопасности платформы, включая OAuth2, JWT и взаимное SSL-шифрование для доступа к инструментам.
Аналитика API: отслеживание моделей использования инструментов и показателей производительности с помощью аналитики платформы.
Ограничение скорости: контроль использования инструментов с помощью политик регулирования и квот платформы.

Использование LLM и MCP Gateway в NEOMSA APIM предоставляет пользователям следующие возможности:

Многопользовательский режим: изоляция арендаторов, оплата за использование и индивидуальные политики для каждого арендатора.
Корпоративное управление: применение политик управления к потреблению услуг ИИ и доступу к инструментам.
Мониторинг соответствия: комплексное ведение журнала аудита для обеспечения соблюдения нормативных требований.
Облачные вычисления: интеграция с Kubernetes, автоматическое масштабирование и поэтапные обновления.

Новинка в области ИИ в производстве: начните с основ — разверните шлюз и получите мгновенный доступ к информации о затратах.

Разверните LLM Gateway для централизованного доступа к ИИ.
Внедрить базовый контроль и мониторинг затрат.

Миграция существующих приложений: Направляйте текущий трафик ИИ через шлюз без сбоев.

Оцените текущие затраты и проблемы надежности.
Постепенно перенаправляйте трафик через шлюз.
При необходимости добавьте политики безопасности и управления.

Развертывание в масштабах предприятия: создание комплексной инфраструктуры для производственных операций с использованием ИИ.

Настройте несколько поставщиков ИИ для обеспечения отказоустойчивости.
Внедрить передовые средства контроля безопасности и соответствия нормативным требованиям.
Внедрите рабочие процессы с использованием ИИ-агентов с помощью преобразования API в инструменты.

Передовые методы

Начните с обеспечения безопасности и контроля затрат.

Перед развертыванием в производственной среде всегда внедряйте механизмы контроля за использованием ИИ и управления затратами. На начальном этапе устанавливайте консервативные квоты использования и постепенно увеличивайте их в зависимости от фактических потребностей. Это предотвратит непредвиденные расходы и инциденты безопасности с первого дня.

Избегайте привязки к поставщику на ранних этапах.

Настройте несколько поставщиков ИИ, даже если изначально используете только одного. Это обеспечивает возможность немедленного переключения на резервный сервер и дает преимущество при переговорах. Регулярно тестируйте сценарии переключения на резервный сервер, чтобы обеспечить бесперебойное переключение при необходимости.

Оптимизация затрат с помощью кэширования

Включите семантическое кэширование , чтобы сократить количество вызовов API на 40-60%. Начните с консервативных пороговых значений сходства (0,95) и корректируйте их в зависимости от допустимого уровня кэшированных ответов для вашего приложения. Регулярно отслеживайте показатели попадания в кэш и экономию средств.

Планирование рабочих процессов для агентов искусственного интеллекта

Если вы разрабатываете ИИ-агентов, которым необходимо взаимодействовать с вашими бизнес-системами, внедрите MCP Gateway для стандартизации доступа к инструментам. Начните с предоставления API только для чтения в качестве инструментов, а затем постепенно добавляйте операции записи с соответствующим контролем доступа.

Используйте интеллектуальную маршрутизацию для производства.

Внедрите интеллектуальную маршрутизацию для баланса между стоимостью и производительностью. Направляйте простые запросы к экономичным моделям, а сложные задачи логического вывода — к моделям премиум-класса. Настройте автоматическое переключение между поставщиками для поддержания доступности.

Следующие шаги

Выберите подходящий для вас путь в зависимости от задачи:

Начало работы с LLM Gateway — для прямой интеграции моделей ИИ (чат, автозаполнение, генерация контента)
Начало работы с MCP Gateway — для преобразования API в инструменты, доступные для вызова ИИ.