Что такое AI - роутер и как его использовать

AI Routing — архитектурный паттерн, при котором система автоматически решает, какой именно инструмент или модель использовать для ответа на промт пользователя.

Примеры использования

ChatGPT

Использует роутинг для классификации запросов: простые → GPT-Nano, сложные → GPT-Mini, очень сложные или связанные с кодом → GPT. При этом учитывается подписка пользователя.

Gemini

Применяет роутинг для вызова Nano Banana. Например, «Нарисуй картинку кота» → вызывается инструмент Nano Banana.

Гигачат и Алиса

Используют AI-роутинг для выбора модели — экономичной или мощной.

Vega

Применяется в масштабных сценариях из-за огромного количества инструментов, моделей и сервисов. В режиме «Авто» AI классифицирует запрос и вызывает один из 10 инструментов или одну из 4 моделей.

Роутинг также используется в режиме генерации картинок и видео, чтобы понимать намерения пользователя.

Зачем это нужно?

Чтобы улучшить UX — пользовательский опыт. Мы, люди:

а) ленивы — экономим энергию даже в простых действиях

б) часто не знаем, какой инструмент или модель выбрать

Помните: человеку нужен не молоток, а гвоздь в стене.

Какие методы AI Routing используются?

1. Rule-based routing

В коде заранее задаются ключевые слова и правила. Самый простой, быстрый, но наименее точный метод.

2. Intent-based routing

Классификация намерения пользователя с помощью NLP-модели. Самый точный, но и самый медленный метод.

3. Semantic routing

Примеры и промт пользователя преобразуются в вектор (embedding) и AI сравнивает их. Золотая середина — быстрый, но немного менее точный метод.

Гибриды

Иногда применяются гибриды, например Rule-based + Intent-based: сначала используется подход на правилах, а если точность низка — переключаются на Intent-based. Такой подход применяется на VEGA.

Протестировать Авто-режим можно на vega.chat, переключив с режима Чат на Авто (бета).

Telegram канал Get My AI