AI Routing — архитектурный паттерн, при котором система автоматически решает, какой именно инструмент или модель использовать для ответа на промт пользователя.
Примеры использования
ChatGPT
Использует роутинг, чтобы классифицировать запросы: простые → GPT‑Nano, сложные → GPT‑Mini, очень сложные или связанные с кодом → GPT. При этом учитывается подписка пользователя, чтобы не задействовать дорогие модели для бесплатных пользователей.
Gemini
Применяет роутинг для вызова Nano Banana. Например, пользователь пишет промт «Нарисуй картинку кота» → вызывается инструмент Nano Banana. Такой подход работает, в принципе, во всех нейросетях из примеров.
Гигачат и Алиса
Используют AI‑роутинг, чтобы выбрать модель — экономичную, мощную — или переключиться на инструмент‑генератор картинок.
Vega
На Vega AI Routing применяется в гораздо более масштабных сценариях из‑за огромного количества инструментов, моделей и сервисов. Есть режим Авто, в котором AI классифицирует запрос пользователя и вызывает один из 10 выбранных инструментов Vega или одну из 4 выбранных моделей (Mini и Pro). При этом используется экономный подход: не тратятся лишние средства пользователя, поэтому, например, не вызываются Nano Banana Pro, GPT 5.2 Codex или генерация видео с Veo 3.1. Иначе это привело бы к плохому пользовательскому опыту.
Но и это еще не все, роутинг используется в режиме генерации картинок и видео, чтобы понимать намерения пользователя — создать новую картинку в чате или исправить прошлую генерацию или например, сделать новое видео или новое видео с последнего кадра предыдущего видео (first last frame video)?
Зачем это нужно?
Чтобы улучшить UX — пользовательский опыт. Мы, люди:
- а) ленивы, потому что это экономия энергии; мы стремимся сохранять её даже в простых действиях, таких как выбор функции в меню;
- б) пользователи часто не знают, какой инструмент или модель выбрать, чтобы получить нужный результат.
Мы же помним, что человеку нужен не молоток, а гвоздь в стене.
Какие методы AI Routing используются?
Существует несколько подходов, основные — три, а также их гибриды.
Rule‑based routing — в коде заранее задаются ключевые слова и правила, по которым происходит вызов инструмента или модели. Самый простой, быстрый, но наименее точный метод.
Intent‑based routing — классификация намерения пользователя с помощью NLP‑моделей, AI-модель определяет чего хочет user и выбирает tool или model. Это самый точный но и самый медленный метод, потому-что AI выявляет намерение пользователя.
Semantic routing — примеры и промт пользователя преобразуются в вектор (embedding) и AI сравнивает их. Это золотая середина, быстрый но немного менее точный метод, чем intent‑based routing.
Иногда применяются гибриды, например Rule‑based routing + Intent‑based routing: сначала используется правило‑based подход, а если его точность низка, переключаются на intent‑based routing. Это позволяет компенсировать недостатки обоих методов и сохранить их плюсы. Такой подход, например, применяется на VEGA.
Кроме AI Routing в AI-чатах применяются еще и другие прокси подходы — т.е. инструмент не вызывается напрямую, но об этом в следующих статьях 🙂
Протестировать Авто режим вы можете на vega.chat переключив с дефолтного режима Чат, на режтим Авто (бета).
