Точный глобальный кэш: идентичные запросы (модель + тело) отдаются из БД без обращения к провайдеру. Не кэшируются: temperature > 0, запросы с tools, ошибки. HIT не расходует токены квоты.
Запросы пользователей пересылаются сюда с мастер-ключом. По умолчанию — Alibaba Cloud DashScope (OpenAI-совместимый режим).
Значения из переменных окружения используются, пока не заданы здесь. Ключ хранится в БД шлюза — ограничьте доступ к файлу БД.