Подключение собственных моделей
Добавьте собственный ключ API или внутренний сервер инференса (vLLM, Ollama и другие) в список моделей Keural.
В настольном приложении откройте Настройки → Модели → Шлюзы и подключите сервер, совместимый с OpenAI или Anthropic. Затем модели этого сервера можно выбрать в меню моделей поля ввода в группе Шлюзы.
Порядок подключения
- Нажмите Подключить шлюз.
- Выберите пресет (vLLM, Ollama, OpenAI, Anthropic и т. д.) и введите название. Если выбрать ручной ввод, подключение выполняется как совместимое с OpenAI.
- Введите Базовый URL в формате, который указал поставщик модели. Путь API-эндпоинта (API Endpoint) не добавляйте.
- Введите Ключ API. Для локального сервера или сервера во внутренней сети без аутентификации оставьте поле пустым.
- Нажмите Проверить подключение, чтобы загрузить список моделей. Выберите нужную модель и нажмите Добавить.
Где сохраняется
Место сохранения определяется адресом. Публичный адрес https сохраняется в аккаунте и доступен на других устройствах этого аккаунта. Адреса localhost и внутренней сети сохраняются только на этом компьютере, рядом отображается пометка Сохранено только на этом устройстве.
Ключ API не отображается повторно после сохранения.
Оплата
Плату за модели, подключённые с вашим ключом API, взимает соответствующий поставщик. Она не входит в использование Keural.
Модели подключённого сервера подчиняются его политике. Если вы используете их в организации, сначала убедитесь, что сервер соответствует внутренней политике безопасности.