Подключение устройства Spark
Используйте устройства Spark класса DGX и RTX в вашем офисе как сервер инференса ИИ для команды.
Spark представляет собой GPU-устройство, которое хранится в офисе. Настольное приложение Keural подключает Spark, устанавливает на него модели и использует его как общий сервер инференса для команды. NVIDIA DGX Spark и другие устройства под Linux ARM64 подключаются как серверы в одной сети, а ПК RTX Spark используются с локальными моделями в настольном приложении этого ПК.
Найдите устройство
В разделе Настройки → Серверы приложение автоматически находит устройства Spark в той же сети. Если соединение прерывается, приложение подключается снова.
Проверьте устройство и установите модели
После подключения приложение проверяет GPU, память и диск и рекомендует подходящие модели. Выберите vLLM или llama.cpp в качестве движка инференса. Установку моделей и движка приложение выполняет само.
Начните использовать
Модели, работающие на Spark, отображаются в меню моделей поля ввода в группе Удалённые. Состояние моделей проверяется в разделе Настройки → Модели, группа Удалённые.
Spark Drive
Если в настольном приложении подключено устройство Spark, в качестве места хранения для Drive можно выбрать Remote (подключённый Spark). Тогда файлы сохраняются на подключённом Spark, а не в облаке, и по ним можно задавать вопросы так же. Если в диалоге используется облачная модель, вопросы и содержимое материалов передаются этой модели. Чтобы материалы не покидали офис, выбирайте модель Spark.
Требования
- Настольное приложение Keural (macOS или Windows), в которое выполнен вход
- Устройство Spark в той же сети, что и приложение
- На macOS при первом подключении разрешите доступ к Локальной сети.