Conecte um dispositivo Spark
Use os dispositivos Spark DGX e RTX do escritório como servidor de inferência de IA da equipe.
O Spark é um dispositivo de GPU instalado no escritório. O app de desktop conecta o Spark, instala modelos nele e o usa como servidor de inferência compartilhado pela equipe. O NVIDIA DGX Spark e outros dispositivos Linux ARM64 se conectam como servidores na mesma rede. Os PCs Spark da classe RTX são usados com modelos locais no app de desktop desse PC.
Encontrar o dispositivo
Abra Configurações → Servidores para que o app encontre automaticamente os dispositivos Spark da mesma rede. Se a conexão cair, o app se reconecta automaticamente.
Verificar o dispositivo e instalar modelos
Ao conectar, o app verifica GPU, memória e disco e recomenda modelos adequados. Escolha vLLM ou llama.cpp como mecanismo de inferência. Os modelos e o mecanismo são instalados pelo app.
Começar a usar
Os modelos em execução no Spark aparecem no grupo Remoto do menu de modelos da caixa de entrada. O status dos modelos é verificado no grupo Remotos em Configurações → Modelos.
Spark Drive
Quando você escolhe Remoto (o Spark conectado) como local de armazenamento do Drive, os arquivos são salvos no Spark conectado, em vez da nuvem. Os arquivos permanecem no escritório e você pode fazer perguntas sobre eles da mesma forma. Se você usar um modelo da nuvem em uma conversa, suas perguntas e o conteúdo do material referenciado são enviados a esse modelo. Para que os materiais não saiam do escritório, escolha também um modelo Spark.
Requisitos
- App de desktop do Keural (macOS ou Windows), com login feito
- Um dispositivo Spark na mesma rede do app
- No macOS, a permissão Rede local precisa ser concedida na primeira conexão.