Conectar un dispositivo Spark
Use los dispositivos Spark de la clase DGX y RTX de su oficina como servidor de inferencia de IA de su equipo.
Spark es un dispositivo con GPU instalado en la oficina. Con la aplicación de escritorio, conecte un Spark, instálele modelos y úselo como servidor de inferencia compartido por su equipo. Los dispositivos Linux ARM64, como NVIDIA DGX Spark, se conectan como servidores de la misma red. Los PC Spark de la clase RTX usan modelos locales en la aplicación de escritorio de ese PC.
Encontrar el dispositivo
Abra Configuración → Servidores y la aplicación buscará automáticamente los dispositivos Spark de la misma red. Si la conexión se interrumpe, se vuelve a conectar automáticamente.
Revisar el dispositivo e instalar modelos
Cuando la conexión está activa, la aplicación comprueba la GPU, la memoria y el disco, y recomienda los modelos adecuados. Elija vLLM o llama.cpp como motor de inferencia. La aplicación instala los modelos y el motor.
Empezar a usarlo
Los modelos que se ejecutan en Spark aparecen en el grupo Remoto del menú de modelos del cuadro de entrada. Para comprobar su estado, vaya a Configuración → Modelos y revise el grupo Remotos.
Spark Drive
Si selecciona Remote (el Spark conectado) como ubicación de almacenamiento de Drive, los archivos se guardan en el Spark conectado en lugar de en la nube, y puede hacer preguntas sobre ellos de la misma forma. Si usa un modelo en la nube en una conversación, sus preguntas y el contenido de referencia se envían a ese modelo. Para que los materiales no salgan de la oficina, elija un modelo de Spark.
Requisitos
- Aplicación de escritorio de Keural (macOS o Windows), con sesión iniciada
- Un dispositivo Spark en la misma red que la aplicación
- macOS requiere permitir el permiso de Acceso a la red local en la primera conexión.