Connecter un appareil Spark
Utilisez les appareils Spark de la classe DGX et RTX de votre bureau comme serveur d'inférence IA de votre équipe.
Spark est un appareil GPU que vous installez au bureau. L'application de bureau Keural connecte un Spark, y charge des modèles et en fait un serveur d'inférence partagé par votre équipe. Les appareils Linux ARM64 comme NVIDIA DGX Spark se connectent en tant que serveurs sur le même réseau. Les PC Spark de la classe RTX s'utilisent avec des modèles locaux dans l'application de bureau de ce PC.
Trouver l'appareil
Ouvrez Paramètres → Serveurs : l'application trouve automatiquement les appareils Spark présents sur le même réseau. Si la connexion est interrompue, elle se rétablit automatiquement.
Vérifier l'appareil et installer des modèles
Une fois connecté, l'application vérifie le GPU, la mémoire et le disque, et recommande des modèles adaptés. Choisissez vLLM ou llama.cpp comme moteur d'inférence. Les modèles et le moteur sont installés par l'application.
Commencer à l'utiliser
Les modèles en cours d'exécution sur le Spark apparaissent dans le groupe Distant du menu des modèles de la zone de saisie. La connexion se fait dans Paramètres → Serveurs, et l'état des modèles se vérifie dans le groupe Distant sous Paramètres → Modèles.
Drive Spark
Si vous sélectionnez Remote (le Spark connecté) comme emplacement de stockage pour Drive, les fichiers sont enregistrés sur le Spark connecté au lieu du cloud, et vous pouvez poser des questions à leur sujet de la même manière. Si vous utilisez un modèle cloud dans une conversation, vos questions et le contenu des documents référencés sont envoyés à ce modèle. Pour que les documents ne quittent pas le bureau, sélectionnez un modèle Spark.
Prérequis
- L'application de bureau Keural (macOS ou Windows), connectée à votre compte
- Un appareil Spark sur le même réseau que l'application
- Sous macOS, l'accès au Réseau local doit être autorisé lors de la première connexion.