Spark-Gerät verbinden
Nutzen Sie die DGX- und RTX-Spark-Geräte in Ihrem Büro als KI-Inferenzserver für Ihr Team.
Spark ist ein GPU-Gerät, das Sie im Büro aufstellen. Die Desktop-App verbindet sich mit einem Spark, installiert Modelle darauf und nutzt es als gemeinsamen Inferenzserver Ihres Teams. NVIDIA DGX Spark und andere Geräte mit Linux ARM64 verbinden sich als Server im selben Netzwerk. RTX-Spark-PCs nutzen Sie mit lokalen Modellen in der Desktop-App dieses PCs.
Gerät finden
Öffnen Sie Einstellungen → Server. Die App findet Spark-Geräte im selben Netzwerk automatisch. Bricht die Verbindung ab, stellt die App sie automatisch wieder her.
Gerät prüfen und Modelle installieren
Nach der Verbindung prüft die App GPU, Arbeitsspeicher und Speicherplatz und empfiehlt passende Modelle. Wählen Sie vLLM oder llama.cpp als Inferenzmotor. Die App installiert die Modelle und den Motor.
Nutzung beginnen
Auf dem Spark laufende Modelle werden im Modellmenü des Eingabefelds im Bereich Remote angezeigt. Den Modellstatus prüfen Sie unter Einstellungen → Modelle im Bereich Remote.
Spark Drive
Wählen Sie in Drive als Speicherort Remote aus, werden Dateien statt in der Cloud auf dem verbundenen Spark gespeichert. Sie können sie auf dieselbe Weise abfragen. Verwenden Sie in einer Unterhaltung ein Cloud-Modell, werden Fragen und Inhalte der Quellen an dieses Modell gesendet. Um Materialien nicht nach außen zu geben, wählen Sie zusätzlich ein Spark-Modell.
Voraussetzungen
- Keural-Desktop-App (macOS oder Windows), angemeldet
- Ein Spark-Gerät im selben Netzwerk wie die App
- Unter macOS erlauben Sie beim ersten Verbinden die Berechtigung Lokales Netzwerk.