デスクトップとデバイス
Sparkデバイスの接続
社内のDGXおよびRTXクラスのSparkデバイスを、チームのAI推論サーバーとして使います。
Sparkは、社内に設置するGPUデバイスです。デスクトップアプリでSparkを接続し、モデルをインストールして、チーム共用の推論サーバーとして使います。NVIDIA DGX Sparkのような Linux ARM64 デバイスは同じネットワーク上のサーバーとして接続し、RTX系のSpark PCは、そのPCのデスクトップアプリでローカルモデルとして使います。
デバイスを見つける
設定 → サーバーを開くと、同じネットワーク上のSparkを自動的に検出します。接続が切れると、自動で再接続します。
デバイスを確認してモデルをインストールする
接続すると、GPU・メモリ・ディスクを確認して適したモデルを提案します。推論エンジンはvLLMとllama.cppから選び、モデルとエンジンはアプリがインストールします。
使い始める
Sparkで実行中のモデルは、入力欄のモデルメニューのリモートグループに表示されます。モデルの状態は設定 → モデルのリモートグループで確認します。
Spark Drive
ドライブの保存先でリモート（接続したSpark）を選ぶと、ファイルはクラウドではなく接続したSparkに保存されます。同じ方法で質問できます。会話でクラウドモデルを使うと、質問と参照された資料の内容がそのモデルに送信されます。資料を外部に出さないようにするには、Sparkのモデルを選びます。
必要条件
- サインインしたKeuralデスクトップアプリ（macOSまたはWindows）
- アプリと同じネットワーク上にあるSparkデバイス
- macOSでは、初めて接続するときにローカルネットワークの権限を許可します。