桌面與裝置
連接 Spark 裝置
將辦公室中的 DGX 與 RTX 等級 Spark 裝置用作團隊的 AI 推論伺服器。
Spark 是放在辦公室中的 GPU 裝置。使用 Keural 桌面 App 連接 Spark、安裝模型,並將其作為團隊共用的推論伺服器。NVIDIA DGX Spark 等執行 Linux ARM64 的裝置,會以伺服器身分連接到同一網路。RTX 等級的 Spark 電腦,則是在該電腦的桌面 App 中搭配本機模型使用。
找到裝置
開啟 設定 → 伺服器,App 會自動找到同一網路中的 Spark 裝置。連線中斷時,App 會自動重新連線。
檢查裝置並安裝模型
連線後,App 會檢查 GPU、記憶體與磁碟,並推薦適合的模型。推論引擎可在 vLLM 與 llama.cpp 中選擇,模型與引擎由 App 安裝。
開始使用
在 Spark 上執行的模型,會顯示在輸入框模型選單的 遠端 群組中。模型狀態可在 設定 → 模型 的 遠端 群組中確認。
Spark 雲端硬碟
在雲端硬碟的儲存位置中選擇 遠端(已連接的 Spark)後,檔案會儲存在已連接的 Spark 上,而非雲端,並可用相同方式提問。若在對話中使用雲端模型,提問內容與參考內容會傳送到該模型。若不想讓資料離開辦公室,請選擇 Spark 模型。
需求
- 已登入的 Keural 桌面 App(macOS 或 Windows)
- 與 App 位於同一網路的 Spark 裝置
- macOS 首次連線時須允許 區域網路 權限。