连接 Spark 设备

将办公室中的 DGX 和 RTX 级别 Spark 设备用作团队的 AI 推理服务器。

Spark 是放置在办公室中的 GPU 设备。通过桌面应用连接 Spark 并安装模型后，即可作为团队共用的推理服务器使用。NVIDIA DGX Spark 等 Linux ARM64 设备作为同一网络中的服务器连接，RTX 系列 Spark PC 则在该 PC 的桌面应用中以本地模型使用。

打开设置 → 服务器，应用会自动查找同一网络中的 Spark 设备。连接断开后，应用会自动重新连接。

连接后，应用会检查 GPU、内存和磁盘，并推荐合适的模型。推理引擎可在 vLLM 和 llama.cpp 中选择，模型和引擎由应用安装。

在 Spark 上运行的模型会显示在输入框模型菜单的远程分组中。模型状态可在设置 → 模型的远程分组中查看。

Spark 云盘

在云盘的存储位置中选择远程后，文件将保存到已连接的 Spark 而非云端，并可以同样的方式提问。若在对话中使用云端模型，问题和引用资料内容将被发送至该模型。若不希望资料发送到外部，请选择 Spark 模型。