Sambungkan peranti Spark
Gunakan peranti Spark kelas DGX dan RTX di pejabat anda sebagai pelayan inferens AI pasukan anda.
Spark ialah peranti GPU yang disimpan di pejabat. Dengan aplikasi desktop, anda menyambung ke Spark dan memasang model padanya sebagai pelayan inferens yang dikongsi pasukan. NVIDIA DGX Spark dan peranti lain yang berjalan pada Linux ARM64 disambungkan sebagai pelayan dalam rangkaian yang sama. PC Spark kelas RTX digunakan dengan model tempatan dalam aplikasi desktop PC tersebut.
Cari peranti
Buka Tetapan → Servers, aplikasi secara automatik mencari peranti Spark dalam rangkaian yang sama. Jika sambungan terputus, aplikasi menyambung semula secara automatik.
Semak peranti dan pasang model
Apabila disambungkan, aplikasi menyemak GPU, memori, dan cakera, serta mengesyorkan model yang sesuai. Pilih vLLM atau llama.cpp sebagai enjin inferens. Pemasangan model dan enjin diuruskan oleh aplikasi.
Mula menggunakannya
Model yang berjalan pada Spark dipaparkan dalam menu model kotak input di bawah kumpulan Jauh. Status model disemak di bawah kumpulan Jauh dalam Tetapan → Model.
Spark Drive
Apabila Remote (Spark yang disambungkan) dipilih sebagai lokasi storan Drive, fail disimpan pada Spark yang disambungkan dan bukannya awan. Fail kekal di dalam pejabat dan boleh ditanya dengan cara yang sama. Jika model awan digunakan dalam perbualan, soalan dan kandungan rujukan dihantar kepada model tersebut. Untuk memastikan bahan tidak keluar dari pejabat, pilih model Spark.
Keperluan
- Aplikasi desktop Keural (macOS atau Windows), telah log masuk
- Peranti Spark dalam rangkaian yang sama dengan aplikasi
- Pada macOS, kebenaran Rangkaian Setempat perlu diberikan semasa kali pertama menyambung.