Hubungkan perangkat Spark
Gunakan perangkat Spark kelas DGX dan RTX di kantor Anda sebagai server inferensi AI tim Anda.
Spark adalah perangkat GPU yang Anda tempatkan di kantor. Hubungkan Spark dari aplikasi desktop, pasang model, dan gunakan sebagai server inferensi bersama tim. NVIDIA DGX Spark dan perangkat Linux ARM64 lainnya terhubung sebagai server di jaringan yang sama. PC Spark kelas RTX digunakan dengan model lokal di aplikasi desktop PC tersebut.
Temukan perangkat
Buka Pengaturan → Server. Aplikasi otomatis menemukan perangkat Spark di jaringan yang sama. Jika koneksi terputus, aplikasi terhubung kembali secara otomatis.
Periksa perangkat dan pasang model
Setelah terhubung, aplikasi memeriksa GPU, memori, dan disk, lalu merekomendasikan model yang sesuai. Pilih vLLM atau llama.cpp sebagai mesin inferensi. Model dan mesin dipasang oleh aplikasi.
Mulai menggunakan
Model yang berjalan di Spark ditampilkan di grup Jarak jauh pada menu model di kotak input. Status model dapat dilihat di grup Jarak jauh pada Pengaturan → Model.
Spark Drive
Jika Anda memilih Remote (Spark yang terhubung) sebagai lokasi penyimpanan Drive, file disimpan di Spark yang terhubung, bukan di cloud. Anda dapat mengajukan pertanyaan tentang file tersebut dengan cara yang sama. Jika percakapan memakai model cloud, pertanyaan dan isi materi yang dirujuk dikirim ke model tersebut. Untuk tidak mengirim materi ke luar kantor, pilih model Spark.
Persyaratan
- Aplikasi desktop Keural (macOS atau Windows), dalam keadaan sudah masuk
- Perangkat Spark di jaringan yang sama dengan aplikasi
- macOS: pada saat pertama kali terhubung, izinkan akses jaringan lokal.