Spark சாதனத்தை இணைக்கவும்
உங்கள் அலுவலகத்தில் உள்ள DGX மற்றும் RTX வகை Spark சாதனங்களை உங்கள் குழுவின் AI inference சேவையகமாகப் பயன்படுத்தவும்.
Spark என்பது அலுவலகத்தில் வைத்திருக்கும் GPU சாதனம். டெஸ்க்டாப் ஆப்பில் Spark ஐ இணைத்து, மாடலை நிறுவி, குழுவின் பொது inference சேவையகமாகப் பயன்படுத்தவும். NVIDIA DGX Spark போன்ற Linux ARM64 சாதனங்கள் ஒரே நெட்வொர்க்கில் உள்ள சேவையகமாக இணைக்கப்படும். RTX வகை Spark PC கள் அந்தப் PC யின் டெஸ்க்டாப் ஆப்பில் உள்ளூர் மாடல்களுடன் பயன்படுத்தப்படும்.
சாதனத்தைக் கண்டறியவும்
அமைப்புகள் → Servers ஐத் திறந்தால், ஒரே நெட்வொர்க்கில் உள்ள Spark சாதனங்கள் தானாகக் கண்டறியப்படும். இணைப்பு துண்டிக்கப்பட்டால் தானாக மீண்டும் இணைக்கப்படும்.
சாதனத்தைச் சரிபார்த்து மாடல்களை நிறுவவும்
இணைத்ததும் GPU, நினைவகம் மற்றும் வட்டைச் சரிபார்த்து பொருத்தமான மாடல்களைப் பரிந்துரைக்கும். Inference இயந்திரமாக vLLM அல்லது llama.cpp இல் ஒன்றைத் தேர்ந்தெடுக்கவும். மாடல்களையும் இயந்திரத்தையும் ஆப் நிறுவும்.
பயன்படுத்தத் தொடங்கவும்
Spark இல் இயங்கும் மாடல்கள் உள்ளீட்டுப் பெட்டியின் மாடல் மெனுவில் தொலைநிலை குழுவில் தோன்றும். மாடல் நிலையை அமைப்புகள் → மாடல்கள் இன் தொலைநிலை குழுவில் சரிபார்க்கலாம்.
Spark Drive
Drive சேமிப்பிட இடமாக தொலைநிலை ஐத் தேர்ந்தெடுத்தால், கோப்புகள் cloud க்குப் பதிலாக இணைத்த Spark இல் சேமிக்கப்படும். அதே முறையில் அவற்றைப் பற்றிக் கேள்விகள் கேட்கலாம். உரையாடலில் cloud மாடலைப் பயன்படுத்தினால், உங்கள் கேள்விகளும் குறிப்பிடப்பட்ட பொருட்களின் உள்ளடக்கமும் அந்த மாடலுக்கு அனுப்பப்படும். பொருட்கள் அலுவலகத்தை விட்டு வெளியே செல்லாமல் இருக்க, Spark மாடலைத் தேர்ந்தெடுக்கவும்.
தேவைகள்
- Keural டெஸ்க்டாப் ஆப் (macOS அல்லது Windows), உள்நுழைந்த நிலையில்
- ஆப் உள்ள அதே நெட்வொர்க்கில் ஒரு Spark சாதனம்
- macOS இல் முதல் முறை இணைக்கும்போது உள்ளூர் நெட்வொர்க் அனுமதி வழங்குதல்