Chat with RTX Dijenamakan Sebagai NVIDIA ChatRTX – Perkhidmatan AI Setempat Dengan Model AI Pilihan Anda
Nazrin
Pada awal tahun ini, NVIDIA telah memperlihatkan ciri Chat with RTX, iaitu sebuah demonstrasi perkhidmatan kecerdasan buatan seakan ChatGPT yang menggunakan model AI sumber terbuka yang boleh dipilih oleh pengguna pada bila-bila masa sahaja. NVIDIA hari ini telah menjenamakannya semula sebagai NVIDIA ChatRTX, dan sedia diuji secara besar-besaran.
Salah satu isu terbesar yang diperlihatkan pada penggunaan model kecerdasan buatan besar seperti OpenAI ChatGPT, Microsoft CoPilot, Google Gemini dan sebagainya ialah data-data sulit yang dimuat-naik ke perkhidmatan AI sebegini akan digunakan juga sebagai data pembelajaran mesin, dan boleh menyebabkan isu ketirisan rahsia syarikat.
Dengan ChatRTX, pengguna, ataupun syarikat boleh menggunakan pelbagai jenis model AI sumber terbuka untuk kegunaan kecerdasan buatan tertutup. Malah, dengan ChatRTX, pembelajaran mesin hanya akan menggunakan set data yang ditetapkan oleh pengguna ataupun polisi syarikat sendiri, dan tidak akan menggunakan data awam yang mungkin melanggar hak cipta pengguna.
Selain daripada prom teks, ChatRTX juga dilihat menyokong prom menggunakan suara. Bergantung kepada model AI yang digunakan, ChatRTX memahami input dalam Bahasa Inggeris dan Mandarin buat masa ini. Model AI yang boleh digunakan termasuklah Mistral 7B INT4, Llama 2 7B INT4, CLIP (Contrastive Language Image Pre-training) dan Gamma.
Sayangnya buat masa ini, NVIDIA mengatakan juga bahawa ia hanya dapat memahami satu soalan prom pada satu-satu masa, dan tidak seperti ChatGPT, Copilot ataupun Gemini, ChatRTX tidak dapat memahami soalan-soalan tambahan. Fungsi ini mungkin akan diperkenalkan di masa hadapan apabila model-model AI yang menyokong TensorRT-LLM dimajukan di masa akan datang.
Buat masa ini, NVIDIA mengatakan bahawa ChatRTX hanya disokong pada komputer yang menggunakan kad grafik NVIDIA GeForce RTX 3000 dan 4000 yang mempunyai jumlah memori VRAM sekurang-kurangnya 8GB dan memori komputer DDR4 dan DDR5 sebanyak 16GB dan keatas. Dari segi storan, fail muat-turun ChatRTX ditetapkan pada 11GB, dan anda akan memerlukan jumlah storan keseluruhan sebanyak 35GB untuk memasang perisian ini.
Perisian ini juga hanya disokong pada pelayar web Microsoft Edge dan juga Google Chrome buat masa ini. Ia tidak disokong pada Mozilla Firefox, tetapi perkara ini akan diperbaiki di masa akan datang.