NVIDIA mengumumkan ciri Chat with RTX yang membolehkan kecerdasan buatan (AI) dijalankan terus pada sebuah PC yang dilengkapi kad grafik siri RTX 30 dan RTX 40. Bagi mereka yang berminat untuk mencubanya sendiri, anda harus memastikan terdapat ruang yang mencukupi dalam SSD komputer terlebih dahulu.
Menurut laporan Windows Central, ruang storan sebesar 105GB diperlukan untuk menjalankan Chat with RTX. Sebanyak 35GB diperlukan untuk perisian Chat with RTX manakala 70GB lagi untuk model AI Mistral 7B dan LLaMA 2. Ini ialah cabaran yang dihadapi untuk menjalankan AI terbina pada peranti tanpa memerlukan sambungan internet. Saiz storan yang diambil adalah bersamaan dengan saiz permainan video dunia terbuka pada PC.
Pada telefon pintar misalnya, model AI yang. paling kecil seperti Gemini Nano digunakan kerana saiznya yang lebih kompak. Mengoptimasi model adalah cabaran terbesar untuk menawarkan AI terbina menurut YJ Kim Ketua Pasukan AI di Samsung dalam temu ramah bersama Amanz pada Januari lalu. ini adalah sebab mengapa sebahagian ciri AI pada siri Galaxy S24 seperti Circle to Search masih memerlukan sambungan internet.