Cip Qualcomm Kini Boleh Menjalankan LMM Pada Peranti Android dan Komputer Riba Windows

Di Honolulu tahun lalu Qualcomm menunjukkan kemampuan Snapdragon 8 Gen 3 menjalankan model AI LLM dan penjanaan imej pada peranti yang tidak memerlukan sambungan internet. Ciri ini sudah mula dilihat pada peranti Samsung, Xiaomi, Oppo dan Honor yang baru sahaja dilancarkan tahun ini. Qualcomm kini mengumumkan kejayaan mereka menjalankan Model Multimodal Raya (LMM) terus pada peranti Android dan juga komputer riba Windows yang menggunakan cip mereka.

Model Large Language and Vision Assistant (LLaVA) yang mengandungi 7+ bilion parameter dijalankan terus dari sebuah peranti Android. Ia adalah sebuah LMM yang bukan sahaja boleh memahami input teks tetapi juga imej yang dimasukkan oleh pengguna. Dengan LMM terbina keselamatan data peribadi pengguna serta kos dapat dipastikan. Turut boleh dilakukan ialah melatih sebuah AI peribadi yang dilatih khusus menggunakan data peribadi pemilik peranti.

Qualcomm turut berjaya melakukan demonstrasi Low Rank Adaptation (LoRA) menggunakan model Stable Diffusion yang mengandungi 1 bilion parameter pada sebuah peranti Android. Imej boleh dijana oleh peranti dalam masa beberapa saat sahaja berbanding menggunakan pelbagai perkhidmatan AI generatif atas talian.

Akhir sekali mereka turut berjaya menjalan LMM pada sebuah PC Windows yang menggunakan cip Snapdragon X Elite. Seperti pada cip Snapdragon untuk telefon pintar, cip Snapdragon untuk komputer Windows juga dilengkapi NPU yang cukup berkuasa untuk menjalankan LMM yang boleh menerima input dalam bentuk teks serta audio.

Turut diumumkan hari ini ialah Qualcomm AI Hub yang menawarkan lebih 75 model AI yang telah dioptimumkan untuk dijalankan cip Snapdragon dan Qualcomm. Pembangun boleh menggunakan AI Hub untuk menghasilkan aplikasi dengan kemampuan kecerdasan buatan yang kemudiannya ditawarkan pada peranti. Antara model yang boleh diakses ialah Whisper, ControlNet, Stable Diffusion, dan Baichuan 7B.