Chatbot AI Groq Memberikan Jawapan Sepantas Kilat Dengan Bantuan LPU

ChatGPT, Gemini dan Copilot adalah tiga chatbot dengan kecerdasan buatan (AI) yang saya gunakan setiap hari bagi memudahkan proses penulisan di Amanz. Ketiga-tiganya mempunyai kelebihan masing-masing tetapi mempunyai satu kelemahan yang sama iaitu tempoh memproses yang agak lama. Secara purata masa memproses jawapan ialah sekitar 5-10 saat dan kemudian mengambil masa sehingga 20 saat pula untuk kesemua jawapan diberikan.

Kini muncul pula Groq, chatbot AI yang boleh memberikan jawapan penuh kepada soalan dalam masa kurang dua saat. Groq boleh memberikan jawapan dengan lebih pantas kerana menggunakan Language Processing Unit (LPU) yang dicipta oleh mereka sendiri. Menurut Groq, LPU boleh mempercepatkan pemprosesan LLM beberapa kali ganda berbanding menggunakan CPU dan GPU sedia ada.

Dalam ujian yang kami lakukan sendiri, Groq boleh memproses pada kadar melebihi 500 token sesaat yang adalah lebih pantas berbanding 18 token sesaat pada Copilot. Apabila dipadankan kepada pembantu maya dengan suara, Groq boleh memberikan jawapan secara masa nyata seolah-oleh berbual dengan manusia sebenar.

Walaupun Groq adalah pantas, saya menyedari kelemahan terletak pada model LLaMA 2 dan Mixtral yang digunakan kerana maklumat yang diberikan sudah ketinggalan. Sebagai contoh Groq mengatakan Snapdragon 8 Gen 3 dan MacBook Pro M3 adalah dua produk yang tidak wujud.

Ia juga berhalusinasi apabila diminta memberikan senarai berita AI terbesar 2024 kerana memberikan jawapan berita untuk Mac 2024 yang masih belum berlaku!Tetapi untuk maklumat mengenai Tun Mahathir misalnya Groq memberikan jawapan panjang lebar mengenai mantan PM dalam masa kurang empat saat.

Syarikat Groq ditubuhkan pada tahun 2016 oleh Jonathan Ross yang sebelum ini bertugas di Google. Beliau terlibat dalam pembangunan cip Tensor Processing Unit (TPU) yang digunakan oleh Google untuk pelbagai sistem AI mereka sekarang.

[sumber] Groq.com [/sumber]