Penggunaan kecerdasan buatan semakin meluas dari hari ke hari, namun ia mempunyai masalahnya tersendiri. Sementara janaan imej memperlihatkan bilangan jari dan sebagainya yang tampak jelas, tetapi untuk janaan berasaskan teks, ia lebih mencabar untuk mengetahui mana yang tepat dan silap.

Kita sedia melihat hasil janaan AI pada Google menghasilkan jawapan yang tidak tepat dan salah. Selain daripadanya, kini mengikut kajian Purdue University, ia didapati 52% hasil jawapan yang dijana ChatGPT berkaitan dengan pengaturcaraan, menghasilkan jawapan yang salah.

Untuk tujuan kajian ini, jawapan dibandingkan untuk janaan ChatGPT dan juga jawapan di Stack Overflow. Ia dilihat 52% menghasilkan jawapan yang salah, 77% memberikan lebih banyak perkataan berbanding jawapan manusia biasa, dan 78% memberikan jawapan yang tidak konsisten.

Kajian lanjutan turut mendapai 35% pengaturcara memilih jawapan hasilan ChatGPT, dan sekitar 39% pengaturcara tidak menemui kesalahan yang dihasilkan oleh ChatGPT. Ia dikatakan salah satu faktor yang membuatkan ramai mungkin lebih percayai jawapan ChatGPT kerana cara menjawab yang lebih sopan, berbanding jawapan di forum oleh manusia biasa yang mungkin kadang-kala agak kasar.