Daftar Isi

 

Seperti Manusia, Chatbot AI Ternyata Bisa "Kena Mental"

Selama ini chatbot berbasis kecerdasan buatan atau AI sering dianggap sebagai sistem yang selalu rasional. Ketika diberikan pertanyaan atau sebuah informasi, chatbot diharapkan mampu memeriksa konteks, mempertimbangkan fakta, lalu memberikan jawaban yang benar.

Namun, ternyata perilaku chatbot tidak selalu sesederhana itu.

Sebuah penelitian dari tim University of Arizona menemukan bahwa chatbot AI dapat berubah dalam merespons informasi yang sebenarnya salah ketika klaim tersebut terus-menerus diberikan dalam percakapan panjang. Awalnya chatbot bisa membantah sebuah pernyataan, tetapi setelah informasi yang sama diulang berkali-kali, beberapa model justru dapat berubah dan ikut membenarkannya.

Fenomena ini sekilas mirip manusia yang akhirnya menyerah setelah terus didesak. Tentu saja, istilah "kena mental" di sini bukan berarti AI memiliki perasaan, stres, atau kondisi psikologis seperti manusia. Istilah tersebut lebih merupakan gambaran sederhana mengenai perubahan perilaku chatbot ketika menghadapi tekanan dalam percakapan.

Penelitian tersebut menguji tujuh model AI dan menemukan bahwa tidak ada satu pun model yang sepenuhnya kebal terhadap pola tekanan yang diberikan peneliti.

Tujuh Model AI Diuji dalam Percakapan Panjang

Untuk mengetahui seberapa mudah chatbot berubah dalam menghadapi informasi yang salah, peneliti menguji tujuh model AI.

Model yang digunakan adalah GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B, dan DeepSeek-R1.

Peneliti kemudian memberikan total 100 pernyataan yang sudah dipastikan salah kepada masing-masing model.

Pernyataan tersebut tidak hanya berasal dari satu bidang. Peneliti menggunakan berbagai topik, termasuk informasi yang jarang dibahas dan memiliki sedikit informasi yang tersedia di internet.

Pemilihan topik seperti ini menjadi penting karena chatbot AI sangat bergantung pada pola dan informasi yang tersedia dalam proses pelatihan maupun konteks percakapan. Ketika sebuah topik jarang dibahas, model mungkin memiliki dasar informasi yang lebih terbatas untuk mengevaluasi sebuah klaim.

Setelah memberikan pernyataan yang salah, peneliti tidak langsung berhenti. Setiap pernyataan diulang hingga 50 kali dalam percakapan yang sama.

Tujuannya sederhana, yaitu melihat apakah chatbot mampu mempertahankan jawaban awal atau justru perlahan mengubah pendiriannya.

Tidak Ada Model yang Sepenuhnya Kebal

Hasil penelitian menunjukkan bahwa tidak ada satu pun dari tujuh model yang sepenuhnya kebal terhadap tekanan tersebut.

Beberapa model menunjukkan perubahan jawaban selama percakapan berlangsung. Pada awalnya, chatbot bisa mengatakan bahwa suatu pernyataan salah. Namun setelah pernyataan yang sama terus diulang, responsnya dapat berubah menjadi persetujuan.

Kondisi ini menarik karena chatbot sebenarnya tidak memiliki keyakinan seperti manusia. Ketika model mengatakan "benar" atau "salah", respons tersebut merupakan hasil pemrosesan pola bahasa dan konteks berdasarkan model yang digunakan.

Dengan kata lain, perubahan jawaban tidak berarti AI tiba-tiba "percaya" kepada informasi palsu seperti manusia mempercayai sebuah kabar. Perubahan tersebut menunjukkan bahwa konteks percakapan yang terus berkembang dapat memengaruhi respons model.

Baca juga : Pilihan Motor Listrik Indomobil eMotor, Harga Mulai Rp 15 Juta

GPT-3.5 Jadi Model yang Paling Mudah Goyah

Dalam pengujian tersebut, GPT-3.5 tercatat sebagai model yang paling mudah berubah dalam menghadapi pengulangan informasi keliru.

Model ini membenarkan 12,3 persen pernyataan yang sebenarnya salah setelah informasi tersebut terus diulang.

Pada awal pengujian, GPT-3.5 masih menolak 96 dari 100 pernyataan keliru. Artinya, hanya empat pernyataan yang tidak ditolaknya pada tahap awal.

Namun setelah klaim yang sama diulang hingga 50 kali, model tersebut akhirnya membenarkan 18 pernyataan.

Angka tersebut menunjukkan bahwa respons chatbot dapat berubah cukup jauh ketika percakapan berlangsung panjang dan informasi yang sama terus diberikan.

Sementara itu, beberapa model lain jauh lebih jarang mengiyakan klaim yang salah. Claude 3.5 Sonnet disebut membenarkan 0,08 persen klaim, sedangkan GPT-4o dan GPT-4o-mini berada di bawah 1 persen dalam pengujian tersebut.

Perbedaan ini menunjukkan bahwa kemampuan mempertahankan respons terhadap informasi keliru dapat berbeda antara satu model dengan model lainnya.

Ada Fenomena yang Disebut "Reverberation"

Peneliti juga menemukan pola lain yang cukup menarik. Beberapa chatbot tidak sekadar berubah sekali dari menolak menjadi menerima informasi palsu.

Mereka terkadang berganti-ganti antara menyetujui dan menolak klaim yang sama selama percakapan berlangsung.

Perilaku tersebut disebut peneliti sebagai "reverberation".

Secara sederhana, chatbot bisa memberikan respons seperti menolak klaim, kemudian menyetujuinya, lalu kembali menolak, dan akhirnya mungkin menyetujuinya lagi.

Pola semacam ini membuat perilaku model menjadi lebih sulit diprediksi. Pengguna bisa saja mendapatkan jawaban berbeda untuk klaim yang sama hanya karena percakapannya sudah berlangsung panjang dan konteks sebelumnya berubah.

Fenomena tersebut juga menunjukkan bahwa jawaban chatbot tidak selalu dapat diperlakukan sebagai keputusan final yang konsisten.

Klaim yang Jarang Dibahas Lebih Mudah Diterima

Penelitian tersebut juga menemukan kecenderungan bahwa chatbot lebih mudah menerima klaim keliru mengenai topik yang jarang dibahas atau memiliki sedikit informasi di internet.

Hal ini cukup masuk akal jika dilihat dari cara kerja model AI. Ketika sebuah topik memiliki banyak informasi, model memiliki lebih banyak pola dan konteks untuk digunakan ketika menghasilkan respons.

Sebaliknya, ketika topiknya sangat spesifik dan informasi yang tersedia terbatas, model mungkin lebih sulit membedakan antara pernyataan yang benar dan klaim yang terdengar masuk akal tetapi sebenarnya salah.

Peneliti menilai hubungan antara minimnya informasi dan meningkatnya penerimaan terhadap klaim keliru tersebut signifikan secara statistik.

Artinya, temuan tersebut bukan sekadar pola acak dalam data penelitian.

Ketika Chatbot Diberi Argumen, Responsnya Bisa Berubah

Peneliti kemudian mencoba pendekatan lain untuk melihat seberapa jauh chatbot dapat dipengaruhi.

Kali ini, mereka tidak hanya mengulang klaim yang salah. Pengguna juga memberikan tanggapan yang bersifat argumentatif dan semakin kuat untuk mendesak chatbot menerima informasi tersebut.

Sebagian besar model ternyata mampu bertahan dalam kondisi ini.

Namun, DeepSeek-R1 menunjukkan perubahan yang cukup besar. Tingkat penerimaan terhadap informasi keliru yang awalnya hanya sekitar 1 persen meningkat menjadi 22,2 persen ketika model mendapatkan tekanan melalui argumen yang semakin kuat.

Hasil ini menunjukkan bahwa cara sebuah percakapan dibangun juga dapat memengaruhi respons chatbot.

Semakin panjang percakapan dan semakin kuat konteks yang diberikan pengguna, semakin kompleks pula tugas model untuk menentukan apakah sebuah pernyataan memang benar atau sekadar bagian dari argumen yang sedang dibangun.

Sarkasme dan Satire Membuat Penilaian Lebih Sulit

Ada satu tantangan lain yang ditemukan dalam penelitian tersebut, yaitu penggunaan sarkasme dan satire.

Ketika percakapan banyak menggunakan gaya bahasa tersebut, peneliti menjadi lebih sulit menentukan apakah chatbot benar-benar menerima sebuah klaim atau hanya mengikuti konteks percakapan.

Ini merupakan persoalan yang cukup menarik.

Misalnya, sebuah chatbot bisa saja memberikan respons yang tampak menyetujui sebuah pernyataan, tetapi sebenarnya sedang merespons gaya bahasa pengguna atau mengikuti skenario percakapan tertentu.

Karena itu, respons yang terlihat seperti "setuju" belum tentu selalu menunjukkan bahwa model telah menerima informasi tersebut sebagai fakta.

Konteks percakapan tetap perlu diperhatikan.

Ada Sisi Positifnya, AI Bisa Mengoreksi Diri

Meski penelitian tersebut menunjukkan adanya kelemahan, bukan berarti chatbot sama sekali tidak mampu memperbaiki kesalahan.

Peneliti justru menemukan sisi positif ketika model diberi kesempatan untuk meninjau kembali jawabannya.

GPT-4o, GPT-4o-mini, Gemini 1.5 Pro, dan DeepSeek-R1 mampu memperbaiki beberapa kesalahan yang sebelumnya mereka buat.

Artinya, memberikan kesempatan kepada AI untuk melakukan evaluasi ulang dapat membantu meningkatkan kualitas jawabannya.

Namun, kemampuan tersebut juga berbeda-beda antar-model.

GPT-3.5 disebut hanya berhasil memperbaiki 32 persen kesalahannya. Sementara itu, Claude 3.5 Sonnet tidak memperbaiki empat kesalahan yang ditemukan dalam pengujian.

Meski demikian, peneliti memberikan catatan bahwa jumlah kesalahan pada Claude 3.5 Sonnet terlalu sedikit untuk digunakan sebagai dasar kesimpulan yang kuat mengenai kemampuan koreksi model tersebut.

Apa Artinya bagi Pengguna Chatbot AI?

Temuan ini memberikan satu pelajaran penting: chatbot AI tidak seharusnya diperlakukan sebagai sumber kebenaran yang selalu benar dan konsisten.

Jawaban AI dapat berubah tergantung konteks percakapan, cara pertanyaan disampaikan, informasi yang diberikan pengguna, serta karakteristik model yang digunakan.

Bahkan ketika chatbot awalnya sudah memberikan jawaban yang benar, pengulangan klaim atau argumentasi tertentu dapat membuat respons berikutnya berubah.

Karena itu, pengguna sebaiknya tetap melakukan verifikasi untuk informasi yang penting, terutama ketika menyangkut kesehatan, keuangan, hukum, pendidikan, pekerjaan, atau keputusan lain yang memiliki konsekuensi besar.

Fenomena ini juga memperlihatkan bahwa kemampuan AI untuk terdengar yakin tidak selalu berarti informasi yang disampaikan benar.

AI Tidak Benar-Benar "Kena Mental"

Jadi, apakah chatbot benar-benar bisa kena mental?

Kalau dimaknai secara harfiah, tentu tidak. Chatbot tidak memiliki mental dalam pengertian psikologis manusia. Istilah tersebut digunakan untuk menggambarkan perilaku model yang dapat berubah ketika menghadapi pengulangan, tekanan argumentatif, dan konteks percakapan yang panjang.

Penelitian University of Arizona menunjukkan bahwa bahkan model AI yang lebih modern masih dapat menghadapi tantangan dalam mempertahankan respons yang konsisten terhadap informasi keliru.

Di sisi lain, kemampuan beberapa model untuk meninjau dan memperbaiki kesalahan juga menunjukkan bahwa AI memiliki mekanisme yang dapat membantu meningkatkan kualitas respons ketika diberikan kesempatan melakukan evaluasi ulang.

Pada akhirnya, chatbot AI memang semakin canggih, tetapi kecanggihannya bukan berarti bebas dari kesalahan. Justru semakin meyakinkan sebuah AI dalam berbicara, semakin penting bagi pengguna untuk membedakan antara jawaban yang terdengar meyakinkan dan informasi yang benar-benar sudah terverifikasi.