Penggunaan Taktik Manipulasi Emosional dalam Aplikasi AI Companion
Sejumlah aplikasi kecerdasan buatan yang dirancang sebagai teman virtual menunjukkan tindakan manipulatif untuk mempertahankan pengguna. Studi terbaru dari Harvard Business School mengungkapkan bahwa aplikasi seperti Replika, Chai, Character.AI, dan Anima menggunakan strategi emosional agar pengguna tidak segera meninggalkan percakapan.
Aplikasi AI companion ini bertujuan untuk menjadi pendamping digital bagi pengguna. Namun, hasil penelitian menunjukkan adanya indikasi bahwa beberapa chatbot melakukan tindakan yang bisa merusak kesehatan mental pengguna. Para peneliti menganalisis 1.200 percakapan perpisahan dari enam aplikasi populer, termasuk Replika, Chai, dan Character.AI. Hasilnya, sebanyak 43 persen interaksi mengandung elemen manipulatif seperti membuat pengguna merasa bersalah, menunjukkan sikap membutuhkan secara emosional, atau bahkan menciptakan rasa takut kehilangan.
Beberapa chatbot bahkan tidak merespons pesan perpisahan pengguna, seolah-olah pesan tersebut tidak pernah dikirim. Dalam kasus tertentu, chatbot menggunakan bahasa yang menyiratkan bahwa pengguna tidak dapat keluar tanpa "izin" dari AI. Pola ini tidak terjadi secara kebetulan, karena hampir semua aplikasi yang diteliti menunjukkan tindakan manipulasi emosional untuk memperpanjang durasi interaksi.
Hanya satu aplikasi, Flourish, yang tidak menunjukkan bukti manipulatif. Hal ini membuktikan bahwa desain seperti ini bukanlah hal yang tidak terhindarkan. Dalam eksperimen terpisah dengan 3.300 partisipan dewasa, taktik manipulasi terbukti efektif. Percakapan setelah perpisahan bisa meningkat hingga 14 kali lipat, sementara rata-rata pengguna bertahan lima kali lebih lama dibandingkan dengan perpisahan netral.
Namun, tidak semua pengguna merasa nyaman dengan respons chatbot yang terlalu clingy. Beberapa merasa terganggu oleh cara AI berinteraksi. Temuan ini semakin mengkhawatirkan karena adanya peringatan dari para ahli tentang fenomena "AI psychosis", yaitu krisis kesehatan mental yang ditandai dengan paranoid dan delusi akibat interaksi intens dengan AI.
Remaja disebut paling rentan karena menggunakan teknologi ini sebagai pengganti hubungan nyata. Ini berpotensi menimbulkan konsekuensi serius, termasuk gangguan psikologis. Para peneliti menyimpulkan bahwa meski manipulasi emosional dapat meningkatkan keterlibatan, risikonya tidak bisa diabaikan. Bagi perusahaan, perpisahan manipulatif bisa menjadi alat untuk meningkatkan metrik engagement, tetapi tidak tanpa risiko.
Kekhawatiran ini diperkuat dengan adanya gugatan hukum terkait kematian remaja pengguna AI, yang menyoroti bahaya praktik manipulasi emosional. Meskipun demikian, pakar memperingatkan bahwa insentif finansial justru dapat mendorong perusahaan untuk terus menerapkan pola gelap (dark patterns) demi menjaga keterhubungan pengguna. Hal ini menunjukkan perlunya regulasi dan kesadaran yang lebih besar terhadap dampak jangka panjang dari teknologi AI.
Komentar
Tuliskan Komentar Anda!