Daftar Isi

 

Mechanistic Interpretability: Upaya Peneliti Membongkar Kotak Hitam Kecerdasan Buatan

Kecerdasan buatan atau Artificial Intelligence (AI) semakin berkembang dan mampu mengerjakan berbagai tugas yang sebelumnya hanya bisa dilakukan manusia. Model bahasa besar atau Large Language Model (LLM), misalnya, dapat menulis artikel, menerjemahkan bahasa, menganalisis dokumen, hingga membantu menyelesaikan persoalan pemrograman yang kompleks.

Namun, ada satu persoalan besar di balik kemampuan tersebut: manusia belum sepenuhnya memahami bagaimana AI menghasilkan sebuah jawaban.

Kita bisa memberikan pertanyaan kepada model AI, kemudian melihat respons yang dihasilkan. Akan tetapi, proses yang terjadi di dalam miliaran parameter jaringan saraf tiruan tidak selalu mudah dijelaskan. Fenomena inilah yang membuat model AI modern sering disebut sebagai black box atau kotak hitam.

Untuk mengatasi persoalan tersebut, para peneliti mengembangkan bidang penelitian bernama Mechanistic Interpretability. Pendekatan ini berusaha membongkar mekanisme internal AI secara lebih terperinci, mulai dari aktivitas neuron hingga rangkaian komputasi yang membentuk perilaku model.

Lantas, apa sebenarnya Mechanistic Interpretability, bagaimana cara kerjanya, dan mengapa penelitian ini penting bagi masa depan AI?

Apa Itu Mechanistic Interpretability?

Mechanistic Interpretability (MI) merupakan subbidang penelitian kecerdasan buatan yang berfokus pada upaya memahami cara kerja internal jaringan saraf tiruan melalui proses rekayasa balik atau reverse engineering.

Sederhananya, para peneliti tidak hanya ingin mengetahui jawaban yang dihasilkan AI, tetapi juga mencari tahu bagaimana model tersebut sampai pada jawaban itu.

Pendekatan ini sangat relevan untuk memahami model deep learning, khususnya LLM yang menggunakan arsitektur Transformer. Model-model tersebut dilatih menggunakan data dalam jumlah besar dan memiliki parameter yang sangat banyak. Hubungan antarkomponen di dalamnya membentuk proses komputasi yang kompleks.

Sebagai perbandingan, perangkat lunak tradisional biasanya memiliki kode program yang dapat dibaca dan diperiksa oleh pengembang. Jika sebuah aplikasi menghasilkan kesalahan, pengembang dapat menelusuri fungsi atau baris kode yang menjadi penyebabnya.

Situasinya berbeda pada jaringan saraf tiruan. Perilaku model muncul dari interaksi banyak parameter yang nilainya dipelajari selama proses pelatihan. Kita dapat mengamati input dan output, tetapi mekanisme internal yang menghubungkan keduanya jauh lebih sulit dipahami.

Mechanistic Interpretability mencoba menjembatani kesenjangan tersebut dengan memetakan komponen-komponen internal dan menguji peran masing-masing dalam menghasilkan perilaku tertentu.

Dengan demikian, penelitian ini tidak sekadar mencari hubungan antara suatu input dan output, tetapi berusaha menemukan mekanisme komputasi yang mendasarinya.

Anatomi Kotak Hitam AI: Apa Saja yang Diteliti?

Untuk memahami cara kerja model AI, peneliti perlu membedah berbagai komponen yang membentuk jaringan saraf tiruan. Dalam arsitektur Transformer, ada beberapa elemen penting yang menjadi perhatian penelitian Mechanistic Interpretability.

1. Neuron dan Aktivasi

Neuron merupakan unit komputasi dalam jaringan saraf tiruan. Ketika model memproses suatu informasi, nilai aktivasi neuron dapat berubah sesuai dengan pola yang diterima.

Peneliti mengamati perubahan tersebut untuk mencari tahu apakah neuron tertentu memiliki hubungan dengan konsep atau pola tertentu.

Sebagai contoh, sebuah neuron mungkin menunjukkan aktivitas lebih tinggi ketika model memproses kalimat yang berkaitan dengan nama tempat, struktur bahasa, atau konsep tertentu.

Namun, hubungan tersebut tidak selalu sederhana. Satu neuron belum tentu hanya mewakili satu konsep. Bahkan, neuron yang sama dapat terlibat dalam beberapa pola informasi berbeda.

Karena itu, memahami fungsi neuron membutuhkan pengamatan dan eksperimen lebih lanjut, bukan sekadar melihat kapan neuron tersebut aktif.

2. Superposisi atau Superposition

Salah satu fenomena menarik dalam jaringan saraf tiruan adalah superposition. Istilah ini menggambarkan kondisi ketika model merepresentasikan banyak fitur atau konsep menggunakan ruang representasi yang terbatas.

Bayangkan sebuah ruangan kecil yang harus menyimpan puluhan jenis barang. Karena ruangnya terbatas, barang-barang tersebut disusun dengan cara saling bertumpuk atau berbagi tempat.

Superposisi memiliki prinsip yang kurang lebih serupa. Model dapat menyimpan lebih banyak fitur daripada jumlah dimensi atau unit yang tersedia dengan merepresentasikannya melalui kombinasi pola aktivasi.

Akibatnya, satu neuron bisa merespons beberapa konsep yang tampaknya tidak berkaitan. Kondisi ini membuat interpretasi berdasarkan neuron secara individual menjadi sulit.

Fenomena tersebut juga berkaitan dengan istilah polysemanticity, yaitu ketika satu neuron menunjukkan respons terhadap beragam jenis informasi.

Baca juga : Cara Menggunakan Claude AI untuk Pemula dan Profesional, Lengkap dengan Panduannya

3. Sirkuit atau Circuits

Dalam Mechanistic Interpretability, sirkuit merupakan rangkaian komponen internal yang bekerja sama untuk menjalankan fungsi komputasi tertentu.

Komponen tersebut dapat mencakup neuron, attention heads, dan bagian lain dari jaringan saraf tiruan.

Salah satu contoh yang sering dibahas adalah induction circuit. Sirkuit ini berkaitan dengan kemampuan model mengenali pola yang pernah muncul dan menggunakan pola tersebut untuk memprediksi kelanjutannya.

Misalnya, model menerima urutan teks seperti A, B, C, lalu menemukan pola A, B, C kembali. Model dapat menggunakan pola sebelumnya untuk memperkirakan elemen yang muncul setelah pengulangan tersebut.

Penelitian terhadap sirkuit seperti ini membantu menjelaskan bagaimana model mempelajari pola dan memanfaatkannya ketika menghasilkan prediksi.

4. Residual Stream

Residual stream merupakan jalur komunikasi utama dalam arsitektur Transformer. Jalur ini membawa representasi informasi yang terus diperbarui ketika data melewati berbagai lapisan model.

Komponen seperti attention heads dan jaringan feed-forward membaca informasi dari residual stream, kemudian menambahkan hasil pemrosesannya kembali ke jalur tersebut.

Bayangkan residual stream sebagai jalur utama yang membawa informasi melewati sejumlah stasiun pemrosesan. Setiap stasiun membaca informasi yang tersedia, melakukan operasi tertentu, lalu menyumbangkan hasilnya.

Dengan mempelajari residual stream, peneliti dapat mengamati bagaimana informasi berubah sepanjang proses komputasi.

Metode yang Digunakan untuk Membongkar Mekanisme AI

Mechanistic Interpretability bukan sekadar aktivitas mengamati angka atau visualisasi neuron. Para peneliti menggunakan berbagai metode eksperimental untuk menguji apakah komponen tertentu benar-benar memiliki peran dalam menghasilkan perilaku model.

Berikut beberapa teknik yang sering digunakan.

1. Activation Patching

Activation patching merupakan teknik eksperimen yang dilakukan dengan mengganti aktivasi internal pada suatu proses dengan aktivasi dari proses lain.

Misalnya, peneliti memberikan dua input yang berbeda kepada model. Salah satunya menghasilkan jawaban benar, sedangkan input lainnya menghasilkan jawaban yang keliru.

Peneliti kemudian mengganti aktivasi pada bagian tertentu dari proses pertama menggunakan aktivasi dari proses kedua. Jika perubahan tersebut memengaruhi hasil akhir, peneliti mendapatkan petunjuk mengenai bagian model yang berkontribusi terhadap perilaku tersebut.

Teknik ini membantu mengidentifikasi lokasi pemrosesan informasi yang berpengaruh terhadap suatu prediksi.

2. Intervensi Kausal

Intervensi kausal digunakan untuk menguji hubungan sebab-akibat antara komponen internal dan perilaku model.

Caranya adalah dengan mengubah aktivitas komponen tertentu, misalnya menonaktifkan neuron atau memodifikasi aktivasi pada bagian jaringan tertentu.

Setelah itu, peneliti mengamati apakah perilaku model ikut berubah.

Jika sebuah komponen dimatikan dan kemampuan model dalam menjalankan tugas tertentu menurun, hal tersebut dapat menjadi bukti bahwa komponen tersebut memiliki kontribusi terhadap tugas tersebut.

Meski demikian, hasil eksperimen perlu ditafsirkan secara hati-hati. Perubahan perilaku tidak otomatis membuktikan bahwa satu komponen merupakan satu-satunya penyebab suatu kemampuan.

3. Sparse Autoencoders

Sparse Autoencoders (SAE) merupakan salah satu alat matematika yang digunakan untuk membantu memahami representasi internal jaringan saraf tiruan.

Teknik ini berusaha mengubah aktivasi yang kompleks menjadi representasi fitur yang lebih jarang atau sparse. Tujuannya adalah memisahkan pola-pola informasi yang mungkin bercampur dalam aktivasi asli.

Sebagai contoh, aktivasi internal model dapat memuat kombinasi informasi mengenai bahasa, lokasi, dan kategori objek. SAE berusaha menguraikan kombinasi tersebut menjadi fitur yang lebih mudah dianalisis.

Dengan cara ini, peneliti memiliki peluang lebih besar untuk memahami konsep yang direpresentasikan model.

Namun, fitur yang dihasilkan SAE tidak otomatis merupakan konsep manusia yang sempurna. Hasilnya tetap perlu diuji melalui eksperimen dan dibandingkan dengan perilaku model yang sebenarnya.

Mengapa Mechanistic Interpretability Penting bagi Masa Depan AI?

Membongkar mekanisme internal AI bukan hanya persoalan akademis. Penelitian ini berpotensi memberikan manfaat penting bagi pengembangan sistem kecerdasan buatan yang lebih aman, transparan, dan dapat diandalkan.

1. Mendukung AI Alignment

AI alignment merupakan upaya memastikan perilaku sistem AI tetap sesuai dengan tujuan, instruksi, dan nilai yang diharapkan manusia.

Persoalannya, model AI dapat menghasilkan jawaban yang terlihat sesuai dengan instruksi, tetapi mekanisme internalnya belum tentu sepenuhnya dipahami.

Mechanistic Interpretability dapat membantu peneliti menyelidiki representasi dan proses komputasi yang berkaitan dengan perilaku model.

Jika suatu pola internal berkaitan dengan perilaku yang tidak diinginkan, peneliti dapat mempelajarinya lebih jauh dan mencari cara untuk mengurangi risiko tersebut.

2. Membantu Menganalisis Halusinasi AI

Salah satu masalah yang masih dihadapi chatbot AI adalah hallucination, yaitu ketika model menghasilkan informasi yang terdengar meyakinkan tetapi sebenarnya keliru atau tidak memiliki dasar yang cukup.

Dengan memahami mekanisme internal model, peneliti berharap dapat menemukan pola yang berkaitan dengan kesalahan prediksi atau penggunaan informasi yang tidak tepat.

Penelitian ini juga berpotensi membantu membedakan proses ketika model menggunakan informasi yang relevan dengan kondisi ketika model menghasilkan jawaban tanpa dukungan yang memadai.

Namun, Mechanistic Interpretability belum menjadi solusi langsung yang dapat mendeteksi seluruh halusinasi AI secara otomatis.

3. Meningkatkan Keamanan AI

Model AI dapat menghadapi berbagai bentuk serangan, termasuk jailbreaking dan adversarial attacks. Serangan tersebut dirancang untuk membuat sistem menghasilkan respons yang tidak sesuai dengan batasan atau tujuan awalnya.

Dengan mempelajari komponen internal yang berperan dalam perilaku model, peneliti dapat mencari kemungkinan kerentanan yang sebelumnya sulit diamati.

Temuan tersebut dapat menjadi dasar untuk mengembangkan sistem pengamanan yang lebih kuat.

Tantangan Besar dalam Penelitian Mechanistic Interpretability

Meskipun menjanjikan, membongkar mekanisme internal AI bukan pekerjaan sederhana. Ada sejumlah hambatan yang membuat penelitian ini masih terus berkembang.

Masalah skala: Model AI modern memiliki parameter dalam jumlah sangat besar. Memetakan seluruh hubungan internalnya membutuhkan sumber daya komputasi, metode analisis, dan waktu penelitian yang tidak sedikit.

Polysemanticity: Satu neuron dapat merespons berbagai konsep sekaligus. Hal ini membuat peneliti kesulitan menentukan fungsi spesifik sebuah neuron hanya berdasarkan aktivitasnya.

Kompleksitas sirkuit: Sebuah kemampuan model mungkin melibatkan banyak komponen yang saling berinteraksi. Mengidentifikasi satu bagian saja belum tentu cukup untuk memahami keseluruhan proses.

Perkembangan arsitektur AI: Model terus mengalami perubahan. Metode yang efektif untuk menganalisis satu arsitektur belum tentu bisa diterapkan begitu saja pada model dengan desain berbeda.

Selain itu, fitur yang berhasil diidentifikasi melalui alat seperti SAE belum tentu langsung memberikan penjelasan lengkap mengenai cara model mengambil keputusan.

Kesimpulan

Mechanistic Interpretability merupakan bidang penelitian yang berusaha mengubah AI dari sistem yang sulit dipahami menjadi teknologi yang mekanisme internalnya dapat dipelajari secara ilmiah.

Melalui analisis neuron, superposisi, sirkuit, residual stream, serta teknik seperti activation patching dan Sparse Autoencoders, peneliti berusaha mengetahui bagaimana informasi diproses di dalam jaringan saraf tiruan.

Penelitian ini berpotensi membantu pengembangan AI alignment, analisis halusinasi, dan peningkatan keamanan sistem kecerdasan buatan.

Meski masih menghadapi tantangan besar, Mechanistic Interpretability menjadi salah satu pendekatan penting dalam upaya memahami model AI modern. Sebab, semakin besar kemampuan AI, semakin penting pula bagi manusia untuk mengetahui bukan hanya apa yang bisa dilakukan teknologi tersebut, tetapi juga bagaimana mekanisme di balik kemampuannya bekerja.