Daftar Isi

 

AI Observability: Cara Mengawasi AI agar Tidak Cuma Pintar Bicara, tetapi Juga Bisa Dipercaya

Kecerdasan buatan atau artificial intelligence (AI) semakin banyak digunakan untuk membantu pekerjaan manusia. Mulai dari menjawab pertanyaan pelanggan, merangkum dokumen, menganalisis data, hingga menjalankan tugas secara otomatis, teknologi ini menawarkan efisiensi yang sulit diabaikan.

Namun, ada satu persoalan yang kerap luput dari perhatian: AI yang terlihat bekerja dengan baik belum tentu menghasilkan jawaban yang benar.

Sebuah chatbot bisa merespons pertanyaan dalam hitungan detik, tetapi memberikan informasi keliru. AI yang terhubung dengan dokumen perusahaan bisa menghasilkan jawaban meyakinkan berdasarkan sumber yang sudah kedaluwarsa. Sementara itu, AI agent yang diberi wewenang menggunakan berbagai perangkat dapat menyelesaikan pekerjaan dengan cara yang tidak sesuai prosedur.

Masalahnya, semua itu belum tentu terlihat melalui indikator kesehatan sistem konvensional.

Di sinilah AI observability berperan. Teknologi ini membantu perusahaan memahami bukan hanya apakah sistem AI berjalan, melainkan juga bagaimana sistem mengambil informasi, menghasilkan jawaban, menggunakan perangkat, mengonsumsi sumber daya, dan mencapai tujuan yang ditetapkan.

1. AI yang Cepat Belum Tentu AI yang Berkualitas

Selama bertahun-tahun, tim teknologi informasi mengandalkan metrik seperti latensi, penggunaan CPU, konsumsi memori, jumlah permintaan, dan tingkat kesalahan untuk memantau aplikasi.

Indikator tersebut masih penting ketika perusahaan menggunakan AI. Akan tetapi, metrik konvensional tidak cukup untuk menilai kualitas sistem yang menghasilkan respons berdasarkan probabilitas dan konteks.

Bayangkan sebuah chatbot layanan pelanggan yang mampu menjawab 1.000 pertanyaan setiap jam. Servernya stabil, waktu responsnya singkat, dan hampir tidak ada permintaan yang gagal.

Sekilas, performanya terlihat mengesankan. Namun, setelah diperiksa lebih jauh, ternyata sebagian jawabannya memberikan informasi kebijakan pengembalian barang yang sudah tidak berlaku.

Dari sisi infrastruktur, sistem tersebut sukses. Dari sisi pelanggan, justru berpotensi menimbulkan masalah.

Perbedaan inilah yang membuat AI observability membutuhkan pendekatan lebih luas. Pengawasan tidak cukup berhenti pada kinerja server, tetapi harus mencakup relevansi jawaban, ketepatan informasi, kepatuhan terhadap kebijakan, dan keberhasilan menyelesaikan tugas.

Dengan kata lain, perusahaan perlu mengukur hasil yang diberikan AI, bukan hanya aktivitas yang dilakukannya.

2. Metrik Kualitas Menjadi Penentu Utama

Salah satu indikator paling penting dalam AI observability adalah kualitas keluaran. Namun, kualitas tidak selalu bisa diukur menggunakan satu angka karena setiap aplikasi mempunyai tujuan berbeda.

Model AI untuk mendeteksi transaksi mencurigakan, misalnya, membutuhkan ukuran keberhasilan yang berbeda dari chatbot pendidikan atau asisten penulisan.

Beberapa metrik berikut dapat membantu perusahaan mengevaluasi kualitas AI.

Akurasi dan keberhasilan tugas

Akurasi mengukur seberapa sering prediksi atau jawaban sesuai dengan hasil acuan yang dapat dipercaya. Sementara itu, tingkat keberhasilan tugas menilai apakah AI benar-benar menyelesaikan kebutuhan pengguna.

Keduanya tidak selalu sama. Sebuah AI dapat memberikan jawaban yang secara teknis benar, tetapi gagal menyelesaikan pekerjaan yang diminta karena mengabaikan batasan tertentu.

Relevansi dan kelengkapan

Relevansi mengukur seberapa sesuai jawaban dengan pertanyaan. Kelengkapan menilai apakah jawaban telah mencakup informasi, langkah, atau persyaratan penting.

Misalnya, ketika pengguna meminta panduan memperbaiki masalah jaringan, AI mungkin memberikan penjelasan yang benar tetapi melewatkan langkah pemeriksaan paling mendasar. Jawabannya relevan, tetapi belum lengkap.

Groundedness dan konsistensi faktual

Groundedness mengukur apakah klaim AI didukung oleh sumber atau konteks yang tersedia. Metrik ini sangat penting bagi sistem yang menggunakan retrieval-augmented generation (RAG), yaitu pendekatan yang menggabungkan model bahasa dengan pencarian informasi dari sumber eksternal.

Perusahaan juga dapat memantau tingkat penerimaan pengguna, frekuensi koreksi, dan jumlah jawaban yang harus dibuat ulang. Indikator tersebut membantu mengungkap kelemahan yang mungkin tidak terlihat dalam evaluasi otomatis.

Baca juga : Google Earth Kini Punya Flight Simulator, Begini Cara Menerbangkan Pesawat Virtual Lewat Browser

3. Waktu Respons Bukan Satu-satunya Ukuran Performa

Kecepatan tetap menjadi faktor penting dalam pengalaman pengguna. Namun, mengandalkan rata-rata waktu respons saja dapat menutupi masalah yang dialami sebagian pengguna.

Karena itu, tim teknologi biasanya perlu mengamati beberapa metrik performa sekaligus.

• Time to first token: waktu yang dibutuhkan sistem untuk mulai menghasilkan respons.
• End-to-end latency: total waktu sejak permintaan diterima hingga hasil selesai diberikan.
• Throughput: jumlah permintaan atau tugas yang dapat diproses dalam periode tertentu.
• Error rate: persentase permintaan yang mengalami kegagalan.
• Availability: tingkat ketersediaan layanan ketika dibutuhkan.
• Timeout dan retry rate: frekuensi permintaan yang melewati batas waktu atau harus diulang.

Pengukuran persentil seperti p50, p95, dan p99 juga berguna. Jika rata-rata waktu respons hanya dua detik, angka tersebut belum tentu menggambarkan pengalaman pengguna yang permintaannya membutuhkan waktu 15 detik.

Persentil ke-95 atau p95 menunjukkan batas waktu yang mencakup sekitar 95 persen permintaan dalam kumpulan pengukuran. Dengan melihatnya bersama rata-rata, tim dapat mengetahui apakah sebagian kecil permintaan mengalami keterlambatan yang serius.

Pengukuran sebaiknya dipisahkan berdasarkan versi model, jenis tugas, wilayah layanan, dan komponen yang digunakan. Dengan begitu, perusahaan tidak hanya mengetahui bahwa sistem melambat, tetapi juga dapat mempersempit sumber masalahnya.

4. Biaya AI Harus Dihitung Berdasarkan Hasil

AI generatif mempunyai struktur biaya yang berbeda dari aplikasi konvensional. Pengeluaran dapat dipengaruhi jumlah token masukan, panjang keluaran, model yang digunakan, proses pencarian informasi, serta banyaknya tahapan dalam sebuah tugas.

Karena itu, biaya per permintaan tidak selalu menjadi indikator efisiensi terbaik.

Misalnya, sebuah perusahaan menggunakan model AI murah untuk menangani pertanyaan pelanggan. Biaya setiap interaksi memang turun, tetapi kualitas jawaban ikut menurun. Akibatnya, pelanggan harus mengulang pertanyaan, mengirim permintaan baru, atau meminta bantuan staf manusia.

Penghematan awal tersebut bisa berubah menjadi biaya tambahan.

Untuk menghindari masalah ini, perusahaan dapat memantau jumlah token masukan dan keluaran, biaya per permintaan, tingkat penggunaan sumber daya, serta keberhasilan penggunaan cache.

Namun, ada satu indikator yang layak mendapatkan perhatian khusus: biaya per tugas yang berhasil diselesaikan.

Metrik ini membandingkan total biaya dengan jumlah tugas yang memenuhi kriteria keberhasilan. Hasilnya memberikan gambaran yang lebih relevan mengenai efisiensi operasional.

Model yang lebih mahal per permintaan bahkan bisa lebih ekonomis apabila menghasilkan jawaban berkualitas tinggi dengan lebih sedikit pengulangan dan intervensi manusia.

5. Mengawasi RAG agar AI Tidak Mengandalkan Informasi yang Salah

Sistem RAG memungkinkan AI mencari dokumen atau basis pengetahuan sebelum menyusun jawaban. Pendekatan ini membantu menghubungkan model dengan informasi yang lebih spesifik dan dapat diperbarui.

Meski begitu, RAG bukan jaminan bahwa AI selalu mendapatkan informasi yang tepat.

Kegagalan dapat bermula dari dokumen yang tidak terindeks, potongan teks yang kurang sesuai, pencarian yang meleset, atau sumber yang sudah kedaluwarsa.

Untuk menemukan penyebabnya, tim dapat memantau beberapa metrik khusus.

Recall at k mengukur seberapa banyak dokumen relevan yang berhasil ditemukan dalam sejumlah hasil pencarian teratas. Sebaliknya, precision at k mengukur proporsi hasil teratas yang benar-benar relevan.

Perusahaan juga perlu memperhatikan relevansi konteks, kelengkapan informasi yang ditemukan, ketepatan sitasi, kecepatan pencarian, dan kesegaran sumber.

Misalnya, chatbot kebijakan perusahaan memberikan jawaban yang keliru tentang cuti karyawan. Tanpa pengawasan menyeluruh, tim mungkin langsung menyalahkan model AI.

Padahal, sistem pencarian bisa saja mengambil dokumen kebijakan lama dan mengabaikan versi terbaru.

Dengan memeriksa metrik retrieval dan jejak permintaan, tim dapat membedakan apakah masalah berasal dari pencarian, sumber pengetahuan, atau proses generasi jawaban.

6. AI Agent Membutuhkan Pengawasan yang Lebih Ketat

Perkembangan AI agent membuat observability menjadi semakin penting. Berbeda dari chatbot yang terutama menghasilkan jawaban, agent dapat merencanakan pekerjaan, memanggil API, mencari dokumen, menggunakan perangkat, dan menjalankan serangkaian tindakan.

Satu tugas bisa melibatkan banyak langkah yang saling bergantung. Kegagalan pada satu tahap dapat menggagalkan seluruh proses.

Karena itu, perusahaan perlu mengukur tingkat penyelesaian tugas, keberhasilan pemanggilan alat, jumlah langkah per tugas, frekuensi pengulangan tanpa kemajuan, kepatuhan terhadap prosedur, dan tingkat eskalasi kepada manusia.

Contohnya, sebuah agent ditugaskan memproses permintaan pengembalian barang. Sistem mungkin berhasil menemukan pesanan, memeriksa kebijakan, dan menghitung nilai pengembalian. Namun, ketika mencoba mengirim instruksi ke sistem pembayaran, permintaan tersebut gagal.

Jika perusahaan hanya melihat jawaban akhir, penyebab kegagalan bisa sulit diketahui. Sebaliknya, apabila setiap tahapan direkam melalui distributed tracing, tim dapat menelusuri perjalanan permintaan dari awal hingga akhir.

Pengawasan juga harus mencakup tindakan yang ditolak oleh sistem keamanan. Agent yang mencoba mengakses data di luar kewenangannya tidak boleh dinilai hanya berdasarkan apakah tugas akhirnya selesai.

Dalam situasi tertentu, menghentikan tindakan yang tidak aman justru merupakan hasil yang benar.

7. Keamanan dan Perubahan Perilaku Tidak Boleh Diabaikan

AI observability juga mencakup aspek keamanan. Perusahaan perlu mengetahui apakah sistem menghadapi upaya prompt injection, menghasilkan konten yang melanggar kebijakan, atau mengungkapkan informasi sensitif.

Metrik yang dapat digunakan meliputi tingkat keberhasilan serangan, frekuensi keluaran tidak aman, paparan data sensitif, serta tingkat pemblokiran tindakan yang melanggar aturan.

Namun, kenaikan jumlah serangan yang terdeteksi tidak otomatis berarti sistem menjadi lebih rentan. Bisa jadi lalu lintas berbahaya memang meningkat, sementara mekanisme pertahanan masih bekerja dengan baik.

Oleh sebab itu, perusahaan perlu membandingkan volume serangan, tingkat keberhasilan penyerang, tingkat keparahan insiden, dan efektivitas kontrol keamanan.

Selain keamanan, perubahan perilaku AI juga perlu diperhatikan melalui pemantauan drift.

Drift terjadi ketika karakteristik data atau perilaku sistem berubah dibandingkan kondisi acuan. Perubahan tersebut dapat muncul akibat pergantian model, perubahan pola pertanyaan pengguna, pembaruan basis pengetahuan, atau konfigurasi yang tidak konsisten.

Akan tetapi, drift tidak selalu menunjukkan penurunan kualitas. Perubahan pola pertanyaan bisa saja merupakan perkembangan normal dalam penggunaan produk. Peringatan harus diperiksa bersama hasil evaluasi dan dampaknya terhadap pengguna.

8. Logs, Metrics, dan Traces: Tiga Bagian yang Saling Melengkapi

Pengawasan AI yang efektif tidak bergantung pada satu jenis data. Logs, metrics, dan traces memiliki fungsi berbeda yang saling melengkapi.

Metrics merangkum pola perilaku, seperti meningkatnya latensi atau menurunnya keberhasilan tugas. Logs mencatat peristiwa tertentu, termasuk kesalahan, keputusan kebijakan, dan informasi kontekstual yang relevan. Traces memperlihatkan urutan perjalanan permintaan melewati berbagai komponen sistem.

Ketiganya membantu tim bergerak dari deteksi masalah menuju analisis penyebabnya.

Standar seperti OpenTelemetry juga dapat membantu menyatukan pengumpulan telemetri lintas layanan. Meski demikian, pengumpulan data harus tetap memperhatikan privasi, pengaturan akses, biaya penyimpanan, dan perlindungan informasi sensitif.

Merekam seluruh isi percakapan tanpa kebijakan yang jelas justru dapat menciptakan risiko baru.

Kesimpulan

AI observability bukan sekadar cara memantau apakah model tetap aktif atau seberapa cepat jawaban dihasilkan. Pendekatan ini membantu perusahaan memahami apakah sistem bekerja secara benar, aman, efisien, dan sesuai dengan tujuan pengguna.

Kuncinya adalah memilih metrik berdasarkan risiko dan kebutuhan nyata. Kualitas jawaban harus diperiksa bersama performa, biaya, keamanan, serta keberhasilan tugas. Untuk aplikasi RAG, pengawasan perlu menjangkau proses pencarian informasi. Untuk AI agent, setiap langkah dan tindakan harus dapat ditelusuri.

Pada akhirnya, AI yang baik bukan hanya AI yang mampu memberikan jawaban dengan cepat, melainkan AI yang hasilnya bisa diperiksa, kesalahannya bisa ditelusuri, dan perilakunya bisa dipertanggungjawabkan.

Di tengah semakin luasnya penggunaan kecerdasan buatan, kemampuan mengawasi AI dengan tepat dapat menjadi pembeda antara otomatisasi yang sekadar terlihat canggih dan sistem yang benar-benar memberikan manfaat.