Daftar Isi

 

Mengenal Diffusion Models, Teknologi AI yang Bisa Mengubah Teks Menjadi Gambar Realistis

Teknologi kecerdasan buatan atau artificial intelligence (AI) berkembang pesat dalam beberapa tahun terakhir. Salah satu inovasi yang paling menarik perhatian adalah kemampuan AI menghasilkan gambar hanya berdasarkan perintah teks. Pengguna cukup mengetik deskripsi seperti “kucing mengenakan pakaian astronot di permukaan Mars dengan pencahayaan sinematik”, lalu sistem AI akan menghasilkan gambar yang sesuai dengan instruksi tersebut.

Kemampuan ini dapat ditemukan pada berbagai platform pembuat gambar AI, termasuk Midjourney, DALL-E, dan Stable Diffusion. Di balik proses yang terlihat sederhana tersebut, terdapat teknologi matematika yang cukup kompleks, yaitu Diffusion Models.

Diffusion Models merupakan jenis model generatif yang mempelajari cara membentuk data baru melalui proses penghilangan noise atau gangguan acak secara bertahap. Teknologi ini memungkinkan AI menghasilkan gambar dari pola acak yang awalnya tidak memiliki bentuk visual yang jelas.

Menariknya, pendekatan tersebut terinspirasi dari konsep probabilitas dan proses fisika yang berkaitan dengan penyebaran gangguan dalam suatu sistem. Dengan mempelajari hubungan antara gambar, noise, dan distribusi probabilitas, AI dapat membangun kembali struktur visual yang masuk akal.

Lantas, bagaimana sebenarnya Diffusion Models bekerja? Mengapa teknologi ini mampu menghasilkan gambar dengan detail tinggi, dan apa perbedaannya dengan metode generatif terdahulu seperti GAN? Berikut penjelasan lengkapnya.

Apa Itu Diffusion Models?

Diffusion Models adalah model AI generatif yang dilatih untuk mempelajari distribusi data, misalnya kumpulan gambar, sehingga dapat menghasilkan sampel baru yang memiliki karakteristik serupa dengan data pelatihan.

Berbeda dengan sistem AI yang hanya mengklasifikasikan gambar atau mengenali objek, model generatif berusaha menciptakan data baru. Model ini tidak sekadar menentukan apakah sebuah gambar berisi kucing atau anjing, tetapi juga dapat menghasilkan gambar kucing dengan pose, pencahayaan, latar belakang, dan gaya visual tertentu.

Prinsip utamanya adalah dua proses yang saling berlawanan, yaitu forward diffusion process dan reverse diffusion process.

Pada proses pertama, gambar asli secara bertahap diberi noise hingga pola visualnya semakin sulit dikenali. Pada proses kedua, model belajar membalikkan proses tersebut dengan menghilangkan noise sedikit demi sedikit sampai terbentuk gambar yang koheren.

Bayangkan sebuah foto yang perlahan ditutupi titik-titik acak. Jika gangguan tersebut terus ditambahkan, objek dalam foto akhirnya tidak lagi terlihat. Diffusion Models mempelajari cara menghilangkan gangguan itu sehingga dapat menghasilkan gambar baru dari kondisi yang awalnya menyerupai kekacauan.

Namun, ada hal penting yang perlu dipahami: model tidak sekadar mengembalikan gambar asli yang pernah dihancurkan. Ketika digunakan untuk menghasilkan gambar baru, model biasanya memulai dari noise acak dan membentuk sampel baru berdasarkan pola yang dipelajarinya selama pelatihan.

1. Forward Diffusion: Mengubah Gambar Menjadi Noise

Tahap pertama disebut forward diffusion process. Dalam proses pelatihan, model mengambil gambar asli yang dilambangkan dengan (x_0), kemudian menambahkan noise Gaussian secara bertahap.

Noise Gaussian adalah gangguan acak yang nilainya mengikuti distribusi normal. Dalam konteks gambar digital, gangguan tersebut dapat mengubah nilai piksel sehingga struktur visual asli semakin sulit dikenali.

Proses ini berlangsung melalui sejumlah langkah waktu, yang biasanya dituliskan sebagai (t=1,2,\ldots,T). Pada setiap langkah, sebagian noise ditambahkan sesuai jadwal yang telah ditentukan.

Jumlah noise yang ditambahkan pada langkah tertentu dikendalikan oleh parameter (\beta_t). Nilainya menentukan seberapa besar perubahan yang diterapkan pada gambar dalam setiap tahap.

Secara sederhana, prosesnya dapat dibayangkan seperti berikut:

• Pada tahap awal, gambar masih terlihat jelas karena hanya sedikit noise yang ditambahkan.
• Pada tahap pertengahan, detail seperti tekstur, tepi objek, dan warna mulai terganggu.
• Pada tahap akhir, gambar kehilangan sebagian besar struktur visualnya dan mendekati noise Gaussian murni.

Dalam model difusi klasik, proses ini dapat dijelaskan menggunakan Markov chain. Artinya, keadaan pada langkah berikutnya bergantung pada keadaan saat ini, bukan secara langsung pada seluruh riwayat sebelumnya.

Secara matematis, proses tersebut dapat dituliskan sebagai:

[ q(x_t|x_{t-1})= \mathcal{N}\left( \sqrt{1-\beta_t}x_{t-1}, \beta_t I \right) ]

Persamaan tersebut menunjukkan bahwa gambar pada langkah berikutnya dibentuk dari versi gambar sebelumnya yang telah disesuaikan, kemudian ditambahkan noise Gaussian. Simbol (\mathcal{N}) menyatakan distribusi normal, sedangkan (I) merupakan matriks identitas yang berkaitan dengan kovarians noise.

Mengapa gambar harus dihancurkan terlebih dahulu? Tujuannya adalah memberikan contoh terstruktur kepada model mengenai bagaimana noise mengubah data. Dengan mempelajari proses tersebut, model dapat dilatih untuk memperkirakan gangguan yang perlu dihilangkan ketika prosesnya dijalankan secara terbalik.

Penting juga untuk diketahui bahwa forward diffusion biasanya merupakan proses matematis yang telah ditentukan, bukan AI yang secara mandiri memutuskan bagaimana merusak setiap gambar.

2. Reverse Diffusion: Membangun Gambar dari Kekacauan

Jika forward diffusion menambahkan noise, reverse diffusion process melakukan kebalikannya. Tahap inilah yang menjadi inti proses pembentukan gambar ketika pengguna menjalankan generator AI.

Proses biasanya dimulai dari sampel noise acak yang dilambangkan dengan (x_T). Model kemudian memperkirakan cara mengubah sampel tersebut pada setiap langkah, mulai dari (T) menuju langkah yang lebih kecil hingga menghasilkan gambar akhir (x_0).

Tantangannya adalah noise acak tidak memberikan petunjuk langsung mengenai gambar tertentu yang harus dibentuk. Banyak kemungkinan gambar dapat muncul dari distribusi noise yang sama. Karena itu, model harus memanfaatkan pola yang telah dipelajari selama pelatihan.

Pada banyak model difusi berbasis gambar, jaringan saraf tiruan dilatih untuk memprediksi noise yang terdapat dalam suatu sampel pada langkah waktu tertentu. Prediksi ini digunakan dalam perhitungan untuk menghasilkan sampel yang sedikit lebih bersih.

Bayangkan proses tersebut seperti memahat sebuah patung dari bongkahan material yang bentuk awalnya tidak jelas. Pada setiap tahap, model membuat penyesuaian kecil sampai pola visual yang lebih terstruktur muncul.

Pada awal reverse diffusion, gambar mungkin hanya terlihat seperti kumpulan bercak acak. Setelah beberapa langkah, mulai terbentuk pola warna, komposisi, dan siluet. Tahap berikutnya memperjelas objek, tekstur, serta detail lain hingga gambar menjadi lebih mudah dikenali.

Namun, model tidak selalu secara harfiah memilih piksel mana yang harus dipertahankan dan mana yang harus dibuang. Proses sebenarnya melibatkan operasi matematika pada representasi data, berdasarkan prediksi jaringan saraf dan aturan sampling yang digunakan.

Jumlah langkah sampling juga tidak harus sama dengan jumlah langkah dalam proses pelatihan. Berbagai teknik modern memungkinkan gambar dibuat menggunakan lebih sedikit langkah, dengan pertukaran tertentu antara kecepatan, kualitas, dan karakter hasil.

Baca juga : 6 Brand Laptop yang Menggunakan NVIDIA RTX Spark, Siap Ngebut untuk AI dan Kreator

3. Bagaimana AI Memahami Prompt Teks?

Reverse diffusion menjelaskan bagaimana noise diubah menjadi gambar, tetapi masih ada pertanyaan penting: bagaimana AI mengetahui bahwa pengguna menginginkan kucing, bukan mobil sport?

Jawabannya terletak pada mekanisme yang disebut conditioning atau pengondisian. Pada text-to-image diffusion models, teks yang dimasukkan pengguna digunakan untuk memandu proses generasi.

Tahap pertama adalah mengubah teks menjadi representasi numerik yang disebut embedding. Sistem pengolah teks, seperti encoder berbasis CLIP atau T5 pada sejumlah arsitektur, mengubah kata dan kalimat menjadi vektor yang dapat diproses oleh jaringan saraf.

Vektor tersebut membawa informasi mengenai makna dan hubungan antarkata. Dengan begitu, instruksi seperti “kucing berbaju astronot di permukaan Mars” tidak diperlakukan hanya sebagai rangkaian karakter, tetapi sebagai representasi yang membantu model memahami konsep yang diminta.

Selanjutnya, informasi teks digunakan selama proses reverse diffusion. Pada banyak arsitektur, mekanisme cross-attention membantu model menghubungkan representasi visual dengan informasi dari prompt.

Ketika membentuk gambar, model dapat memanfaatkan informasi mengenai objek, atribut, hubungan antarbenda, dan konteks yang terkandung dalam teks. Instruksi tentang kucing membantu mengarahkan pembentukan karakteristik visual yang sesuai, sementara kata astronot dan Mars memberikan petunjuk tambahan mengenai pakaian dan latar belakang.

Meski demikian, hubungan antara teks dan hasil gambar tidak selalu sempurna. Prompt yang terlalu panjang, instruksi yang saling bertentangan, atau konsep yang jarang dipelajari model dapat menghasilkan gambar yang tidak sepenuhnya sesuai harapan.

Karena itu, kualitas prompt tetap berpengaruh. Deskripsi yang jelas mengenai subjek, latar, pencahayaan, komposisi, dan gaya visual biasanya lebih membantu dibandingkan instruksi yang terlalu umum.

4. Peran U-Net dalam Membersihkan Noise

Salah satu arsitektur jaringan saraf yang banyak digunakan dalam diffusion models klasik adalah U-Net. Arsitektur ini awalnya dikenal luas melalui bidang pemrosesan citra, terutama untuk segmentasi gambar, sebelum diadaptasi untuk berbagai tugas generatif.

U-Net memiliki struktur yang menyerupai huruf U, dengan jalur pemrosesan yang mengecilkan representasi data dan jalur lain yang membangunnya kembali. Bagian pertama membantu jaringan memahami konteks yang lebih luas, sedangkan bagian kedua mengembalikan informasi spasial agar prediksi dapat mempertahankan detail yang relevan.

Hubungan antara kedua jalur tersebut dibantu oleh skip connections, yaitu koneksi yang meneruskan informasi dari tahap tertentu ke tahap lainnya. Mekanisme ini membantu jaringan menggabungkan informasi tingkat tinggi dan detail lokal.

Dalam diffusion models, U-Net dapat menerima sampel gambar yang telah diberi noise serta informasi mengenai langkah waktu. Pada model yang dikondisikan oleh teks, informasi prompt juga dapat dimasukkan melalui mekanisme tertentu, termasuk cross-attention.

Jaringan kemudian menghasilkan prediksi yang digunakan untuk memperkirakan noise atau parameter lain yang diperlukan dalam proses denoising. Prediksi tersebut menjadi dasar untuk menghitung sampel pada langkah berikutnya.

Walaupun U-Net sangat berpengaruh dalam perkembangan awal text-to-image diffusion, tidak semua model modern menggunakan arsitektur tersebut. Sebagian sistem memakai arsitektur berbasis transformer, termasuk pendekatan yang dikenal sebagai diffusion transformer atau DiT.

Dengan demikian, prinsip difusi tidak bergantung pada satu jenis jaringan saraf saja. Arsitektur yang digunakan dapat berkembang, sementara gagasan utamanya tetap berupa pembentukan data melalui proses generasi bertahap.

5. Mengapa Diffusion Models Bisa Menghasilkan Gambar Realistis?

Kemampuan menghasilkan gambar realistis berasal dari proses pelatihan menggunakan banyak contoh data. Selama pelatihan, model belajar memprediksi noise atau melakukan tugas terkait pada sampel yang telah diberi gangguan.

Secara umum, model mengambil gambar pelatihan, memilih langkah waktu, menambahkan noise sesuai aturan, lalu membandingkan prediksi jaringan dengan target yang diketahui. Perbedaan antara prediksi dan target digunakan untuk menghitung loss, yaitu ukuran kesalahan model.

Pada model prediksi noise yang sederhana, salah satu fungsi loss yang digunakan adalah mean squared error. Tujuannya adalah mendorong prediksi noise agar semakin mendekati noise yang sebenarnya ditambahkan.

Melalui proses optimisasi yang berulang, model mempelajari pola statistik dalam data pelatihan. Pola tersebut mencakup karakteristik bentuk, tekstur, pencahayaan, warna, dan hubungan antarelemen visual.

Ketika digunakan untuk menghasilkan gambar, pengetahuan statistik itu membantu model mengubah noise menjadi sampel yang menyerupai data yang telah dipelajari. Prompt kemudian mengarahkan sampel menuju konsep visual tertentu.

Meski hasilnya dapat tampak sangat realistis, model tidak benar-benar memahami dunia seperti manusia. Model menghasilkan gambar berdasarkan pola yang dipelajari, sehingga terkadang masih membuat kesalahan, seperti bentuk tangan yang aneh, tulisan yang tidak masuk akal, atau hubungan objek yang tidak logis.

Kualitas hasil juga dipengaruhi oleh data pelatihan, ukuran model, metode sampling, pengaturan generasi, dan kemampuan sistem memahami prompt.

6. Diffusion Models vs. GAN: Apa Perbedaannya?

Sebelum diffusion models menjadi populer, Generative Adversarial Networks atau GAN merupakan salah satu pendekatan penting dalam pembuatan gambar menggunakan AI.

GAN melibatkan dua jaringan utama, yaitu generator dan discriminator. Generator berusaha menciptakan sampel yang tampak realistis, sedangkan discriminator belajar membedakan sampel buatan dari data asli. Keduanya dilatih melalui proses kompetitif.

Pendekatan ini dapat menghasilkan gambar berkualitas tinggi, tetapi pelatihannya terkadang tidak stabil. Salah satu masalah yang dikenal adalah mode collapse, ketika generator cenderung menghasilkan variasi yang terbatas dan mengabaikan sebagian keragaman data.

Diffusion models menggunakan pendekatan berbeda. Model mempelajari proses denoising bertahap, sehingga pelatihannya dapat dirumuskan melalui objektif yang relatif terstruktur dan tidak memerlukan kompetisi generator-discriminator seperti pada GAN.

Aspek	Diffusion Models	GAN
Prinsip utama	Menghilangkan noise secara bertahap	Generator dan discriminator saling bersaing
Proses generasi	Umumnya melalui beberapa langkah sampling	Sering kali menghasilkan sampel dalam satu kali proses generator
Tantangan	Generasi dapat membutuhkan komputasi berulang	Pelatihan dapat tidak stabil dan mengalami mode collapse
Keunggulan	Fleksibel dalam pembentukan detail dan pengondisian	Inferensi dapat sangat cepat setelah pelatihan

Perbandingan tersebut merupakan gambaran umum, bukan aturan mutlak. GAN tetap memiliki keunggulan pada sejumlah tugas, sedangkan diffusion models juga membutuhkan sumber daya komputasi yang besar, terutama ketika menghasilkan gambar beresolusi tinggi.

Kesimpulan

Diffusion Models merupakan salah satu fondasi penting dalam perkembangan teknologi AI generatif modern. Dengan mempelajari proses penambahan dan penghilangan noise, model dapat mengubah sampel acak menjadi gambar yang memiliki struktur visual berdasarkan pola dari data pelatihan.

Proses tersebut terdiri atas forward diffusion yang menambahkan gangguan secara bertahap dan reverse diffusion yang memperkirakan cara menghilangkan gangguan tersebut. Ketika digunakan untuk text-to-image, prompt memberikan arahan melalui representasi numerik, sementara jaringan saraf seperti U-Net atau arsitektur lain membantu menjalankan proses generasi.

Kombinasi antara matematika probabilitas, jaringan saraf, dan pengondisian teks memungkinkan platform pembuat gambar AI menghasilkan visual dengan detail dan variasi yang mengesankan.

Meski demikian, teknologi ini bukan mesin ajaib yang selalu memahami instruksi secara sempurna. Hasil akhirnya tetap dipengaruhi oleh kualitas model, data pelatihan, prompt, dan metode generasi yang digunakan. Memahami prinsip dasarnya membantu kita melihat bahwa gambar AI yang tampak sederhana sebenarnya lahir dari proses matematika yang berlangsung dalam banyak tahapan.