Daftar Isi

 

Mengenal HBM, Memori Super Cepat yang Jadi Tulang Punggung GPU dan AI

Ketika membicarakan performa komputer, perhatian biasanya tertuju pada prosesor, GPU, kapasitas RAM, atau jumlah core. Namun, ada satu komponen yang tidak kalah penting dalam menentukan seberapa cepat sebuah sistem dapat mengolah data, yaitu memori.

Semakin cepat sebuah prosesor bekerja, semakin cepat pula data harus tersedia untuk diproses. Jika prosesor memiliki kemampuan komputasi yang sangat besar tetapi memori tidak mampu memasok data dalam jumlah yang cukup, sebagian kemampuan prosesor akhirnya tidak dapat dimanfaatkan secara maksimal.

Masalah inilah yang coba diatasi oleh High Bandwidth Memory (HBM).

HBM merupakan teknologi memori berkecepatan tinggi yang dirancang untuk menyediakan bandwidth jauh lebih besar dibandingkan memori konvensional seperti DDR maupun GDDR. Teknologi ini banyak digunakan pada GPU performa tinggi dan akselerator komputasi, terutama perangkat yang dirancang untuk menangani beban kerja kecerdasan buatan (AI) dalam skala besar.

Menariknya, rahasia HBM bukan hanya terletak pada penggunaan chip memori yang lebih cepat. Salah satu kunci utamanya adalah cara chip tersebut disusun dan dihubungkan dengan prosesor.

Apa Itu High Bandwidth Memory?

High Bandwidth Memory atau HBM adalah jenis memori dengan bandwidth sangat tinggi yang menggunakan pendekatan berbeda dari memori grafis konvensional seperti GDDR.

Pada memori GDDR, chip memori umumnya ditempatkan di sekitar GPU pada papan sirkuit atau PCB. Data harus bergerak melalui jalur koneksi yang relatif panjang antara GPU dan chip-chip memori tersebut.

HBM menggunakan pendekatan yang lebih terintegrasi. Beberapa lapisan die DRAM ditumpuk secara vertikal sehingga membentuk satu paket memori yang memiliki kapasitas besar dan jalur komunikasi sangat lebar.

Pendekatan tersebut memungkinkan GPU atau akselerator AI mendapatkan akses ke bandwidth memori yang sangat besar dalam ruang fisik yang relatif terbatas.

Teknologi ini menjadi semakin penting karena GPU modern tidak hanya digunakan untuk menjalankan game. GPU kini juga menjadi mesin utama untuk berbagai pekerjaan komputasi paralel, termasuk pelatihan model AI, inferensi, simulasi ilmiah, analisis data, dan komputasi berperforma tinggi.

HBM Menggunakan Arsitektur 3D Stacking

Salah satu perbedaan paling menarik antara HBM dan memori tradisional adalah cara chip memorinya disusun.

Memori konvensional umumnya menggunakan susunan chip secara horizontal pada PCB. HBM justru menggunakan pendekatan 3D stacking, yaitu menumpuk beberapa lapisan chip memori secara vertikal.

Bayangkan sebuah gedung bertingkat. Jika ingin menambah kapasitas tanpa memperluas lahan, salah satu solusinya adalah membangun ke atas. Konsep yang kurang lebih sama digunakan pada HBM.

Beberapa lapisan die DRAM ditumpuk di atas sebuah lapisan dasar atau logic die. Setiap lapisan tersebut kemudian dapat berkomunikasi melalui jalur vertikal yang menghubungkan bagian-bagian dalam tumpukan memori.

Dengan struktur seperti ini, produsen tidak harus menempatkan seluruh chip memori dalam susunan melebar di sekitar prosesor. Kapasitas memori dapat ditingkatkan dengan menambah lapisan secara vertikal.

Generasi HBM yang lebih baru juga terus meningkatkan jumlah lapisan die yang dapat digunakan dalam satu tumpukan. Pendekatan ini membuat kapasitas dan bandwidth dapat berkembang tanpa harus memperbesar area PCB secara drastis.

Baca juga : Apa Itu True Tone di iPhone? Begini Cara Kerja dan Cara Mengaktifkannya

Apa Itu TSV dan Mengapa Penting?

Agar lapisan-lapisan DRAM yang ditumpuk secara vertikal dapat saling berkomunikasi, dibutuhkan teknologi khusus bernama Through-Silicon Via (TSV).

TSV merupakan jalur vertikal yang dibuat menembus lapisan silikon. Jalur tersebut kemudian digunakan untuk menghubungkan berbagai lapisan chip dalam satu tumpukan.

Jika dianalogikan sebagai gedung bertingkat, TSV dapat dibayangkan seperti jaringan lift atau jalur vertikal yang memungkinkan data berpindah dari satu lantai ke lantai lainnya.

Teknologi ini sangat penting karena HBM tidak hanya mengandalkan peningkatan kecepatan clock. HBM menggabungkan struktur fisik yang lebih rapat dengan jalur komunikasi yang sangat lebar.

Dengan jarak koneksi yang pendek dan integrasi yang erat, data dapat berpindah antara prosesor dan memori dengan lebih efisien.

Inilah salah satu alasan HBM mampu menawarkan bandwidth yang sangat besar tanpa harus mengandalkan frekuensi memori setinggi yang mungkin diperlukan jika menggunakan pendekatan tradisional.

Interposer Menjadi Jembatan antara GPU dan HBM

Tumpukan HBM tidak dipasang begitu saja di PCB lalu dihubungkan menggunakan jalur biasa seperti memori konvensional.

HBM biasanya ditempatkan sangat dekat dengan GPU atau akselerator AI menggunakan komponen bernama silicon interposer.

Interposer dapat dipahami sebagai lapisan perantara yang menjadi tempat GPU dan beberapa tumpukan HBM terhubung dalam satu paket.

Konsep integrasi seperti ini sering disebut sebagai 2.5D packaging. GPU dan HBM tidak benar-benar ditumpuk langsung satu di atas yang lain, tetapi ditempatkan berdampingan di atas interposer yang sama.

Keuntungan utamanya adalah jalur komunikasi antara GPU dan HBM dapat dibuat sangat pendek dan sangat padat.

Jika koneksi pada PCB konvensional ibarat jalan raya yang menghubungkan dua wilayah yang cukup berjauhan, interposer lebih mirip jaringan jalan yang sangat rapat di dalam satu kawasan.

Rahasia Bandwidth HBM Ada pada Bus yang Sangat Lebar

Salah satu keunggulan terbesar HBM adalah lebar jalur datanya.

Memori konvensional dapat meningkatkan bandwidth dengan menaikkan kecepatan transfer. HBM mengambil pendekatan lain dengan menyediakan jalur data yang sangat lebar.

Satu tumpukan HBM dapat memiliki bus width yang mencapai ratusan hingga ribuan bit, tergantung generasi dan implementasinya. Angka tersebut jauh lebih besar dibandingkan konfigurasi bus pada banyak implementasi GDDR.

Bayangkan jika sebuah jalan hanya memiliki beberapa lajur. Salah satu cara meningkatkan jumlah kendaraan yang bisa lewat adalah membuat kendaraan bergerak lebih cepat.

Namun, cara lainnya adalah menambah jumlah lajur.

HBM banyak menggunakan pendekatan kedua. Jalur datanya dibuat sangat lebar sehingga lebih banyak data dapat ditransfer secara bersamaan.

Hasilnya adalah bandwidth yang dapat mencapai skala terabyte per detik pada sistem kelas atas.

Mengapa AI Sangat Membutuhkan HBM?

Kebutuhan terhadap HBM semakin besar seiring perkembangan AI generatif dan model kecerdasan buatan berukuran besar.

Model AI modern dapat memiliki miliaran bahkan triliunan parameter. Ketika model tersebut dilatih atau digunakan untuk inferensi, akselerator AI harus terus mengambil dan memproses data dalam jumlah sangat besar.

Di sinilah muncul fenomena yang sering disebut sebagai memory wall.

Prosesor dapat menjadi semakin cepat berkat peningkatan jumlah core, arsitektur, dan kemampuan komputasi. Namun, peningkatan performa prosesor tidak otomatis diikuti peningkatan kemampuan memori untuk memasok data.

Jika memori terlalu lambat, prosesor dapat menghabiskan sebagian waktunya menunggu data.

HBM membantu mengurangi masalah tersebut dengan menyediakan bandwidth yang sangat tinggi. GPU atau akselerator AI dapat menerima data dalam jumlah besar secara lebih cepat sehingga kemampuan komputasinya dapat dimanfaatkan secara lebih optimal.

Dengan kata sederhana, GPU yang sangat cepat membutuhkan "pipa data" yang juga besar. HBM menyediakan pipa tersebut.

HBM Juga Membantu Efisiensi Energi

Bandwidth besar bukan satu-satunya alasan HBM digunakan pada akselerator AI. Efisiensi energi juga menjadi faktor penting.

Pusat data AI membutuhkan listrik dalam jumlah besar. Karena itu, setiap peningkatan efisiensi pada proses komputasi dan transfer data menjadi sangat berarti.

HBM menempatkan memori sangat dekat dengan prosesor. Jalur komunikasi yang pendek melalui interposer dan koneksi internal seperti TSV dapat membantu mengurangi energi yang dibutuhkan untuk memindahkan setiap bit data dibandingkan sistem dengan jalur koneksi yang lebih panjang.

Hal ini penting karena dalam beban kerja AI, perpindahan data terjadi dalam jumlah yang sangat besar.

Penghematan energi per bit mungkin terlihat kecil jika hanya melihat satu operasi. Namun, ketika dikalikan dengan miliaran atau bahkan triliunan transfer data, efisiensinya dapat menjadi sangat signifikan.

Kapasitas Besar dalam Ruang yang Terbatas

Selain bandwidth dan efisiensi energi, HBM menawarkan keuntungan berupa kepadatan memori.

Karena die DRAM dapat ditumpuk secara vertikal, kapasitas yang besar dapat ditempatkan dalam area fisik yang relatif kecil.

Generasi HBM yang lebih baru juga menggunakan lebih banyak lapisan dalam satu tumpukan. Dengan perkembangan tersebut, kapasitas memori dapat terus ditingkatkan tanpa harus menempatkan semakin banyak chip secara horizontal di PCB.

Bagi akselerator AI, pendekatan ini sangat berguna. Perangkat tersebut membutuhkan kapasitas memori besar sekaligus bandwidth tinggi.

Menambahkan kapasitas menggunakan memori konvensional dapat membutuhkan ruang fisik dan jalur koneksi yang lebih banyak. HBM menawarkan pendekatan yang lebih padat dengan menggabungkan stacking vertikal dan koneksi berbandwidth tinggi.

Contoh Penggunaan HBM pada Akselerator AI

HBM banyak ditemukan pada produk komputasi kelas atas yang membutuhkan bandwidth memori sangat besar.

Salah satu contohnya adalah akselerator data center seperti NVIDIA H100, generasi akselerator berbasis arsitektur Blackwell, serta keluarga AMD Instinct.

Perangkat seperti ini tidak dirancang terutama untuk menjalankan aplikasi desktop biasa. Fokusnya adalah beban kerja komputasi intensif seperti pelatihan dan inferensi AI, komputasi ilmiah, simulasi, dan pekerjaan data center lainnya.

Dalam skenario tersebut, kemampuan menghitung saja tidak cukup. Akselerator membutuhkan akses cepat terhadap data yang jumlahnya sangat besar.

Karena itulah HBM menjadi bagian penting dari desain akselerator AI kelas atas.

Apakah HBM Akan Menggantikan GDDR dan DDR?

Meskipun HBM menawarkan bandwidth luar biasa besar, bukan berarti teknologi ini akan menggantikan seluruh jenis memori lainnya.

HBM memiliki desain dan proses packaging yang lebih kompleks sehingga penggunaannya lebih masuk akal pada perangkat yang benar-benar membutuhkan bandwidth sangat tinggi.

GPU gaming mainstream, PC, laptop, dan perangkat konsumen lainnya masih dapat menggunakan GDDR atau DDR karena kebutuhan dan pertimbangan biaya mereka berbeda.

HBM lebih cocok ketika peningkatan bandwidth, efisiensi transfer data, kepadatan memori, dan integrasi dengan prosesor memiliki nilai yang sangat besar.

Dengan demikian, HBM sebaiknya dipandang sebagai memori spesialis, bukan sekadar versi "RAM yang lebih cepat".

Kesimpulan

High Bandwidth Memory merupakan teknologi memori yang dirancang untuk menghadapi kebutuhan komputasi modern yang semakin haus bandwidth.

Keunggulannya berasal dari kombinasi beberapa teknologi. Die DRAM ditumpuk secara vertikal menggunakan pendekatan 3D stacking, sementara TSV memungkinkan komunikasi antarlapisan memori. Selanjutnya, silicon interposer menjadi jembatan yang menghubungkan tumpukan HBM dengan GPU atau akselerator AI melalui jalur komunikasi yang sangat rapat.

Kombinasi tersebut menghasilkan bus memory yang sangat lebar dan bandwidth yang dapat mencapai skala terabyte per detik pada sistem kelas atas.

Bagi akselerator AI, manfaat HBM bahkan lebih penting. Model AI berukuran besar membutuhkan aliran data yang sangat cepat agar prosesor tidak terus-menerus menunggu memori. HBM membantu mengurangi bottleneck tersebut sekaligus menawarkan efisiensi energi dan kepadatan kapasitas yang tinggi.

Itulah alasan mengapa teknologi seperti HBM menjadi salah satu fondasi penting dalam perkembangan GPU dan akselerator AI kelas atas.

Jika prosesor adalah otak yang melakukan perhitungan, HBM dapat dianalogikan sebagai jalur distribusi superlebar yang memastikan otak tersebut tidak kekurangan bahan untuk diproses. Semakin besar tuntutan komputasi AI, semakin penting pula kemampuan sistem untuk memindahkan data dengan cepat, efisien, dan dalam jumlah besar.