HUAWEI CLOUD Pangu Large Model Mentransformasi Industri AI

HUAWEI CLOUD Pangu Large Model Mentransformasi Industri AI

Apa yang Anda rasakan jika Anda menginginkan sebuah kulkas tetapi harus merakit sendiri, mulai dari kompresor, panel logam, hingga kotak kontainernya? Apa yang Anda rasakan jika Anda menginginkan sebuah mobil tetapi harus merakit ban sendiri dari tumpukan karet?

Saat ini, pengembangan AI seperti contoh gambar di atas. Rintangan terbesar dalam pengaplikasian AI saat ini adalah fragmentasi aplikasi AI dan pengembangan bergaya workshop yang sangat tidak efisien. Umumnya kita mengembangkan satu model untuk satu skenario dan dimulai dari nol, tuning independen, iterasi yang sulit, kemudian jika modelnya tidak sesuai dengan yang diinginkan, harus mengulang dari awal. Dengan cara ini, siklus pengembangan dapat memakan waktu beberapa bulan.

Oleh karena itu, model pengembangan AI membutuhkan cara baru yaitu mengubah dari gaya workshop menjadi industrialisasi. Dalam pengembangan terindustrialisasi, digunakan model pre-training + metode fine-tuning, satu model dapat digunakan untuk beberapa skenario, akurasi yang lebih tinggi dan lebih robust, sehingga proses pengembangan dapat dipersingkat menjadi beberapa hari atau bahkan hanya beberapa jam saja.

Munculnya GPT dan BERT pada tahun 2018 memicu perhatian publik dari industri AI. Secara logis, large scale pre-trained model dalam bidang NLP menggunakan self-supervised learning untuk mempelajari banyak parameter dengan dukungan daya komputasi berskala besar. Bukan hanya merevolusi kemampuan algoritma NLP, tetapi juga menyelesaikan banyak training task yang seharusnya diselesaikan oleh pengguna. Hal Ini seperti mengajarkan siswa semua jenis pengetahuan terlebih dahulu agar mereka memiliki pengetahuan dasar industri, bukan menunggu sampai mereka memasuki perusahaan dahulu, sehingga mengurangi biaya pelatihan perusahaan.

Saat ini, large-scale pre-training model telah menjadi sebuah “kebutuhan” bagi vendor AI dan lembaga penelitian di dunia. Jumlah parameter yang dilatih sudah mencapai miliaran dan kebutuhan komputasi juga meningkat. GPT-3 milik OpenAI yang dirilis pada tahun 2020 memiliki 175 miliar parameter dan menggunakan puluhan ribu GPU. Bisa dikatakan bahwa sebuah large-scale pre-training model bukan hanya menguji inovasi algoritma dan kemampuan optimisasi, tetapi juga menguji kemampuan data, komputasi paralel, arsitektur jaringan, alat pengembangan, dan kemampuan-kemampuan lainnya. Untuk mengubah AI menjadi produk yang terstandarisasi dan quasi-finished, kita perlu berinvestasi lebih banyak pada kemampuan teknis dan sumber daya industri.

Pada tahun 2021, Huawei secara resmi meluncurkan large AI model yang disebut Pangu Large Models. Model- model ini diluncurkan dan melayani pelanggan melalui Huawei Cloud.

Model pre-training Pangu yang dirilis oleh HUAWEI CLOUD pada bulan April tahun ini yang meliputi model Pangu NLP (pre-training large model industri Cina pertama dengan 100 miliar parameter dan memimpin di peringkat CLUE), model Pangu CV, model Pangu multimodal, dan model Pangu untuk komputasi ilmiah.

Pangu Large Models memiliki 3 prinsip desain:

  1. Super-large neural network yang bisa menyerap data dalam jumlah besar
  2. Struktur jaringan yang kuat
  3. Kemampuan generalisasi yang sangat baik

Pangu Large Models memiliki 3 tahap pengembangan:

  1. Pre-training
  2. Model fine-tuning dan deployment
  3. Iterasi large model

Jalur perakitan dan alat-alatnya yang teritegrasi membuat pelatihan Pangu Large Models lebih cepat dan meningkatkan efisiensi lebih dari 10 kali.

Pangu pre-trained Large Models  memiliki inovasi teknologi terkemuka. Model Pangu NLP Huawei menggunakan arsitektur Encoder-Decoder pertama kalinya, dengan mempertimbangkan kemampuan NLU dan NLG yang sangat baik, mendapat peringkat pertama di NLPCC dengan skor 60% lebih tinggi dari peringkat kedua. Metode pembelajaran multi-task dari model Pangu NLP Huawei membuat model yang besar menjadi lebih stabil; terlebih performa hint-based fine-tuning miliknya dapat melampaui seri GPT dalam small sample learning. Pelatihan Pangu NLP large model Huawei menggunakan 40TB data teks yang berisi pengetahuan umum dan pengalaman industri Huawei yang terakumulasi sekian lama.

Pangu CV large model adalah model extraction secara on-demand yang direalisasikan untuk pertama kalinya dalam industri ini. Ukuran dari model yang diekstraksi berbeda-beda tergantung pada penggunaannya di edge atau device lainnya, serta jangkauan dinamisnya dapat mencapai tiga kali lipat. Pembelajaran komparatif yang digunakan berdasarkan kesamaan membuat kemampuan small sample learning-nya mendapat peringkat pertama di industri pada dataset ImageNet.

Ada banyak inovasi teknologi di balik model Pangu. Selama dua tahun terakhir, model Pangu telah memenangkan lebih dari 10 tantangan industri, lebih dari 30 aplikasi paten, menerbitkan lebih dari 70 jurnal IEEE dan ACM, dan lebih dari 120 makalah konferensi CCF Kelas A.

Pangu pre-training model telah berhasil diverifikasi di lebih dari 100 skenario dari berbagai industri, diantara lain industri energi, ritel, keuangan, manufaktur, kesehatan, lingkungan, dan logistik.

Dalam industri manufaktur, Huawei membantu customer manufactur AC mengurangi biaya listrik hingga 50%.

Dalam industri keuangan, Pangu large model digunakan untuk mendeteksi anomali dalam keuangan untuk meningkatkan ketepatan model hingga lebih dari 20%.

Dalam industri kesehatan untuk mendeteksi COVID-19, akurasi identifikasi kasus meningkat  sebesar 22%.

Mengapa Pangu large models dapat mendukung berbagai industri untuk menghasilkan inovasi yang kaya dan beragam serta pengaplikasian yang cerdas? Karena ia memiliki algoritma AI yang kuat serta didampingi dengan daya komputasi serta kapasitas data yang mumpuni sebagai fondasinya.

Untuk melatih model ini, diperlukan beberapa teknologi dasar yang canggih.

  1. Kemampuan super computing. Huawei melakukan training dengan menggunakan 2560 super AI node dengan daya komputasi yang sangat masif.
  2. Kemampuan komputasi parallel. Diperlukan kemampuan komunikasi jaringan terbaik untuk melakukan large model training.
  3. Kemampuan pengolahan data secara masif dan efisien. Platform ModelArts Huawei Cloud mampu menyelesaikan pengolahan 40TB data hanya dalam waktu 7 hari.

Pangu large model sudah diluncurkan di HUAWEI CLOUD dan AI Gallery di Cina untuk melayani para pengembang dan pelanggan. Tahun depan, Huawei Cloud akan membuka node lokal di Indonesia, bersamaan dengan itu Huawei juga akan merilis layanan AI large models untuk pasar AI Indonesia.

Stay tuned!