Joshua Alexander Heriyanto, Sarah Hasna Azzahra

Pada April 2021, HUAWEI CLOUD merilis seri Pangu untuk model super-large pre-training, diantaranya pre-training model untuk computer vision (CV) terbesar di dunia dengan 3 miliar parameter dan pre-training model natural language process (NLP) Cina terbesar di dunia.

Di antaranya, HUAWEI CLOUD Pangu NLP large model memiliki pemahaman bahasa dan kemampuan generasi model yang terkemuka: Dalam benchmark evaluasi pemahaman Bahasa Cina CLUE, model Pangu NLP large model menduduki peringkat pertama secara total peringkat, klasifikasi, dan pemahaman membaca, ketiganya mencetak rekor dunia. Total skor peringkatnya adalah 83.046, yang terbaik di industri serta merupakan langkah besar menuju level manusia (85.61).

Bukan kebetulan bahwa Huawei Cloud Pangu large models memiliki hasil yang baik. “Ribuan milyar parameter” dan “model dengan TB-level memori” dibalik Huawei Cloud Pangu Large Model yang menjadi alasan utama kesuksesannya.

Large models tentunya memiliki data yang banyak. Bagaimana cara melakukan training pada large model?

Huawei Cloud Pangu large models di-training berdasarkan prosesor AI Ascend dan arsitektur komputasi heterogen CANN dapat mengurangi waktu training dengan signifikan.

Apa itu CANN?

Untuk meningkatkan efisiensi pengembangan dan menunjukkan kemampuan komputasi tertinggi dari prosesor Al Ascend, Huawei Ascend CANN (Compute Architecture for Neural Networks) adalah sebuah arsitektur komputasi heterogen yang dikembangkan oleh Huawei untuk skenario AI. CANN mendukung mainstream front-end frameworks di industri, pembungkus perbedaan hardware seri chip dari pengguna, dan memenuhi persyaratan aplikasi AI pengguna dalam semua skenario dengan fungsi software berlimpah.

Saat ini, CANN 3.0 telah dirilis. Versi 5.0 diperkirakan akan dirilis secara resmi pada bulan Desember 2021. CANN menggunakan sebuah pemrograman arsitektur terpadu dan mendukung inference dan skenario training di perangkat, edge, dan cloud untuk mengimplementasikan 3 fungsi.

Enables all scenarios: Mainstream AI framework ini mendukung 14+ mainstream OS, menerapkan 1x pengembangan dan fleksibel dari berbagai hardware dan lingkungan operasi di semua skenario

Enables simplified development: Unified programming interface Ascend Computing Language (AscendCL) digunakan sebagai pembungkus supaya dapat membedakan proses yang kompleks pada prosesor untuk pengembang. Pengembang hanya perlu menguasai satu set API untuk menerapkan ke semua seri chip Ascend, dari skenario inference hingga training

Ultimate performance: Optimisasi kolaborasi dari software dan hardware, teknologi kompilasi grafik Ascend, dan lebih dari 1200 operator kinerja tinggi digunakan untuk mengeluarkan daya komputasi chip Ascend

Kemampuan CANN:

CANN menyediakan pengalaman full proses pengembangan, termasuk pengembangan operator, pengembangan model, dan pengembangan aplikasi yang mencakup semua scenario bagi para pengembang.

  • Pengembangan Operator

Antarmuka pengembangan bahasa DSL: menyediakan pengembangan antar muka berbasis memori. Pemetaan instruksi dan penjadwalan prosesor otomatis diimplementasikan. Pengembang dapat mengembangkan operator berkinerja tinggi hanya dengan berfokus pada perhitungan logika operator tanpa perlu memahami detail hardware. Menurut statistik, lebih dari 60% persyaratan pengembangan operator dapat dipenuhi.

Antarmuka pengembangan bahasa TIK: menyediakan satu set bahasa pemrograman lengkap yang terlihat berdasarkan internal buffer prosesor. Pengembang dapat menentukan jumlah data yang akan ditransfer dari dan ke prosesor, sehingga sepenuhnya mengeksploitasi kapabilitas chip dan meningkatkan kinerja pengembangan operator.

  • Pengembangan Model
    • Mendukung berbagai framework pengembangan model, seperti MindSpore, TensorFlow, PyTorch, dan ONNX.
    • Mendukung isolasi perbedaan upper-layer frame melalui antarmuka Ascend IR terstandarisasi untuk komposisi langsung dan pengembangan model.
  • Pengembangan Aplikasi

Menyediakan satu set antarmuka standar pemrograman AscendCL untuk meningkatkan efisiensi pemrograman aplikasi.

Teknologi CANN:

  • High-performance operator library: mendukung 1200+ operator termasuk TensorFlow, Pytorch, Mindspore, dan Onnx. Pengembang dapat mengembangkan model berdasarkan operator bawaan
  • Automatic convergence technology: Mendukung penggabungan otomatis berdasarkan operator, subgraph, dan dimensi lingkup, dan penggabungan DSL dinamis, yang mengurangi node komputasi secara efektif, mempersingkat waktu komputasi, dan mempercepat prosesor AI Ascend secara instan
  • Heterogeneous deployment scheduling framework: Unit eksekusi heterogen dari chip Ascend sepenuhnya digunakan untuk mengalokasikan tugas-tugas komputasi ke mesin komputasi yang paling sesuai, orkestra dan pipeline asinkron yang efisien, meningkatkan keseluruhan efisiensi tugas komputasi
  • Efficient memory life cycle management algorithm: menggunakan ulang seluruh memori dan pertukaran data efisien sehingga seimbang antara sumber daya dan efisiensi
  • Pre-trained mainstream model library di industri: Huawei Ascend Model Zoo menyediakan kode lebih dari 100 mainstream model dan parameter optimisasi yang sesuai untuk menyediakan shelf-style reference bagi pengembang. Penjelasan lebih rinci: https://www.hiascend.com/en/software/modelzoo
  • High-performance graph sinking execution framework: Semua komputasi dikirim ke chip untuk mengurangi waktu interaksi antara CPU dan chip, mengimplementasikan training tingkat tinggi dan inferensi.
  • High-performance dynamic graph scheduling: Penjadwalan grafik dinamis berkinerja tinggi: mendukung skema eksekusi operator tunggal berdasarkan pada asynchronous pipeline, dan juga mendukung interaksi H2D dan D2H yang fleksibel untuk memecahkan masalah high-performance running mode grafik dinamis dalam frameworks seperti PyTorch.
  • Industry-leading intelligent optimization: Mendukung banyak algoritma optimisasi, seperti reinforcement learning, algoritma genetika, dan CostModel, dan menyediakan opsi optimisasi tingkat operator atau graph untuk menyediakan pengalaman optimisasi kinerja optimal.

CANN Versi 5.0 akan memberikan lebih banyak imajinasi. Pelajari lebih lanjut di komunitas Ascend https://www.hiascend.com/.