NVIDIA kembali menghadirkan terobosan besar dalam dunia kecerdasan buatan dengan memperkenalkan Nemotron-4 340B, sebuah keluarga model generatif yang dirancang untuk menghasilkan data sintetis guna melatih model bahasa besar (LLM) di berbagai aplikasi komersial. Inovasi ini menawarkan solusi lengkap bagi para pengembang untuk mengakses data pelatihan berkualitas tinggi secara lebih efisien dan ekonomis.

Nemotron-4 340B terdiri dari tiga varian model utama: Instruct, Reward, dan Base, yang masing-masing memiliki peran khusus dalam proses generasi dan pemurnian data sintetis.

Instruct Model

Model ini bertujuan untuk menciptakan data sintetis yang beragam dan menyerupai data dunia nyata, meningkatkan kinerja dan ketahanan LLM khusus di berbagai domain. Instruct model ini adalah langkah awal dalam menghasilkan output data yang kemudian dapat diperbaiki dan ditingkatkan.

Reward Model

Model ini berfungsi sebagai filter dan peningkat kualitas data yang dihasilkan oleh AI. Reward model menilai respons berdasarkan lima atribut: bantuan, ketepatan, koherensi, kompleksitas, dan kelancaran. Model ini memastikan data sintetis yang dihasilkan berkualitas tinggi dan relevan dengan kebutuhan aplikasi.

Base Model

Model dasar ini berfungsi sebagai kerangka kerja untuk kustomisasi lebih lanjut. Dengan pelatihan pada 9 triliun token, model ini dapat disesuaikan menggunakan data milik sendiri dan berbagai dataset untuk memenuhi kasus penggunaan spesifik. Berkat framework NeMo, model ini mendukung berbagai metode fine-tuning termasuk low-rank adaptation (LoRA).

Data pelatihan berkualitas tinggi ini adalah kunci dalam mengembangkan LLM yang andal. Namun, mengakses data semacam itu sering kali mahal dan sulit. Nemotron-4 340B hadir untuk mengatasi tantangan ini melalui lisensi model terbuka yang memungkinkan generasi data sintetis secara gratis dan dapat diskalakan.

Model ini dioptimalkan untuk bekerja dengan framework open-source NVIDIA NeMo dan library inferensi NVIDIA TensorRT-LLM, meningkatkan efisiensi dan skalabilitasnya.

Nemotron-4 340B Instruct model, misalnya, sangat berperan dalam menghasilkan data sintetis yang sangat mirip dengan data dunia nyata, yang secara langsung meningkatkan kualitas data dan performa LLM khusus di berbagai domain.

Data yang dihasilkan kemudian dapat disaring dan ditingkatkan menggunakan Reward model, yang menilai kualitas berdasarkan atribut tertentu untuk memastikan data tersebut relevan dan akurat.

Nemotron-4 340B Base model juga menyediakan fondasi yang dapat disesuaikan oleh para peneliti dan pengembang menggunakan data milik mereka sendiri, termasuk dataset HelpSteer2. Proses kustomisasi ini didukung oleh framework NeMo yang menawarkan berbagai metode fine-tuning seperti supervised fine-tuning dan LoRA, memungkinkan adaptasi model untuk tugas-tugas tertentu dengan lebih akurat dan efektif.

Selain itu, semua model Nemotron-4 340B dioptimalkan dengan TensorRT-LLM untuk memanfaatkan paralelisme tensor, yaitu bentuk paralelisme model yang mendistribusikan matriks bobot individu ke beberapa GPU dan server. Ini memungkinkan inferensi yang efisien dalam skala besar, menangani dataset besar dan komputasi kompleks dengan lebih efektif.

Selain itu, keamanan model juga menjadi fokus utama. Nemotron-4 340B Instruct model telah menjalani evaluasi keamanan ekstensif, termasuk pengujian adversarial, dan menunjukkan performa baik di berbagai indikator risiko.

Meski demikian, NVIDIA mendorong pengguna untuk tetap melakukan evaluasi hati-hati terhadap output model guna memastikan data sintetis yang dihasilkan aman, akurat, dan sesuai dengan kebutuhan spesifik mereka.