Meta menunjukkan bahwa mereka sedang mengerjakan sesuatu yang baru dalam industri AI pada bulan April lalu: sebuah model open-source yang memiliki kinerja yang sebanding dengan model privat terbaik dari perusahaan-perusahaan, seperti OpenAI.
Model itu telah rilis hari ini. Menurut Meta, Llama 3.1 adalah model AI open-source terbesar yang pernah ada. Menurut beberapa ukuran, ia mengalahkan GPT-4o dan Anthropic’s Claude 3.5 Soneta.
Sambil menambahkan fitur yang dapat menghasilkan gambar berdasarkan kemiripan seseorang, ini juga membuat asisten Meta AI berbasis Llama tersedia di lebih banyak negara dan bahasa. Menurut CEO Mark Zuckerberg, Meta AI akan melampaui ChatGPT sebagai asisten yang paling banyak digunakan pada akhir tahun ini.
Model Llama 3.1, yang baru-baru ini dikeluarkan, jauh lebih kompleks daripada model Llama 3, yang lebih kecil. Dengan lebih dari 16.000 GPU H100 Nvidia yang sangat mahal, versi terbesarnya memiliki 405 miliar parameter.
Biaya pengembangan Llama 3.1 tidak diungkapkan oleh Meta, tetapi, berdasarkan harga chip Nvidia saja, dapat diprediksi bahwa harganya mencapai ratusan juta dolar.
Dengan biaya tersebut, mengapa Meta masih memberikan lisensi kepada Llama yang hanya memerlukan persetujuan dari perusahaan yang memiliki ratusan juta pengguna? Zuckerberg menyatakan dalam sebuah surat yang diterbitkan di blog perusahaan Meta bahwa model AI open-source akan mengambil alih model AI berpemilik, yang sudah berkembang lebih cepat daripada model berpemilik.
Ini serupa dengan bagaimana Linux menjadi sistem operasi open-source yang mendukung sebagian besar gawai, server, dan ponsel saat ini.
Dia membandingkan investasi Meta dalam AI sumber terbuka dengan Open Compute Project sebelumnya, yang menurutnya telah menyelamatkan perusahaan “miliaran” dengan meminta perusahaan luar seperti HP untuk membantu meningkatkan dan menstandarisasi desain pusat data Meta saat membangun kapasitasnya sendiri.
Ke depannya, ia mengharapkan dinamika yang sama terjadi pada AI, dengan menulis, “Saya yakin rilis Llama 3.1 akan menjadi titik balik dalam industri di mana sebagian besar pengembang mulai menggunakan open source.”
Untuk membantu menyebarkan Llama 3.1 ke seluruh dunia, Meta bekerja sama dengan lebih dari dua lusin perusahaan, termasuk Microsoft, Amazon, Google, Nvidia, dan Databricks, untuk membantu para pengembang menerapkan versi mereka sendiri.
Meta mengklaim bahwa Llama 3.1 membutuhkan biaya sekitar setengah dari biaya produksi GPT-4o OpenAI. Meta merilis bobot model sehingga perusahaan dapat melatihnya dengan data khusus dan menyesuaikannya dengan keinginan mereka.
Tidak mengherankan bahwa Meta tidak banyak berbicara tentang data yang digunakan untuk melatih Llama 3.1. Sementara para kritikus mengatakan ini adalah taktik untuk memperlambat serangan hukum hak cipta yang tidak terhindarkan yang akan datang, mereka yang bekerja di perusahaan AI mengatakan bahwa mereka tidak mengungkapkan informasi ini karena ini adalah rahasia dagang.
Meta akan menyatakan bahwa versi Llama 3.1 dengan 405 miliar parameter memperbaiki versi 70 miliar dan 8 miliar yang lebih kecil, menggunakan data sintetis, atau data yang dibuat oleh model dan bukan manusia.
Llama 3.1 akan menjadi populer di kalangan pengembang sebagai “guru untuk model yang lebih kecil yang kemudian digunakan” dengan cara yang “lebih hemat biaya”, menurut Wakil Presiden Meta untuk AI generatif Ahmad Al-Dahle.
Al-Dahle mengusulkan bahwa akan ada batas akhir, meskipun mungkin lebih jauh dari yang dianggap oleh banyak orang, ketika saya bertanya apakah Meta setuju dengan konsensus yang berkembang bahwa industri ini kehabisan data pelatihan berkualitas untuk model. “Kami yakin bahwa masih ada beberapa pelatihan lagi,” katanya. “Tetapi sulit untuk mengatakannya.”
Mencari potensi keamanan siber dan kasus penggunaan biokimia adalah bagian dari tim merah Meta (atau pengujian adversarial) Llama 3.1 untuk pertama kalinya. Meta menggambarkan perilaku “agen” yang muncul sebagai alasan tambahan untuk menguji model ini dengan lebih teliti.
“Mengambil informasi dari internet berdasarkan kueri yang rumit dan memanggil beberapa alat secara berurutan untuk menyelesaikan tugas-tugas” adalah tujuan dari integrasi Llama 3.1 dengan API mesin pencari, menurut Al-Dahle.
Meminta model untuk menghitung jumlah rumah yang terjual di Amerika Serikat selama lima tahun terakhir adalah contoh tambahan yang ia berikan. “Model ini dapat mengambil pencarian [web] untuk Anda, membuat kode Python dan menjalankannya.”
Implementasi Llama sendiri adalah asisten AI Meta. Chatbot multifungsi seperti ChatGPT dapat ditemukan di hampir semua bagian WhatsApp, Instagram, dan Facebook. Di Amerika Serikat, Llama 3.1 akan pertama kali tersedia melalui situs web Meta AI dan WhatsApp mulai minggu ini.
Dalam beberapa minggu berikutnya, Facebook dan Instagram akan mengikuti. Selain itu, Llama 3.1 telah diperbarui untuk mendukung bahasa-bahasa baru seperti Spanyol, Hindi, Italia, Jerman, dan Prancis.
Jika permintaan yang tidak ditentukan dalam minggu tertentu melampaui model parameter 405 miliar yang paling canggih dari Llama 3.1, asisten akan mengalihkan pengguna ke model 70 miliar yang lebih kecil.
Dengan demikian, model 405 miliar terlalu mahal bagi Meta untuk dilaksanakan secara menyeluruh. Setelah melakukan penilaian penggunaan awal, perusahaan akan memberikan lebih banyak informasi tentang ambang batas permintaan, menurut Jon Carvill, juru bicara.
