Di bidang AI, banyak pihak bersaing, perang model berlangsung dengan sengit

Bulan lalu, dunia AI mengadakan "perang hewan".

Llama yang diluncurkan oleh Meta sangat populer di kalangan pengembang karena fitur sumber terbukanya. Setelah meneliti dokumen dan kode Llama, NEC Jepang dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, yang mengatasi kendala pengembangan AI di Jepang.

Pihak lain adalah model besar yang bernama Falcon. Falcon-40B yang diluncurkan pada bulan Mei berhasil mengalahkan Llama dan menduduki puncak daftar peringkat LLM sumber terbuka. Daftar ini dibuat oleh komunitas model sumber terbuka, memberikan standar pengukuran kemampuan LLM dan peringkat. Peringkat ini pada dasarnya didominasi secara bergantian oleh Llama dan Falcon.

Setelah peluncuran Llama 2, keluarga llama melampaui, tetapi pada awal September Falcon meluncurkan versi 180B dan kembali merebut posisi teratas.

Menariknya, pengembang Falcon adalah Institut Riset Inovasi Teknologi di Abu Dhabi, ibu kota Uni Emirat Arab. Pejabat pemerintah menyatakan bahwa mereka terlibat dalam bidang ini untuk menggoyang pemain inti.

Pada hari setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" versi "Time", bersama dengan "Bapak AI" Hinton, dan Altman dari OpenAI.

Saat ini, bidang AI telah memasuki tahap keberagaman yang pesat. Negara dan perusahaan yang berpengaruh berlomba-lomba menciptakan model besar mereka sendiri. Di dalam lingkaran negara-negara Teluk saja, sudah ada lebih dari satu pemain; pada bulan Agustus, Arab Saudi membeli lebih dari 3000 unit H100 untuk melatih LLM di universitas dalam negeri.

Seorang investor pernah mengeluh: "Dulu saya meremehkan inovasi model bisnis internet, merasa tidak ada hambatan; tidak menyangka bahwa startup model besar teknologi keras tetap mengalami perang ratusan model..."

Bagaimana teknologi keras yang awalnya dianggap sulit kini menjadi sesuatu yang bisa dikerjakan oleh semua orang?

Transformer Memimpin Revolusi AI

Perusahaan rintisan asal Amerika, raksasa teknologi Tiongkok, dan taipan minyak dari Timur Tengah dapat memasuki bidang model besar berkat makalah terkenal itu "Attention Is All You Need."

Pada tahun 2017, delapan ilmuwan komputer dari Google mempublikasikan algoritma Transformer dalam makalah ini. Makalah ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah AI, dan munculnya Transformer memicu gelombang panas AI saat ini.

Saat ini, semua model besar, termasuk seri GPT yang menggemparkan dunia, dibangun di atas dasar Transformer.

Sebelum ini, "mengajar mesin untuk membaca" telah diakui sebagai tantangan akademis. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkan konteks untuk memahami.

Jaringan saraf awal memiliki input yang saling independen, tidak dapat memahami teks panjang bahkan seluruh artikel, yang menyebabkan masalah seperti menerjemahkan "开水间" menjadi "open water room".

Pada tahun 2014, setelah bekerja di Google, ilmuwan komputer Ilya yang pindah ke OpenAI mencapai terobosan pertama. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, sehingga kinerja Google Translate jauh melampaui pesaing.

RNN mengusulkan "desain sirkuler", yang memungkinkan setiap neuron menerima informasi input dari waktu sekarang dan sebelumnya secara bersamaan, memberikan kemampuan "menggabungkan konteks" pada jaringan saraf.

RNN membangkitkan semangat penelitian di kalangan akademisi, penulis makalah Transformer, ShaZer, juga pernah melakukan penelitian mendalam. Namun, para pengembang dengan cepat menyadari bahwa RNN memiliki kekurangan serius:

Algoritma ini menggunakan perhitungan berurutan, meskipun telah menyelesaikan masalah konteks, tetapi efisiensi operasinya rendah dan sulit untuk menangani banyak parameter.

Desain RNN yang rumit dengan cepat membuat Shazelle merasa bosan. Oleh karena itu, sejak tahun 2015, Shazelle dan 7 rekan yang seide mulai mengembangkan pengganti RNN, yang akhirnya menghasilkan Transformer.

Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:

Pertama, menggantikan desain berulang dengan pengkodean posisi untuk mencapai komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, sehingga AI dapat menangani big data dan memasuki era model besar; kedua, lebih lanjut memperkuat kemampuan konteks.

Transformer dengan cepat mengatasi banyak kekurangan, secara bertahap menjadi pilihan utama dalam NLP, ada perasaan seperti "jika tidak ada Transformer, NLP akan selamanya berada dalam kegelapan." Bahkan Ilya pun meninggalkan RNN yang dia puja, dan beralih ke Transformer.

Bisa dikatakan, Transformer adalah nenek moyang dari semua model besar saat ini, yang mengubah model besar dari penelitian teori menjadi masalah rekayasa murni.

Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Google segera merespons dengan meluncurkan AI yang lebih kuat - Meena.

Meena tidak memiliki inovasi algoritma dibandingkan GPT-2, hanya saja parameter meningkat 8,5 kali dan daya komputasi meningkat 14 kali. Penulis Transformer, Ashish Vaswani, sangat terkejut dengan "penumpukan kekerasan" ini dan menulis memo berjudul "Meena Menggulung Dunia".

Setelah munculnya Transformer, kecepatan inovasi algoritma dasar di dunia akademis secara signifikan melambat. Elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam persaingan AI; selama perusahaan teknologi memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.

Oleh karena itu, ilmuwan komputer Andrew Ng mengemukakan dalam pidatonya di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta kecerdasan buatan generatif yang sekarang ini. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."

Meskipun OpenAI masih menjadi patokan LLM, lembaga analisis semikonduktor berpendapat bahwa daya saing GPT-4 berasal dari solusi rekayasa — jika open source, pesaing mana pun dapat dengan cepat menyalin.

Analis ini memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat membangun model besar yang setara dengan kinerja GPT-4.

Parit yang Rentan

Kini, "Perang Ratusan Model" telah menjadi kenyataan obyektif.

Laporan terkait menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di dalam negeri telah mencapai 130, lebih banyak daripada 114 di Amerika Serikat, berhasil melakukan overtaking di tikungan, berbagai mitos dan legenda sudah tidak cukup digunakan oleh perusahaan teknologi domestik untuk menamakan produk mereka.

Di luar China dan Amerika Serikat, banyak negara kaya lainnya juga telah mencapai "satu negara satu model" secara awal: selain Jepang dan Uni Emirat Arab, ada Bhashini yang dipimpin pemerintah India, dan HyperClova X yang dikembangkan oleh perusahaan internet Korea, Naver.

Situasi ini seolah kembali ke era perintis internet, di mana terdapat gelembung dan perlawanan terhadap "kemampuan uang".

Seperti yang telah disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah teknik murni; selama seseorang memiliki uang dan kartu grafis, sisanya diserahkan pada parameter. Namun, kemudahan masuk tidak berarti semua orang dapat menjadi raksasa di era AI.

Contoh tipikal yang disebutkan di awal "Perang Hewan" adalah: Meskipun Falcon melampaui peringkat Alpaca, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.

Seperti yang kita ketahui, perusahaan membuka sumber hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi dengan masyarakat, tetapi juga berharap dapat memanfaatkan kecerdasan masyarakat. Seiring dengan semakin dalamnya penggunaan dan perbaikan Llama oleh para profesor di universitas, lembaga penelitian, dan usaha kecil menengah, Meta dapat menerapkan hasil-hasil ini ke dalam produk mereka.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif inti.

Meta telah menetapkan jalur open source sejak membentuk laboratorium AI pada tahun 2015; Zuckerberg yang memulai dari media sosial, lebih mahir dalam "menjalin hubungan baik dengan masyarakat".

Contohnya, pada bulan Oktober, Meta mengadakan acara "Insentif Kreator Versi AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan berkesempatan mendapatkan dukungan sebesar 500.000 dolar.

Saat ini, seri Llama dari Meta telah menjadi patokan untuk LLM sumber terbuka.

Hingga awal Oktober, 8 dari 10 besar peringkat LLM sumber terbuka utama dibangun berdasarkan Llama 2, semuanya menggunakan protokol sumber terbuka tersebut. Hanya di suatu platform, LLM yang menggunakan protokol sumber terbuka Llama 2 telah melebihi 1500.

Tentu saja, meningkatkan kinerja seperti Falcon juga bukan hal yang buruk, tetapi saat ini sebagian besar LLM masih memiliki kesenjangan yang jelas dibandingkan dengan GPT-4.

Misalnya, baru-baru ini, GPT-4 meraih skor 4,41 untuk menduduki puncak papan peringkat AgentBench. AgentBench diluncurkan bersama oleh Universitas Tsinghua, Universitas Negeri Ohio, dan Universitas California, Berkeley, untuk menilai kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan generasi terbuka multidimensi, dengan tugas-tugas yang mencakup delapan lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.

Hasil tes menunjukkan bahwa posisi kedua, Claude, hanya mendapatkan 2,77 poin, dengan perbedaan yang jelas. Sedangkan untuk LLM sumber terbuka yang bergema besar, hasil tesnya umumnya berada di sekitar 1 poin, bahkan tidak mencapai 1/4 dari GPT-4.

Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, dan ini adalah hasil setelah rekan-rekan global mengejar selama lebih dari enam bulan. Penyebab dari kesenjangan ini adalah tim ilmuwan tingkat tinggi dari OpenAI dan pengalaman yang terakumulasi dari penelitian LLM yang telah berlangsung lama, sehingga mereka dapat terus unggul.

Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( sumber terbuka ) atau murni kemampuan inferensi ( tertutup ).

Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan semakin menyerupai satu sama lain, karena semua orang menggunakan arsitektur model dan kumpulan data yang serupa.

Satu masalah yang lebih intuitif adalah: Selain Midjourney, tampaknya belum ada model besar lain yang dapat menghasilkan uang.

Di mana titik nilai terletak

Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut hampir dapat dirangkum dalam satu kalimat: Kecepatan pengeluaran OpenAI terlalu cepat.

Dalam teks tersebut disebutkan bahwa sejak mengembangkan ChatGPT, kerugian OpenAI semakin meluas dengan cepat, hanya pada tahun 2022 kerugian mencapai sekitar 540 juta dolar AS, dan mereka hanya bisa menunggu investor untuk menanggung biaya.

Judul artikel mungkin berlebihan, tetapi juga mencerminkan keadaan banyak penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya NVIDIA yang menghasilkan banyak uang dari AI, paling-paling ditambah Broadcom.

Menurut perkiraan perusahaan konsultan, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien dalam melatih AI, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia sedang memborongnya. Jika 300.000 unit H100 yang terjual ditumpuk satu sama lain, beratnya setara dengan 4,5 pesawat Boeing 747.

Kinerja Nvidia melambung, dengan pendapatan tahunan melonjak 854%, mengejutkan Wall Street. Perlu dicatat bahwa saat ini harga H100 di pasar second telah melambung menjadi 40-50 ribu dolar AS, padahal biaya materialnya hanya sekitar sedikit lebih dari 3000 dolar AS.

Biaya komputasi yang tinggi telah menjadi hambatan perkembangan industri dalam beberapa hal. Sequoia Capital pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimal 75 miliar dolar AS per tahun, dengan celah setidaknya 125 miliar dolar AS di tengah.

Selain Midjourney dan beberapa pengecualian lainnya, sebagian besar perusahaan perangkat lunak, setelah mengeluarkan biaya besar, belum memikirkan dengan jelas bagaimana cara menghasilkan keuntungan. Terutama dua pemimpin industri, Microsoft dan Adobe, yang tampaknya berjalan sedikit tersandung.

Microsoft dan OpenAI pernah bekerja sama untuk mengembangkan alat generasi kode AI GitHub Copilot, meskipun mengenakan biaya $10 per bulan, Microsoft justru mengalami kerugian $20 per bulan karena biaya fasilitas, pengguna berat bahkan dapat membuat Microsoft merugi $80 per bulan. Berdasarkan hal ini, diperkirakan bahwa Microsoft 365 Copilot yang dipatok pada harga $30 mungkin mengalami kerugian yang lebih besar.

Demikian pula, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin pendukung untuk mencegah pengguna menggunakan secara berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.

Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang parameter-nya menumpuk masih memiliki skenario aplikasi terbesar yaitu percakapan.

Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi sama sekali; namun saat ini, nilai yang dihasilkan dari pelatihan model besar mungkin masih perlu diperdebatkan.

Dan, seiring dengan meningkatnya persaingan homogenitas, serta semakin banyaknya model sumber terbuka di pasaran, ruang hidup penyedia model besar semata mungkin akan semakin terbatas.

Keberhasilan iPhone 4 bukan karena prosesor A4 45nm, tetapi karena dapat memainkan Plants vs. Zombies dan Angry Birds.