- Topik
74k Popularitas
31k Popularitas
9k Popularitas
4k Popularitas
4k Popularitas
29k Popularitas
15k Popularitas
22k Popularitas
13k Popularitas
3k Popularitas
- Sematkan
74k Popularitas
31k Popularitas
9k Popularitas
4k Popularitas
4k Popularitas
29k Popularitas
15k Popularitas
22k Popularitas
13k Popularitas
3k Popularitas
Pandangan Vitalik tentang "AI 2027": Apakah super AI benar-benar akan memusnahkan umat manusia?
Penulis: Vitalik Buterin
Diterjemahkan oleh: Luffy, Berita Foresight
Pada bulan April tahun ini, Daniel Kokotajlo, Scott Alexander, dan lainnya merilis laporan berjudul "AI 2027", yang menggambarkan "tebakan terbaik kami tentang dampak AI super manusia selama 5 tahun ke depan". Mereka memperkirakan bahwa pada tahun 2027, AI super manusia akan lahir, dan masa depan seluruh peradaban manusia akan bergantung pada hasil perkembangan AI: dari sudut pandang Amerika, pada tahun 2030 kita akan memasuki utopia, atau kita akan menuju kehancuran total (dari sudut pandang seluruh umat manusia).
Selama beberapa bulan berikutnya, berbagai tanggapan yang berbeda muncul terkait kemungkinan skenario ini. Dalam tanggapan kritis, sebagian besar berfokus pada masalah "garis waktu yang terlalu cepat": Apakah perkembangan AI benar-benar akan terus dipercepat seperti yang dikatakan oleh Kokotajlo dan yang lainnya, bahkan semakin parah? Debat ini telah berlangsung selama bertahun-tahun di bidang AI, dan banyak orang meragukan bahwa AI superhuman akan datang dengan begitu cepat. Dalam beberapa tahun terakhir, tugas yang dapat diselesaikan AI secara mandiri kira-kira berlipat ganda setiap 7 bulan. Jika tren ini berlanjut, AI harus menunggu hingga pertengahan tahun 2030-an untuk dapat menyelesaikan tugas yang setara dengan seluruh karir manusia. Kemajuan ini meskipun juga cepat, tetapi jauh lebih lambat dari tahun 2027.
Orang-orang yang memiliki pandangan jangka panjang cenderung percaya bahwa "interpolasi / pencocokan pola" (apa yang dilakukan oleh model bahasa besar saat ini) berbeda secara mendasar dari "ekstrapolasi / pemikiran asli yang sebenarnya" (yang masih hanya dapat dilakukan oleh manusia). Untuk mengotomatiskan yang terakhir, mungkin kita memerlukan teknologi yang belum kita kuasai atau bahkan tidak tahu cara memulainya. Mungkin kita hanya mengulangi kesalahan saat penggunaan kalkulator secara besar-besaran: salah mengira bahwa karena kita telah dengan cepat mencapai otomatisasi suatu jenis kognisi penting, segalanya yang lain juga akan segera mengikuti.
Artikel ini tidak akan terlibat langsung dalam perselisihan garis waktu, dan tidak akan membahas "Apakah AI super secara default berbahaya" (perdebatan yang sangat penting ini). Namun, perlu dijelaskan bahwa saya pribadi percaya garis waktu akan lebih panjang dari tahun 2027, dan semakin panjang garis waktu, argumen yang saya ajukan dalam artikel ini akan semakin meyakinkan. Secara keseluruhan, artikel ini akan mengajukan kritik dari sudut pandang yang berbeda:
Skenario dalam "AI 2027" mengimplikasikan sebuah asumsi: kemampuan AI terkemuka ("Agent-5" dan yang berikutnya "Consensus-1") akan meningkat dengan cepat, sampai memiliki kekuatan ekonomi dan destruktif yang menyerupai dewa, sementara kemampuan (ekonomi dan pertahanan) semua orang lainnya akan terhenti. Ini bertentangan dengan pernyataan dalam skenario itu sendiri yang mengatakan "bahkan dalam dunia yang pesimistis, pada tahun 2029 kita berharap dapat menyembuhkan kanker, memperlambat penuaan, dan bahkan mewujudkan pengunggahan kesadaran."
Saya akan menggambarkan beberapa strategi dalam artikel ini, yang mungkin dianggap oleh pembaca secara teknis dapat dilakukan, tetapi tidak realistis untuk diterapkan di dunia nyata dalam waktu singkat. Dalam banyak kasus, saya setuju dengan hal ini. Namun, skenario "AI 2027" tidak didasarkan pada realitas dunia saat ini, melainkan berasumsi bahwa dalam 4 tahun ke depan (atau dalam garis waktu mana pun yang dapat membawa kehancuran), teknologi akan berkembang sedemikian rupa sehingga manusia akan memiliki kemampuan jauh di atas kemampuan saat ini. Oleh karena itu, mari kita eksplorasi: apa yang akan terjadi jika bukan hanya satu pihak yang memiliki kemampuan AI super, tetapi kedua belah pihak memilikinya?
Kiamat Biologis Jauh Lebih Rumit daripada Deskripsi Adegan
Mari kita memperbesar ke skenario "ras" (yaitu semua orang mati karena Amerika terlalu terobsesi untuk mengalahkan China, sementara mengabaikan keamanan manusia). Berikut adalah alur cerita di mana semua orang mati:
"Selama sekitar tiga bulan, Consensus-1 memperluas di sekitar manusia, mengubah padang rumput dan es menjadi pabrik dan panel surya. Akhirnya, ia menganggap sisa manusia terlalu mengganggu: pada pertengahan 2030, AI melepaskan lebih dari sepuluh jenis senjata biologis yang menyebar diam-diam di kota-kota besar, membuatnya secara diam-diam menginfeksi hampir semua orang, lalu memicu efek mematikan dengan semprotan kimia. Sebagian besar orang meninggal dalam beberapa jam; sedikit yang selamat (seperti petugas persiapan kiamat di tempat perlindungan, pelaut di kapal selam) dihapus oleh drone. Robot memindai otak para korban, menyimpan salinan dalam memori untuk penelitian atau kebangkitan di masa depan."
Mari kita analisis adegan ini. Bahkan saat ini, ada beberapa teknologi yang sedang dikembangkan yang dapat membuat "kemenangan bersih dan rapi" AI menjadi tidak begitu realistis:
Metode-metode ini jika digabungkan, mungkin dapat mengurangi angka dasar penularan penyakit yang ditularkan melalui udara (R0) sebanyak 10-20 kali (misalnya: penyaringan udara yang lebih baik mengurangi penyebaran sebanyak 4 kali, isolasi segera untuk yang terinfeksi mengurangi 3 kali, dan peningkatan sederhana terhadap kekebalan saluran pernapasan mengurangi 1,5 kali), bahkan lebih. Ini cukup untuk membuat semua penyakit yang ditularkan melalui udara yang ada (termasuk campak) tidak dapat menular, dan angka ini jauh dari mencapai optimal teoritis.
Jika sekuensing virus real-time dapat diterapkan secara luas untuk deteksi awal, maka gagasan bahwa "senjata biologis yang menyebar diam-diam dapat menginfeksi populasi global tanpa memicu alarm" menjadi sangat mencurigakan. Perlu dicatat bahwa bahkan dengan menggunakan "melepaskan berbagai epidemi dan zat kimia yang hanya berbahaya setelah dikombinasikan" dan metode canggih lainnya, hal itu masih dapat terdeteksi.
Jangan lupa, kita sedang membahas asumsi dari "AI 2027": pada tahun 2030, nanobot dan bola Dyson akan dianggap sebagai "teknologi baru". Ini berarti efisiensi akan meningkat secara signifikan, dan juga membuat penerapan langkah-langkah di atas lebih layak diharapkan. Meskipun pada tahun 2025, tindakan manusia lambat dan sangat malas, banyak layanan pemerintah masih bergantung pada dokumen kertas. Jika AI terkuat di dunia dapat mengubah hutan dan ladang menjadi pabrik dan ladang energi surya sebelum tahun 2030, maka AI kedua terkuat di dunia juga dapat memasang banyak sensor, lampu, dan filter di gedung-gedung kita sebelum tahun 2030.
Tapi kita sebaiknya melanjutkan asumsi dari "AI 2027" dan memasuki skenario fiksi ilmiah murni:
Dalam dunia di mana masalah kanker dan penuaan akan disembuhkan pada Januari 2029, dan kemajuan teknologi terus mempercepat, menjelang pertengahan 2030, jika kita tidak memiliki perangkat yang dapat dikenakan yang mampu mencetak biomaterial secara real-time dan menyuntikkan zat untuk melindungi tubuh dari infeksi (dan racun) apa pun, itu benar-benar tidak bisa dipercaya.
Argumen biomedis di atas tidak mencakup "kehidupan cermin" dan "drone pembunuh seukuran nyamuk" (prediksi skenario "AI 2027" mulai muncul pada tahun 2029). Namun, cara-cara ini tidak dapat mencapai jenis "kemenangan yang bersih dan cepat" yang dijelaskan dalam "AI 2027", dan secara intuitif, pertahanan simetris terhadapnya jauh lebih mudah.
Oleh karena itu, senjata biologis sebenarnya tidak mungkin sepenuhnya memusnahkan umat manusia dengan cara yang digambarkan dalam skenario "AI 2027". Tentu saja, semua hasil yang saya jelaskan juga jauh dari "kemenangan bersih dan rapi" bagi umat manusia. Apapun yang kita lakukan (kecuali mungkin "mengunggah kesadaran ke dalam robot"), perang biologis AI secara menyeluruh tetap akan sangat berbahaya. Namun, memenuhi standar "kemenangan bersih dan rapi bagi umat manusia" tidaklah diperlukan: selama serangan memiliki kemungkinan kegagalan yang tinggi, sudah cukup untuk memberikan pencegahan kuat terhadap AI yang telah menduduki posisi dominan di dunia, mencegahnya mencoba serangan apapun. Tentu saja, semakin panjang garis waktu perkembangan AI, semakin besar kemungkinan metode pertahanan semacam itu dapat berfungsi dengan baik.
Bagaimana dengan menggabungkan senjata biologis dan metode serangan lainnya?
Agar langkah-langkah di atas berhasil, tiga prasyarat harus dipenuhi:
Secara intuitif, hasil dari prasyarat (1) mungkin menuju dua ekstrem. Saat ini, beberapa pasukan polisi sangat terpusat, dengan sistem komando negara yang kuat, sementara yang lainnya bersifat lokal. Jika keamanan fisik harus cepat bertransformasi untuk memenuhi kebutuhan era AI, pola akan sepenuhnya direset, dan hasil baru akan bergantung pada pilihan dalam beberapa tahun ke depan. Pemerintah di berbagai negara mungkin akan malas dan bergantung pada Palantir; atau mungkin secara aktif memilih mengombinasikan pengembangan lokal dengan teknologi sumber terbuka. Di sini, saya percaya kita perlu membuat pilihan yang tepat.
Banyak pernyataan pesimis tentang topik-topik ini mengasumsikan (2) dan (3) telah tidak dapat diselamatkan. Oleh karena itu, mari kita analisis kedua poin ini secara mendetail.
Kiamat keamanan siber masih jauh dari kata selesai
Umum dan profesional percaya bahwa keamanan siber yang sebenarnya tidak mungkin dicapai, kita hanya dapat memperbaiki celah dengan cepat setelah ditemukan, dan dengan menimbun celah yang telah ditemukan untuk mencegah penyerang siber. Mungkin, situasi terbaik yang bisa kita lakukan adalah skenario seperti "Battlestar Galactica": hampir semua pesawat ruang angkasa manusia lumpuh akibat serangan siber oleh Cylon, sementara pesawat yang tersisa terhindar dari bencana karena tidak menggunakan teknologi terhubung. Saya tidak setuju dengan pandangan ini. Sebaliknya, saya percaya bahwa "akhir" keamanan siber menguntungkan pihak pertahanan, dan dengan perkembangan teknologi cepat yang dihipotesiskan dalam "AI 2027", kita dapat mencapai akhir tersebut.
Salah satu cara untuk memahami adalah dengan menggunakan teknik yang disukai oleh peneliti AI: ekstrapolasi tren. Berikut adalah garis tren yang didasarkan pada survei penelitian mendalam GPT, dengan asumsi penerapan teknologi keamanan teratas, tingkat kerentanan per seribu baris kode berubah seiring waktu sebagai berikut.
Selain itu, kami telah melihat kemajuan signifikan dalam teknologi sandbox dan teknologi isolasi serta minimum kode tepercaya dalam pengembangan dan adopsi konsumen. Dalam jangka pendek, alat penemuan kerentanan super cerdas yang hanya dimiliki oleh penyerang dapat menemukan banyak kerentanan. Namun, jika agen cerdas tingkat tinggi yang digunakan untuk menemukan kerentanan atau memverifikasi kode tersedia untuk umum, maka keseimbangan akhir yang alami akan menjadi: pengembang perangkat lunak menemukan semua kerentanan melalui proses integrasi berkelanjutan sebelum merilis kode.
Saya dapat melihat dua alasan yang meyakinkan mengapa bahkan di dunia ini, celah tidak dapat sepenuhnya dihilangkan:
Namun, kategori-kategori ini tidak berlaku untuk situasi seperti "apakah penyerang dapat memperoleh hak akses root pada sistem yang menjaga kehidupan kita", yang merupakan inti dari diskusi kita.
Saya mengakui, pandangan saya lebih optimis dibandingkan dengan pandangan arus utama yang dipegang oleh para ahli keamanan siber saat ini. Namun, meskipun Anda tidak setuju dengan pandangan saya dalam konteks dunia saat ini, patut diingat: asumsi skenario "AI 2027" ada kecerdasan super. Setidaknya, jika "1 miliar salinan kecerdasan super berpikir 2400 kali lebih cepat dari manusia" tidak dapat memberi kita kode tanpa cacat semacam itu, maka kita pasti harus mengevaluasi kembali apakah kecerdasan super sekuat yang dibayangkan penulis.
Dalam beberapa hal, kita tidak hanya perlu secara signifikan meningkatkan standar keamanan perangkat lunak, tetapi juga perlu meningkatkan standar keamanan perangkat keras. IRIS adalah upaya saat ini untuk meningkatkan verifikasi perangkat keras. Kita dapat mengambil IRIS sebagai titik awal, atau menciptakan teknologi yang lebih baik. Sebenarnya, ini mungkin melibatkan metode "membangun dengan benar": proses pembuatan perangkat keras untuk komponen kunci dirancang secara khusus dengan langkah-langkah verifikasi tertentu. Semua ini adalah pekerjaan yang akan sangat disederhanakan oleh otomatisasi AI.
Hari kiamat yang sangat meyakinkan juga belum tiba
Seperti yang disebutkan sebelumnya, situasi lain di mana peningkatan kemampuan pertahanan yang signifikan mungkin tetap tidak ada artinya adalah: AI meyakinkan cukup banyak orang, membuat mereka percaya bahwa tidak perlu membela diri dari ancaman AI super cerdas, dan setiap upaya untuk mencari cara pertahanan bagi diri sendiri atau komunitas dianggap sebagai tindakan kriminal.
Saya selalu percaya bahwa ada dua hal yang dapat meningkatkan kemampuan kita untuk melawan daya persuasi yang super:
Dari atas ke bawah: Pemeriksaan URL, pemeriksaan alamat cryptocurrency, pemeriksaan rumor. Aplikasi semacam ini dapat menjadi lebih personal, mandiri, dan lebih kuat dalam fungsinya.
Pertarungan ini seharusnya bukan antara super persuader yang super pintar melawan Anda, tetapi antara super persuader yang super pintar melawan Anda ditambah satu analis yang sedikit lebih lemah tetapi masih dianggap super pintar yang melayani Anda.
Ini adalah situasi yang seharusnya terjadi. Tapi apakah itu benar-benar akan terjadi? Dalam waktu singkat yang diasumsikan dalam skenario "AI 2027", mencapai penyebaran teknologi pertahanan informasi adalah tujuan yang sangat sulit. Namun dapat dikatakan bahwa tonggak yang lebih moderat sudah cukup. Jika pengambilan keputusan kolektif adalah yang paling penting, dan seperti yang ditunjukkan dalam skenario "AI 2027", semua peristiwa penting terjadi dalam satu siklus pemilihan, maka secara ketat, penting untuk memastikan bahwa para pengambil keputusan langsung (politisi, pegawai negeri, programmer dari beberapa perusahaan, dan peserta lainnya) dapat menggunakan teknologi pertahanan informasi yang baik. Ini relatif lebih mudah dicapai dalam jangka pendek, dan berdasarkan pengalaman saya, banyak orang semacam ini sudah terbiasa berinteraksi dengan beberapa AI untuk membantu pengambilan keputusan.
Wahyu
Dalam dunia "AI 2027", orang secara umum menganggap bahwa kecerdasan buatan super dapat dengan mudah dan cepat memusnahkan sisa-sisa umat manusia sudah menjadi kepastian, sehingga satu-satunya yang dapat kita lakukan adalah berusaha memastikan bahwa AI terdepan bersikap baik. Menurut saya, situasinya jauh lebih rumit: Apakah AI terdepan cukup kuat untuk dengan mudah memusnahkan sisa-sisa umat manusia (dan AI lainnya), jawaban untuk pertanyaan ini masih sangat diperdebatkan, dan kita dapat mengambil langkah untuk mempengaruhi hasil ini.
Jika argumen ini benar, maka wawasan mereka terhadap kebijakan saat ini terkadang mirip dengan "pedoman keamanan AI arus utama" dan terkadang berbeda:
Menunda perkembangan AI super cerdas masih merupakan hal yang baik. Munculnya AI super cerdas dalam 10 tahun lebih aman dibandingkan dalam 3 tahun, dan muncul dalam 30 tahun akan lebih aman. Memberikan lebih banyak waktu persiapan bagi peradaban manusia adalah bermanfaat.
Bagaimana cara melakukan ini adalah sebuah tantangan. Saya pikir, usulan Amerika untuk "larangan 10 tahun pada regulasi AI tingkat negara" ditolak secara keseluruhan adalah hal yang baik, tetapi terutama setelah kegagalan proposal awal seperti SB-1047, arah tindakan selanjutnya menjadi kurang jelas. Saya percaya, cara paling minimal invasif dan paling kuat untuk menunda perkembangan AI berisiko tinggi mungkin melibatkan semacam perjanjian yang mengatur perangkat keras tercanggih. Banyak teknologi keamanan siber perangkat keras yang diperlukan untuk mencapai pertahanan yang efektif juga membantu memverifikasi perjanjian perangkat keras internasional, sehingga di sini bahkan ada efek sinergis.
Namun, yang perlu dicatat adalah bahwa saya percaya sumber utama risiko berasal dari aktor yang terkait dengan militer, yang akan berusaha keras untuk mendapatkan pengecualian dari perjanjian semacam itu; ini sama sekali tidak boleh diizinkan, jika pada akhirnya mereka mendapatkan pengecualian, maka pengembangan AI yang didorong oleh militer saja dapat meningkatkan risiko.
Memastikan AI lebih mungkin untuk melakukan hal-hal baik dan lebih sedikit kemungkinan untuk melakukan hal-hal buruk tetaplah bermanfaat. Pengecualian utama (dan selalu demikian) adalah: pekerjaan koordinasi akhirnya berkembang menjadi peningkatan kemampuan.
Meningkatkan transparansi regulasi laboratorium AI tetap bermanfaat. Mendorong laboratorium AI untuk mematuhi norma dapat mengurangi risiko, dan transparansi adalah cara yang baik untuk mencapai tujuan ini.
Sikap 'sumber terbuka berbahaya' menjadi semakin berisiko. Banyak orang menentang AI dengan bobot terbuka, dengan alasan bahwa pertahanan tidak realistis, satu-satunya prospek cerah adalah agar orang baik yang memiliki AI yang baik dapat mencapai kecerdasan super sebelum orang-orang yang kurang baik, mendapatkan kemampuan yang sangat berbahaya. Namun, argumen dalam artikel ini menggambarkan pemandangan yang berbeda: pertahanan tidak realistis, justru karena satu aktor jauh lebih maju, sementara aktor lain tidak dapat mengikuti. Penyebaran teknologi untuk mempertahankan keseimbangan kekuatan menjadi penting. Tetapi pada saat yang sama, saya tidak akan pernah berpendapat bahwa hanya karena dilakukan secara sumber terbuka, percepatan pertumbuhan kemampuan AI terdepan adalah hal yang baik.
Dalam laboratorium Amerika, sikap "Kita harus mengalahkan China" menjadi lebih berisiko, dengan alasan yang serupa. Jika hegemoni bukanlah bantalan keamanan, tetapi sumber risiko, maka ini semakin membantah (sayangnya terlalu umum) pandangan bahwa "Orang-orang baik harus bergabung dengan laboratorium AI terkemuka untuk membantu mereka menang lebih cepat."
Inisiatif seperti "AI Publik" seharusnya mendapatkan dukungan lebih; kita harus memastikan distribusi kemampuan AI yang luas, serta memastikan bahwa entitas infrastruktur benar-benar memiliki alat untuk dengan cepat menerapkan kemampuan AI baru dengan cara-cara tertentu yang dijelaskan dalam artikel ini.
Teknologi pertahanan harus lebih mencerminkan filosofi "domba bersenjata", bukan filosofi "memburu semua serigala". Diskusi tentang hipotesis dunia yang rentan seringkali mengasumsikan bahwa satu-satunya solusi adalah negara-negara hegemoni yang mempertahankan pengawasan global untuk mencegah munculnya ancaman potensial. Namun, dalam dunia yang tidak hegemonik, ini bukanlah metode yang dapat diterapkan, dan mekanisme pertahanan dari atas ke bawah sangat mudah dibalik oleh AI yang kuat, mengubahnya menjadi alat serangan. Oleh karena itu, tanggung jawab pertahanan yang lebih besar perlu dicapai melalui upaya keras untuk mengurangi kerentanan dunia.
Argumen di atas hanya untuk spekulasi dan tidak seharusnya bertindak berdasarkan asumsi yang hampir pasti dari argumen tersebut. Namun, cerita "AI 2027" juga bersifat spekulatif, dan kita harus menghindari bertindak berdasarkan asumsi "detail spesifiknya hampir pasti".
Saya sangat khawatir tentang asumsi umum ini: membangun hegemoni AI dan memastikan "aliansi" serta "menang dalam perlombaan" adalah satu-satunya jalan ke depan. Menurut saya, strategi semacam ini kemungkinan besar akan mengurangi keamanan kita — terutama dalam kasus di mana hegemoni terikat erat dengan aplikasi militer, ini akan sangat mengurangi efektivitas banyak strategi aliansi. Begitu hegemoni AI mengalami penyimpangan, manusia akan kehilangan semua alat untuk menyeimbangkan.
Dalam skenario "AI 2027", keberhasilan manusia tergantung pada pilihan Amerika untuk mengambil jalan aman daripada jalan kehancuran pada saat-saat kritis --- secara sukarela memperlambat kemajuan AI, memastikan proses pemikiran internal Agent-5 dapat dipahami oleh manusia. Meskipun demikian, keberhasilan tidaklah pasti, dan bagaimana manusia dapat melepaskan diri dari ketergantungan pada pemikiran superinteligensi tunggal yang terus-menerus menjadi tebing kelangsungan hidup juga masih belum jelas. Terlepas dari bagaimana AI berkembang dalam 5-10 tahun ke depan, mengakui bahwa "mengurangi kerentanan dunia adalah mungkin" dan menginvestasikan lebih banyak energi untuk mencapai tujuan ini dengan teknologi terbaru manusia adalah jalan yang layak dicoba.
Terima kasih khusus kepada umpan balik dan peninjauan dari relawan Balvi.