Google mengusulkan Titans: Menerobos keterbatasan Daya Komputasi dan memperluas konteks

Data 10 emas pada 25 Februari, Google Research Institute merilis penelitian baru Titans. Dengan memperkenalkan modul memori jangka panjang saraf yang baru, arsitektur tiga kepala yang berkolaborasi dengan desain optimasi perangkat keras, dan modul lainnya, dalam situasi di mana Daya Komputasi hanya meningkat 1,8 kali lipat, jendela konteks model besar diperluas menjadi 2 juta token. Titans tidak hanya memecahkan bottleneck Daya Komputasi dalam pemrosesan konteks panjang pada model Transformer, tetapi juga, melalui desain biomimetika yang mensimulasikan mekanisme hierarkis dari sistem memori manusia, untuk pertama kalinya berhasil mencapai inferensi presisi dengan konteks super panjang 2 juta token.