تقترح Google جبابرة: لاختراق قيود قوة الحوسبة وتوسيع السياق

في 25 فبراير، أصدر معهد البحوث في غوغل دراسة جديدة بعنوان Titans. من خلال إدخال وحدة ذاكرة عصبية طويلة الأجل جديدة بالكامل، وتصميم ثلاثة رؤوس متعاونة وتحسينات في الأجهزة، تمكن Titans من توسيع نافذة السياق للنماذج الكبيرة إلى 2 مليون رمز فقط بزيادة قوة الحوسبة بنسبة 1.8 مرة. Titans لم يحل فقط مشكلة زجاجة رقبة نموذج Transformer في معالجة السياق الطويل، بل حقق لأول مرة استدلال دقيق لنموذج ذو 2 مليون رمز للسياق الطويل من خلال تصميم يحاكي الذاكرة البشرية بآلية تدرجية.