El 25 de febrero, Google Research publicó un nuevo estudio sobre los titanes. A través de la introducción de un nuevo módulo de memoria neuronal a largo plazo, arquitectura colaborativa de tres cabezales y módulos de diseño de optimización de hardware, la ventana de contexto del modelo grande se expande a 2 millones de tokens, mientras que la Potencia computacional solo se incrementa en 1.8 veces. Titans no solo resuelve el cuello de botella computacional de Potencia del modelo Transformer en el procesamiento de contexto largo, sino que también simula el mecanismo jerárquico del sistema de memoria humana a través del diseño biomimético y realiza la inferencia precisa del contexto ultra largo de 2 millones de tokens por primera vez.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Google propone Titanes: rompiendo las limitaciones de la Potencia computacional y ampliando el contexto
El 25 de febrero, Google Research publicó un nuevo estudio sobre los titanes. A través de la introducción de un nuevo módulo de memoria neuronal a largo plazo, arquitectura colaborativa de tres cabezales y módulos de diseño de optimización de hardware, la ventana de contexto del modelo grande se expande a 2 millones de tokens, mientras que la Potencia computacional solo se incrementa en 1.8 veces. Titans no solo resuelve el cuello de botella computacional de Potencia del modelo Transformer en el procesamiento de contexto largo, sino que también simula el mecanismo jerárquico del sistema de memoria humana a través del diseño biomimético y realiza la inferencia precisa del contexto ultra largo de 2 millones de tokens por primera vez.