Fourth Paradigm launches large model inference edge solution ModelHub AIoT

El 26 de febrero, según los datos de Jinshi, se entiende que el Cuarto Paradigma ha lanzado la solución de inferencia de extremo de modelo ModelHub AIoT, donde los usuarios pueden implementar fácilmente modelos de destilación de pequeño tamaño como DeepSeek R1, Qwen 2.5, serie Llama 2/3, etc., y lograr la ejecución sin conexión en el extremo. Los usuarios pueden cambiar fácilmente entre varios modelos, teniendo en cuenta la compresión del modelo y el rendimiento de inferencia, lo que resuelve la complejidad de implementación y optimización. La empresa señala que esta solución no solo puede satisfacer las necesidades de los usuarios en cuanto a privacidad y tiempo real, sino que también reduce enormemente los costos de inferencia de grandes modelos de IA.