🤖💡Microsoft AI Tour London 2024: Satya Nadella 💰⚡

En la keynote de Satya Nadella en el Microsoft AI Tour presenta la nueva forma de medir la eficiencia y rentabilidad de los modelos de IA.

Es súper interesante y todo el mundo debería dedicar 43 minutos a ver este vídeo (en inglés):

Nada más empezar Satya menciona «tokens por dólar, por vatio» como la nueva forma de medir la eficiencia y rentabilidad de los modelos de IA, particularmente en términos de cuántos tokens (unidades de texto procesadas por el modelo) se pueden generar por unidad de coste o energía consumida.

Los tokens en la IA

Tokens: En los modelos de IA como GPT, un token es una unidad de texto, que normalmente comprende unos cuatro caracteres o parte de una palabra. Los tokens se utilizan para medir y tasar el esfuerzo computacional que requieren los modelos de IA para procesar y generar texto. 📚

Métricas de eficiencia

• Tokens por dólar: Esta métrica evalúa cuántos tokens puede generar un modelo de IA por cada dólar gastado. Refleja la rentabilidad del uso del modelo, teniendo en cuenta tanto los tokens de entrada como los de salida. Los diferentes modelos tienen diferentes costes por token, y los modelos más avanzados suelen costar más.
• Tokens por vatio: mide cuántos token se generan por unidad de energía consumida (en vatios). Es un indicador de la eficiencia energética de un modelo de IA. Por ejemplo, los estudios han demostrado que los diferentes modelos consumen cantidades variables de energía por token generado, lo que afecta a su eficiencia global. ⚡

Implicaciones

Estas métricas son cruciales para optimizar el despliegue de modelos de IA, especialmente en entornos en los que el coste y el consumo de energía son preocupaciones importantes. Al analizar los tokens por dólar y los tokens por vatio, los desarrolladores pueden elegir modelos que ofrezcan el mejor equilibrio entre rendimiento, coste y uso de energía, garantizando un uso eficiente de los recursos.

¿Quieres saber más sobre las soluciones de inteligencia artificial generativa de Microsoft? En DQS/ te asesoramos. ¿Por qué no nos preguntas cómo podemos ayudarte?

Información basada en la publicación en LinkedIn de Michiel van Vliet (Microsoft Platform and Ecosystem Expert).