Creación de un Copilot personalizado con Microsoft Phi-3 SLM

Instrucciones paso a paso para crear un Copilot personalizado que funcione con Microsoft Phi-3 en Copilot Studio.

Los modelos Phi-3 de Microsoft son una opción excelente en el campo de los modelos lingüísticos pequeños (SLM). No tienen nada que envidiar a modelos de tamaño similar o incluso superior en diversas pruebas, como procesamiento del lenguaje, razonamiento, codificación y matemáticas.

Esta nueva incorporación amplía la gama de modelos de calidad a disposición de los usuarios, ofreciendo más opciones a quienes se aventuran en el ámbito de las aplicaciones de IA generativa. Es perfecto para construir un copiloto rentable que pueda ayudar en una gran variedad de tareas. Con la ayuda de Copilot Studio, podemos crear y personalizar nuestro Copilot para que se adapte a nuestras necesidades específicas de forma sencilla.

Arquitectura de alto nivel

El resultado que queremos obtener

Requisitos previos

• Suscripción a Azure con acceso a Azure AI Studio.
• Computación GPU para desplegar modelos SLM.
• Acceso a Copilot Studio para crear y publicar el copiloto.

Despliegue del modelo Phi-3-mini-4k-instruct con Azure AI Studio

• Inicia sesión en Azure AI Studio y crea un nuevo proyecto.
• Abre el modelo Phi-3-mini-4k-instruct desde el Catálogo de Modelos.

• Despliega del modelo como endpoint en tiempo real utilizando GPU computing

• Prueba el modelo desplegado y anota el REST endpoint y la clave de autenticación.

Creación del copiloto con Copilot Studio

• Inicia sesión en Copilot Studio y crea un Copilot.

• Navega hasta los temas y elije el tema Fallback de los temas del sistema. En este ejemplo utilizaremos el activador On Unknown Intent.

• Elimina las actividades excepto el Trigger.

• Phi-3 SLM rest Api espera la entrada en el siguiente formato. Construiremos el Json requerido y lo pasaremos a la Api.

{
  "input_data": {
    "input_string": [
      {
        "role": "user",
        "content": "I am going to Paris, what should I see?"
      }
    ],
    "parameters": {
      "temperature": 0.7,
      "top_p": 0.9,
      "do_sample": true,
      "max_new_tokens": 200
    }
  }
}

Añade una variable Prefix, Suffix y body concatenando el prefijo y el sufijo con la entrada del usuario para crear el Json.

Prefix can be {     "input_data": {         "input_string": [  { "role": "user", "content": "

Suffix can be "      }   ], "parameters": { "top_p": 0.9, "do_sample": true, "temperature": 0.7, "max_new_tokens": 900 }     } }

Request body variable Concatenate(Topic.prefix,System.LastMessage.Text,Topic.suffix)

• Añade la actividad Send HTTP request desde Advanced y pasa el cuerpo de la petición, endpoint, API key para el modelo Phi-3.
• Edita las cabeceras y el cuerpo e introduce los parámetros requeridos como se indica a continuación.

• Envía la respuesta del modelo SLM a través de la actividad Send message

• Prueba el copiloto y publícalo

Conclusión

Construir un Copilot personalizado impulsado por el SLM Phi-3 de Microsoft permite crear un asistente de IA personalizado.

Mediante el uso de Copilot Studio y Azure AI Studio, puedes probar y desplegar tu propio Copilot con facilidad.

Tanto si estás creando un chatbot, un asistente virtual o cualquier otro tipo de aplicación basada en IA, estas herramientas facilitan la materialización de sus ideas.

¿Quieres saber más sobre Microsoft Copilot? En DQS/ te asesoramos. ¿Por qué no nos preguntas cómo podemos ayudarte?

Información basada las instrucciones de Maheswaran Arunachalam (Sr Cloud Solution Architect @ Microsoft) que compartió Brian Kryszewski (Associate Partner, Microsoft Gen AI & Automation Leader @IBM Consulting) en LinkedIn.