Ejecuta Llama-3 en tu ordenador
Hoy te doy las instrucciones de cómo ejecutar Meta Llama-3 en local de forma 100% gratuita y con un 100% de privacidad.
Ayer te explicaba como ejecutar Llama-3 y Phi-3 en la nube con el servicio de LightningAI: «Comparativa Llama-3 y Phi-3 utilizando RAG«, hoy te explico como hacerlo en local desde tu ordenador.
GPT4All: Cliente de chat de escritorio
Para esto lo que más me gusta es GPT4All de Nomic.ai que funciona tanto en Windows como en Mac (además de Ubuntu) y es gratuito. He de decir que en el MAC con el chipset M3 MAX es una locura lo bien que va.
Alternativas a GPT4All
Otras opciones recomendables son:
- LM Studio para Mac/Windows/Linux
- Ollama para Mac/Windows (en preview)/Linux/Docker
Descarga del modelo
También tienes que descargar el modelo ya que GPT4All es la interfaz de chat pero no contiene los modelos.
En este caso vamos a elegir el nuevo Llama 3 Instruct 8B.
Por cierto si ya habías descargado algún modelo antes, puedes decirle a GPT4All dónde está y lo usará desde la ubicación que le indiques:
Elige el modelo Llama 3 Instruct
Luego ve a «Elegir un modelo» («Choose a Model«) y carga «Llama 3 Instruct». Esto dependiendo del ordenador puede tardar bastante y te da una buena idea de cual va a ser la velocidad luego.
¡Ya está listo!
Ahora puedes chatear con él igual que con ChatGPT u otro LLM en la nube.
¿Quieres darle otra vuelta más? Usa tus propios documentos
- Haz clic en Configuración.
- En LocalDocs (si accedes por primera vez) te dirá que hay que instalar un modelo para que pueda leer los documentos.
- GTP4All propone «Nomic Embed» del cual hace falta una clave API para usarlo y que ENVÍA LOS DOCUMENTOS a NOMIC ATLAS para su procesado.
- Si bajamos un poco hay otro modelo (SBert) que lo hace todo en local y por tanto mantiene la privacidad:
- Crea una colección.
- El siguiente paso es decirle al modelo que use los documentos locales:
- Y cuando hacemos una búsqueda usa la información de los documentos locales:
Los recursos mencionados los puedes encontrar aquí: GPT4All, LM Studio y Ollama.
