Cómo Ejecutar Modelos de IA Locales con Ollama: Guía Completa Paso a Paso

Imagínate tener la potencia de un cerebro digital como ChatGPT pero funcionando enteramente en tu propio ordenador, sin que ninguna empresa rastree lo que escribes y, lo mejor de todo, sin soltar un céntimo al mes en suscripciones. Gracias a herramientas como Ollama, esto ha dejado de ser un sueño de informáticos expertos para convertirse en algo que cualquiera puede montar en unos minutos, democratizando el acceso a los modelos de lenguaje más bestias que existen actualmente.

La magia de este sistema reside en que actúa como una especie de capa simplificadora que gestiona todo el lío técnico de las GPUs y la memoria, permitiéndonos bajar modelos de Meta, Google o Mistral con un simple comando. Ya sea porque trabajas con datos confidenciales que no pueden salir de tu oficina o porque te mola experimentar sin límites de tokens, montar tu propia infraestructura de IA local es, sencillamente, el siguiente paso lógico para cualquier entusiasta de la tecnología.

¿Qué es exactamente Ollama y por qué es la opción preferida?

Ollama es un proyecto de código abierto que funciona básicamente como un «Docker para la IA». Su objetivo es que no tengas que pelearte con la compilación de librerías complejas ni con la configuración manual de los pesos del modelo. En lugar de eso, te ofrece una interfaz limpia donde puedes desplegar LLMs con una sencillez pasmosa.

La gran ventaja es la soberanía de la información; al no haber servidores externos, tus prompts y documentos se quedan en tu disco duro. Además, el ahorro es brutal, ya que te olvidas de los costes por token de las APIs comerciales. Y si te vas de viaje y no tienes Wi-Fi, no pasa nada: una vez descargado el modelo, la IA funciona totalmente offline, lo que es una bendición para trabajar en entornos aislados.

Requerimientos de hardware: ¿Mi PC podrá con ello?

Aquí es donde hay que ser realistas. Aunque Ollama puede correr solo con el procesador (CPU), la experiencia es bastante lenta. Para que la IA responda con fluidez, la VRAM de la tarjeta gráfica es el factor decisivo. Si el modelo cabe entero en la VRAM, la velocidad de generación de texto será casi instantánea.

• Modelos Pequeños (1-3B): Con 8 GB de RAM y una GPU básica de 4 GB VRAM vas sobrado. Ideales para tareas muy simples.
• Modelos Medianos (7-8B): Aquí es donde está el punto dulce. Recomiendo 16 GB de RAM y unos 8 GB de VRAM para que modelos como Llama 3.1 o Mistral vuelen.
• Modelos Grandes (14B – 70B): Aquí ya entramos en terreno profesional. Para un modelo de 70B parámetros necesitarás 64 GB de RAM o GPUs potentes con 40 GB de VRAM o más.

Para quienes usan Mac, los chips de Apple Silicon (M1 a M4) son una joya gracias a la memoria unificada, que permite que la GPU use la RAM del sistema, facilitando la ejecución de modelos que en Windows requerirían tarjetas gráficas carísimas.

Instalación paso a paso en diferentes sistemas

El proceso es tan sencillo que casi parece mentira. Dependiendo de tu sistema operativo, el camino varía ligeramente pero el resultado es el mismo.

En Windows, solo tienes que bajar el instalador .exe desde la web oficial y seguir el asistente. El programa se queda viviendo en la bandeja del sistema y añade el comando «ollama» a tu terminal. En macOS, es el clásico proceso de descargar el archivo .dmg y arrastrar la aplicación a la carpeta de Aplicaciones.

Para los usuarios de Linux, lo más rápido es lanzar una sola línea en la terminal: curl -fsSL https://ollama.com/install.sh | sh. Este script detecta tu arquitectura, instala el binario y configura un servicio de systemd para que el servidor de IA arranque solo al encender el PC. Si eres más de contenedores, puedes usar Docker con la imagen oficial, asegurándote de pasar la bandera --gpus all para no quedarte solo con la potencia de la CPU.

Cómo empezar a chatear y gestionar modelos

Una vez instalado, no necesitas abrir ninguna ventana compleja. Todo se hace desde la terminal. Para bajar y ejecutar un modelo de golpe, usa el comando ollama run nombre-del-modelo. Por ejemplo, si escribes ollama run llama3.1, el sistema bajará los archivos necesarios y te abrirá un chat interactivo al instante.

Si solo quieres descargar el modelo sin ejecutarlo, usa ollama pull. Para ver qué tienes guardado en el disco, el comando es ollama list, y si algún modelo te está robando demasiado espacio, puedes borrarlo con ollama rm. Para salir del chat, basta con escribir /bye.

Los mejores modelos según lo que necesites

No todos los modelos sirven para todo. Dependiendo de tu objetivo, deberías elegir uno u otro:

• Uso general y razonamiento: Llama 3.3 (70B) es la bestia para tareas complejas, mientras que Llama 3.1 (8B) es el equilibrio perfecto para cualquier PC moderno.
• Programación: DeepSeek Coder o Qwen 2.5 Coder son especialistas en picar código y refactorizar funciones.
• Lógica avanzada: DeepSeek-R1 es la opción ideal si necesitas que la IA «piense» paso a paso antes de darte la respuesta final.
• Multimodalidad: Modelos como Llava permiten que la IA «vea» imágenes y las describa.

Llevando Ollama al siguiente nivel: Interfaz Visual y API

Si la terminal te parece muy espartana, puedes instalar Open WebUI. Es una interfaz web que clona la experiencia de ChatGPT pero conectada a tu servidor local de Ollama. Te permite gestionar historiales, subir PDFs para que la IA los analice (RAG) y cambiar de modelo con un clic.

Para los desarrolladores, Ollama expone una API REST en el puerto 11434. Lo más potente es que es compatible con el formato de OpenAI, por lo que puedes usar cualquier librería de Python o JavaScript que ya tengas escrita para GPT-4 y simplemente cambiar la URL hacia tu máquina local. Esto permite crear asistentes personalizados que procesen datos sensibles sin que nada salga de tu red local.

Personalización avanzada con Modelfiles

Ollama permite crear tus propios modelos «especialistas» mediante archivos llamados Modelfiles. Es como crear una receta: defines un modelo base, le asignas un prompt de sistema (por ejemplo, «Eres un experto abogado español especializado en fiscalidad») y ajustas la temperatura para que sea más creativo o más preciso.

Con el comando ollama create, guardas esa configuración como un nuevo modelo. También puedes importar archivos en formato GGUF desde Hugging Face, lo que te permite probar versiones cuantizadas (comprimidas) de modelos experimentales que aún no están en la biblioteca oficial de Ollama.

Optimización y solución de problemas

Si notas que la IA va lenta, el primer paso es revisar la cuantización. Los modelos Q4_K_M suelen ser el estándar porque mantienen la calidad pero reducen el peso. Si tienes varias GPUs, Ollama intentará repartir las capas del modelo entre ellas automáticamente.

Un error común es el conflicto de puertos (Address already in use). Esto pasa si tienes dos instancias de Ollama abiertas. Se soluciona matando el proceso en el administrador de tareas o cambiando la variable de entorno OLLAMA_HOST. Si la GPU no es detectada, asegúrate de tener los drivers de NVIDIA (CUDA) o AMD (ROCm) actualizados a la última versión.

Tener una infraestructura de IA local implica dominar la gestión de la VRAM y saber elegir la cuantización adecuada para cada modelo, permitiéndonos transitar desde instalaciones sencillas en Windows o Mac hasta despliegues complejos mediante Docker y APIs compatibles con OpenAI para automatizar flujos de trabajo privados y eficientes.