Ollama

Introducció

Ollama és un client de models d’intel·ligència artificial, per tant és la base sobre la qual després instal·lar una IA que vulguis utilitzar.

Ollama tiene dos particularidades. La primera es que te permite usar una IA de forma local. Esto quiere decir que en vez de ir a la página de chat con inteligencia artificial de una empresa, el modelo está instalado en tu ordenador y lo utilizas directamente sin entrar en ninguna web.

Esto te favorece de tres maneras. Primero porque los datos de todo lo que haces se quedan en tu PC, de forma que ninguna empresa los utiliza. Segundo porque puedes usas la IA sin conexión a internet, y tercero porque puedes saltarte censuras que tenga un modelo de inteligencia artificial que estás utilizando en una web.

Y la segunda particularidad es que funciona a través de la terminal de tu ordenador, o el símbolo de sistema en Windows. Esto hace que no tengas que usar una aplicación aparte. Cuando instales Ollama, luego tendrás que usar la consola de tu dispositivo para instalar y ejecutar en ella el modelo que quieras, y las preguntas y los prompts los escribes en la consola, donde también tendrás las respuestas.

Linux

Crea una màquina Linux a Isard.

Instal·la ollama:

curl -fsSL https://ollama.com/install.sh | sh

Windows

Descarrega i instal·la Ollama si encara no ho has fet.

scoop install main/ollama
scoop install extras/ollama-full

Confirma que la comanda ollama està disponible.

ollama list

Si el servidor Ollama s’està executant al port 11434:

ollama serve

Run

Abans de començar has d’anar a la web on veuràs tots els models d’IA disponibles. La web és ollama.com/search

Instal·la el model DeepSeek R1 8b paramter:

ollama pull deepseek-r1:8b

Comprova la disponibilitat amb:

ollama list

```shell
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    59 seconds ago

Utilitza la comanda per llançar el model a la teva terminal, com per exemple ollama run deepseek-r1:8b per llançar la versió 8b de DeepSeek R1.

ollama run deepseek-r1:8b

La primera vegada que facis servir la comanda primer s’instal·larà el model, però les següents ja el llançaràs directament.

Després d’escriure la comanda, es llançarà el model d’IA al terminal. Ho distingiràs perquè veus que al camp d’escriptura del terminal ara apareix un >>>, el que significa que el que escriguis s’enviarà al model d’intel·ligència artificial.

Ara, a la línia d’ordres del teu ordinador podràs escriure el prompt que vulguis llançar-li a la IA que hagis triat, i després d’uns segons començarà a generar-te la resposta.

Prompt

Páginas de prompts

GPU

To get the GPU info simply run:

sudo lshw -C display -short
lspci -v | more