Ollama et modèles LLM open-source

Dans le cadre de nos expérimentations autour des LLM open-source, nous avons récemment testé l’outil Ollama, une solution légère et open-source permettant de faire tourner localement des modèles de langage (LLM) de façon très simple, via CLI ou API REST.

Ollama se démarque par sa simplicité d’installation et d’usage. Une image Docker est disponible sur Docker Hub, permettant de déployer rapidement une instance locale : 

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Une fois lancé, il est possible d’exécuter n’importe quel modèle disponible sur leur registry avec une simple commande :

docker exec -it ollama ollama run phi

Nous avons rapidement évalué deux modèles :

• Phi-2 petit modèle très léger (2,7B), optimisé pour la rapidité.
• Mistral 7B l’un des meilleurs modèles open-source de 2024.

Malgré leur popularité, les performances en génération de texte nous ont semblé décevantes sur nos tests initiaux. Les réponses étaient parfois imprécises, peu fluides, voire hors sujet sur certains prompts.

Néanmoins, Ollama reste un excellent outil pour la veille et les expérimentations locales, avec un temps de mise en œuvre minimal.