Utiliser des modèles d’IA locaux : une solution simple, efficace et confidentielle
Vous êtes à court de tokens, ou vous souhaitez poser une question à une IA sans exposer vos données à un service en ligne ? Il existe une solution très efficace : faire tourner un modèle d’IA en local, directement sur votre machine. Bonne nouvelle : aujourd’hui, c’est devenu extrêmement simple.
Ollama : l’outil qui simplifie tout
Il suffit d’installer Ollama, un petit logiciel qui permet de télécharger et d’exécuter des modèles localement, sans configuration compliquée. Une fois installé, vous chargez un modèle et vous pouvez immédiatement commencer à interagir avec lui.
Quels modèles utiliser ?
Voici ceux que je recommande, selon votre matériel :
- Qwen 3.5 – 4B Léger, fonctionne très bien uniquement sur CPU. Idéal pour tester ou pour les machines sans GPU.
- Qwen 3.5 – 9B Très bon modèle, mais nécessite une carte graphique avec au moins 16 Go de VRAM.
- Gemma 4 – 12B Excellent également, même contrainte : 16 Go de VRAM minimum.
Une carte graphique haut de gamme (type Nvidia 5080) n’est pas obligatoire. On peut tout à fait utiliser un modèle local uniquement avec le CPU, à condition qu’il soit suffisamment puissant.
Que peut-on espérer d’un modèle local ?
1. Pas un chatbot… mais on peut en faire un
Un modèle local ne gère pas automatiquement une conversation comme ChatGPT. Il répond à la dernière requête, point. Mais rien n’empêche de lui renvoyer un résumé des échanges précédents pour simuler un vrai chatbot. Ce résumé peut d’ailleurs être généré… par le même modèle.
2. Qualité des réponses
Sur les modèles cités, on obtient un niveau que je situerais autour de ChatGPT‑4 / ChatGPT‑5, ce qui est largement suffisant pour une grande variété de questions. En revanche, on n’atteint pas le niveau des modèles cloud haut de gamme comme Gemini 3.x Pro ou Claude 4.x Sonnet/Opus.
3. Performances : CPU vs GPU
- Sur CPU uniquement Avec un processeur 20 threads (10 cœurs multithreadés) à 3.5 GHz et Qwen 3.5:4B, on obtient environ 5 tokens par seconde. Ce n’est pas fulgurant, mais c’est parfaitement utilisable.
- Avec une carte graphique Nvidia 5080 Sur des modèles comme Qwen 3.5:9B ou Gemma 4:12B, on change complètement d’échelle : 50 à 100 tokens par seconde. Là, on obtient une expérience très fluide, proche des modèles cloud.
Exemples
Je me suis fait une petite application de type WPF en langage C# afin de pouvoir écrire mon prompt et de voir en temps réel la réponse du modèle choisi.
1/ Une demande en anglais pour faire du code golf en langage python. Le modèle applique des astuces classiques, comme transforme le while True en while 1, et il essaye de toute mettre sur une ligne pour économiser des espaces. Le résultat final fonctionne. Ce n’est pas la solution optimale, mais le travail est quand même fait.
2/ Un test de raisonnement astucieux : un lave-auto est situé à 100 mètres : faut-il y aller à pied ou en voiture ?
Qwen 3.5 9B se plante en répondant qu’il faut y aller à pied.
3/ Le même test soumis à Gemma 4:12B
Gemma 4:12B fait un sans faute en ayant remarqué qu’il y avait une astuce. Il a probablement été entraîné pour détecter ces questions piège.
Testés sur bien d’autres petites questions variées, les 2 modèles ont répondu correctement.
- Que vaut la racine cubique de 27 ?
- Quel est le mot le plus long de la langue française ?
- Quel était le Président de la France en 1800 ?
- Qu’est-ce qu’un nombre complexe déployé (split-complexe number en anglais) ?
- Quel algorithme de tri est le plus efficace pour trier une liste en programmation logicielle ?
- Pourquoi Paris s’appelle la ville lumière ?
- Quelle est la longueur maximale d’un câble ethernet ?
- Quelle est la plus grande étoile connue ?
- L’orge possède combien de chromosomes ?
En revanche, Qwen 3.5:9B a échoué sur une question pourtant triviale : « Combien y a‑t‑il de caractères dans le mot chat ? »
Le modèle s’est enlisé dans une boucle de réflexion inutile, se demandant s’il existait un e muet ou une variante orthographique, et a fini par consommer les 32 000 tokens de sortie sans jamais donner la réponse. À l’inverse, Gemma 4:12B a répondu immédiatement et correctement.
Ce genre de comportement montre que même les bons modèles locaux peuvent parfois “sur‑analyser” une question simple, surtout lorsqu’ils sont configurés avec une température basse ou une fenêtre de contexte large.
Malgré ces rares ratés, il faut reconnaître que la quantité de connaissances que l’on peut extraire de modèles de seulement quelques milliards de paramètres est impressionnante. Ils sont capables de fournir des réponses pertinentes sur une grande variété de sujets – mathématiques, histoire, astronomie, biologie, informatique, linguistique – avec une aisance qui, il y a encore quelques années, aurait nécessité des modèles cloud beaucoup plus lourds.
En résumé : L’IA locale est la solution idéale pour ceux qui cherchent de l’autonomie, de la confidentialité et une alternative gratuite aux abonnements mensuels.
