Guide · 9 billets · 35 min de lecture
Faire tourner une IA en local : matériel, outils et règles
Ce parcours commence par le matériel et finit par le cadre réglementaire. Les billets techniques se suivent du plus simple (un modèle servi par API) au plus complet (une interface et ses documents).
LLM en local : estimer la mémoire nécessaire avant de choisir son matériel
Estimer la mémoire nécessaire avant d'acheter
Poids, quantification GGUF, contexte et cache KV : ce qui remplit la VRAM ou la RAM unifiée, les formules d'ordre de grandeur et ce qu'en disent llama.cpp, Ollama et Hugging Face.
Ollama : servir un LLM local et l'appeler par API sans l'exposer
Servir un modèle avec Ollama sans l'exposer
Installer Ollama, gérer ses modèles, appeler l'API native ou compatible OpenAI sur le port 11434, et ne l'ouvrir au réseau que filtrée, car l'API locale ne demande aucune authentification.
llama.cpp sans surcouche : servir un modèle GGUF avec llama-server
Servir un modèle GGUF avec llama.cpp seul
llama-server charge un fichier GGUF et l'expose par une API compatible OpenAI. Options utiles (contexte, couches GPU, slots), clé d'API, santé du service, et quand le préférer à Ollama.
Open WebUI devant Ollama : installer, connecter, verrouiller les comptes
Ajouter une interface web et verrouiller les comptes
Installer Open WebUI en Docker ou en Python, le relier à Ollama, sécuriser le premier compte administrateur et ne publier son port que sur 127.0.0.1, car Docker contourne ufw.
RAG 100 % local : interroger ses documents avec Ollama et Chroma
Interroger ses propres documents en local
Découper, vectoriser avec /api/embed, indexer dans Chroma, récupérer, générer. Un RAG local en une page de Python, et ses trois points faibles, le découpage, les citations et la mise à jour.
Modèle « open source » ou « open weight » : lire la licence avant de l'utiliser
Lire la licence du modèle avant de l'utiliser
Apache 2.0, Llama Community License, Gemma Terms of Use : ce que chaque texte autorise, ce qu'il impose à la redistribution et où trouver la licence d'un modèle sur Hugging Face.
Assistant IA et données personnelles : ce que recommande la CNIL
Appliquer les recommandations de la CNIL
Avant de coller des données personnelles dans un assistant IA : base légale, minimisation, information, AIPD, réutilisation par le fournisseur. Ce que disent le RGPD et les questions-réponses de la CNIL.
Souveraineté et IA : qui exploite le modèle compte plus que l'endroit
Mesurer ce que change l'hébergement du modèle
Un prompt envoyé à un modèle hébergé est une donnée confiée à un tiers. CLOUD Act, transferts au sens du RGPD, cadre UE-États-Unis, SecNumCloud : ce que disent les textes, et trois options d'hébergement.
AI Act : le calendrier après l'omnibus, et ce qui concerne le déployeur
Connaître le calendrier de l'AI Act
Interdictions, maîtrise de l'IA, transparence, haut risque, modèles à usage général : les dates du règlement 2024/1689, le report adopté en juillet 2026 et ce que le texte demande à qui utilise une IA.