Découper, vectoriser avec /api/embed, indexer dans Chroma, récupérer, générer. Un RAG local en une page de Python, et ses trois points faibles, le découpage, les citations et la mise à jour.
Installer Open WebUI en Docker ou en Python, le relier à Ollama, sécuriser le premier compte administrateur et ne publier son port que sur 127.0.0.1, car Docker contourne ufw.
Installer Ollama, gérer ses modèles, appeler l’API native ou compatible OpenAI sur le port 11434, et ne l’ouvrir au réseau que filtrée, car l’API locale ne demande aucune authentification.
Poids, quantification GGUF, contexte et cache KV : ce qui remplit la VRAM ou la RAM unifiée, les formules d’ordre de grandeur et ce qu’en disent llama.cpp, Ollama et Hugging Face.
llama-server charge un fichier GGUF et l’expose par une API compatible OpenAI. Options utiles (contexte, couches GPU, slots), clé d’API, santé du service, et quand le préférer à Ollama.
Apache 2.0, Llama Community License, Gemma Terms of Use : ce que chaque texte autorise, ce qu’il impose à la redistribution et où trouver la licence d’un modèle sur Hugging Face.