Orchestration IA locale : Qwen2.5 et RAG sans GPU

Temps de lecture : 5 min

Concrètement, l’orchestration d’une IA locale avec RAG (Retrieval-Augmented Generation) peut sembler complexe. Plus précisément, je vais te montrer comment j’ai monté une stack complète avec Qwen2.5, Nomic Embeddings et Open WebUI, le tout sans GPU. Oui, tu as bien lu : pas besoin d’une carte graphique dernier cri pour faire tourner un assistant intelligent chez toi.

Pourquoi une IA locale sans GPU ?

Je sais ce que tu penses : « une IA sans GPU, c’est lent et limité ». En 2026, c’est faux. Les modèles quantifiés et les runtimes optimisés comme llama.cpp ou Ollama permettent des performances surprenantes sur un simple CPU. L’avantage ? Confidentialité totale, coût zéro en cloud, et une intégration facile dans tes propres projets.

Dans mon cas, j’utilise cette stack pour GymLog, mon app de fitness. Les conseils personnalisés sont générés localement, sans envoyer de données sensibles à l’extérieur. Un vrai plus pour la vie privée.

Les composants de l’orchestration

Qwen2.5 : le cerveau

Qwen2.5 est un modèle de langage open-source qui rivalise avec les meilleurs. Disponible en différentes tailles (0.5B à 72B), il est parfait pour une exécution locale. Pour un CPU, je te conseille la version 7B quantifiée en Q4_K_M, un bon compromis entre qualité et vitesse.

Nomic Embeddings : la mémoire

Pour le RAG, il faut des embeddings de qualité. Nomic Embeddings (nomic-embed-text) est un modèle d’embedding léger et performant. Il transforme tes documents en vecteurs que le modèle pourra consulter pour répondre avec précision.

Open WebUI : l’interface

Open WebUI est une interface web élégante et Open Source pour interagir avec tes modèles. Elle gère nativement le RAG, l’historique, les utilisateurs multiples. Un gain de temps énorme par rapport à un simple script Python.

Déploiement conteneurisé pas à pas

Je te propose un déploiement avec Docker Compose. Voici les étapes.

1. Prérequis

• Docker et Docker Compose installés
• Au moins 16 Go de RAM (32 Go recommandé)
• Un CPU récent (oui, ça aide)

2. Fichier docker-compose.yml

Crée un fichier docker-compose.yml avec les services suivants :

version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    restart: unless-stopped
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    volumes:
      - open_webui_data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama
    restart: unless-stopped
volumes:
  ollama_data:
  open_webui_data:

3. Lancement

Un simple docker-compose up -d et les services démarrent. Ollama téléchargera automatiquement Qwen2.5 et Nomic Embeddings si tu le configures via l’interface.

4. Configuration de Open WebUI

Rends-toi sur http://localhost:3000. Dans les paramètres, ajoute les modèles :

• Modèle de langage : qwen2.5:7b
• Modèle d’embedding : nomic-embed-text

Active ensuite le RAG dans les paramètres avancés. Open WebUI te permettra d’uploader des documents (PDF, TXT) pour enrichir les réponses.

Retour d’expérience

J’ai testé cette stack sur un serveur Hetzner avec 32 Go de RAM et un CPU AMD. Les réponses sont générées en 2 à 5 secondes, ce qui est acceptable pour un usage personnel. Bien sûr, ce n’est pas aussi rapide qu’avec un GPU, mais pour un projet perso ou une petite équipe, c’est parfait.

Un défi : la gestion de la mémoire. Si tu charges trop de documents, le RAG peut devenir lent. J’ai limité la taille des chunks et le nombre de documents pour garder une réactivité correcte.

Conclusion

L’orchestration d’une IA locale sans GPU est non seulement possible, mais aussi pragmatique. Avec Qwen2.5, Nomic Embeddings et Open WebUI, tu obtiens une solution complète, private et évolutive. Alors, prêt à te lancer ?