Dimensionner l'infrastructure d'un déploiement IA souverain

Le choix du matériel détermine directement la taille de modèle exploitable, la latence de réponse et le nombre d’utilisateurs simultanés qu’une architecture Yevi Core v1.0 (Licence MIT) peut absorber. Sous-dimensionner produit des réponses lentes ; sur-dimensionner immobilise du capital (calculateur de TCO 3 ans sur le coût d’un LLM privé).

Trois profils de charge pour Yevi Core v1.0

flowchart LR
    A[Appliance 35W / Site Isolé] -->|NPU / CPU 16c 64GB| B[Mistral 7B / Llama 8B GGUF Q4]
    C[PME / Cabinet 30-100] -->|1x GPU 8 Go (RTX 4060)| D[Modèles 13B / DeepSeek R1 14B]
    E[Grand Groupe / Multi-sites] -->|2x GPU 80 Go H100/A100| F[Llama 3.3 70B / DeepSeek R1 32B AWQ]

Profil	Matériel	Modèle exploitable	Latence typique & Architecture
Edge / Site Isolé	NPU / CPU 16 cœurs, 64 Go RAM	Mistral 7B / Llama 8B (GGUF Q4)	3 à 8 s (Guide Infrastructure Limitée 35W)
Cabinet 30 à 100	1× GPU 8 Go (RTX 4060)	DeepSeek R1 14B / Modèles 13B	1 à 3 s (Hébergement Local en Entreprise)
Multi-sites Groupe	2× GPU 80 Go	Llama 3.3 70B / DeepSeek R1 32B	< 1 s, forte concurrence avec vLLM

Ce qui fait varier ces chiffres dans Yevi Core v1.0

La quantification (GGUF / AWQ 4-bit). Un modèle 7B/8B quantifié tient dans 6 à 8 Go de VRAM avec une perte de précision négligeable.

Le moteur d’inférence vLLM avec Continuous Batching. Multiplie par 4 le débit de requêtes concurrentes sans augmenter l’empreinte mémoire.

La séparation mémoire Vector DB vs LLM. L’index hybride BM25 + ChromaDB et le masquage en mémoire RAM volatile (Privacy Vault) consomment de la mémoire RAM système et non de la mémoire VRAM GPU.

---

🛠️ Ressources & Prochaines Étapes

• 🧮 Calculer le ROI & TCO sur 3 ans de votre serveur sur notre Simulateur
• 🎯 Demander un audit de dimensionnement d’infrastructure sur-mesure (30 min)
• 💻 Accéder au code source open source de Yevi Core v1.0 sur GitHub (Licence MIT)
• 📦 Consulter la fiche technique de l’Appliance physique YEVI-BOX