Servir des modèles en local : plusieurs outilsServing models locally: multiple tools

from openai import OpenAI

# Seule cette ligne change selon le moteur. / Only this line changes per engine.
client = OpenAI(base_url="http://172.16.8.81:11434/v1", api_key="not-needed")

r = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "Dis bonjour en une phrase."}],
    temperature=0, seed=42, max_tokens=64,
)
print(r.choices[0].message.content)
print(r.usage)          # tokens réels : la seule source de vérité

# État réel du lab (relevé 2026-09-18) : Ollama 0.32.13 sur le port 11434
curl -s http://172.16.8.81:11434/api/version          # {"version":"0.32.13"}
curl -s http://172.16.8.81:11434/v1/models | head -c 200

# Cycle de vie d'un modèle
ollama pull llama3.1:8b
ollama list
ollama ps                      # modèles RÉELLEMENT chargés en mémoire
ollama run llama3.1:8b "Bonjour"

# Exposer le service au réseau (sinon 127.0.0.1 seulement)
export OLLAMA_HOST=0.0.0.0:11434
systemctl restart ollama

# Sur le lab, llama.cpp est DÉJÀ compilé (build CPU) :
#   /home/sysadmin/llama.cpp/build-cpu/bin/llama-server
#   /home/sysadmin/llama.cpp/build-cpu/bin/llama-cli
# Note : build-cpu = pas de CUDA. C'est voulu : c'est notre référence CPU.

# Lancer un serveur compatible OpenAI, en CPU :
~/llama.cpp/build-cpu/bin/llama-server \
    -m /chemin/vers/modele.gguf \
    -c 8192 \            # fenêtre de contexte
    -t 8 \               # threads CPU
    --host 0.0.0.0 --port 8080

# Vérifier la vie du serveur (endpoint dédié, pas une supposition)
curl -s http://127.0.0.1:8080/health
curl -s http://127.0.0.1:8080/v1/models

# vLLM n'est PAS installé sur le lab : on le fait tourner en conteneur.
# Docker est disponible, et le lab a 2 x RTX 3060 (24 Go cumulés).
docker run --gpus all -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-7B-Instruct \
  --tensor-parallel-size 2 \        # répartir sur les 2 GPU
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

curl -s http://127.0.0.1:8000/v1/models

# 1. LA PREUVE PAR L'API — jamais par le nom du processus.
curl -s -m 5 http://172.16.8.81:11434/v1/models          # répond-il ?
curl -s -m 5 http://172.16.8.81:11434/api/version        # quelle version ?

# 2. UN VRAI TRAVAIL, PAS UN PING : une complétion minuscule.
curl -s http://172.16.8.81:11434/v1/chat/completions \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"ping"}],
       "max_tokens":5}' | head -c 300

# 3. QUI ÉCOUTE VRAIMENT, ET DEPUIS QUAND ?
ss -tlnp | grep 11434
ps -eo pid,lstart,cmd | grep -i ollama | grep -v grep
#  ^ comparez l'heure de DÉMARRAGE du processus avec la date de modification
#    du fichier que vous venez de patcher. Si le processus est plus vieux
#    que votre patch, vous testez l'ancien code.

# 4. RESSOURCES RÉELLEMENT UTILISÉES
nvidia-smi --query-gpu=index,memory.used,utilization.gpu --format=csv
ollama ps