Présentation

LiteLLM est une gateway qui au départ est faite pour “proxyfier” l’accès aux LLMs et gérer le budget des multiples licences des équipes qui utilisent l’IA dans une entreprise.

• GitHub LiteLLM

MCP Gateway

Dans la suite de mes articles sur les serveurs MCP et les AI Gateway, je veux utiliser LiteLLM pour sécuriser l’accès à mon serveur MCP de gestion des cartes.

Installation

• Docker
  • LiteLLM
  • PostgreSQL
  • Prometheus

Configuration avec Docker-compose LiteLLM Documentation

Configuration

• Ajout du serveur MCP de gestion des cartes

• Création d’une Team
• Ajout d’un User
• Configuration d’une Key pour le authoriser le User à appeler le serveur MCP
• Test du serveur MCP via la gateway LiteLLM

Monitoring

Gestion des couts