LLMOps - Paris + 3j TT - Ministère (Habilitable - Nat FR ou Bi Nat)

Description du poste

1. Compétences opérationnelles

                                                                           i.      Mise en production fiable

• Déploiement de modèles LLM à grande échelle

• Versioning de modèles et rollback

• A/B testing et shadow deployment

                                                                         ii.      Monitoring post-déploiement

• Suivi de la dérive des données ou des performances

• Feedback loops et supervision humaine (RLHF / RLAIF)

                                                                       iii.      Expérience utilisateur

• Optimisation du temps de réponse

• Contrôle du coût d’inférence

• Design de produits LLM-friendly (chatbots, copilotes, etc.)

1. Compétences transverses

                                                                           i.      Communication interdisciplinaire

• Travailler avec data scientists, ingénieurs backend, juristes, PM, etc.

                                                                         ii.      Veille technologique

• Suivi actif des publications (ArXiv, Hugging Face, OpenAI, etc.)

• Capacité à expérimenter et intégrer de nouvelles approches rapidement

                                                                       iii.      Gestion de projet

• Planification et exécution de projets LLM à long terme

• Priorisation entre performance, coût, et éthique

Compétences techniques

                                                                           i.      MLOps avancé

• Pipelines CI/CD pour modèles ML/LLM

• Orchestration (Kubeflow, MLflow, Airflow)

• Monitoring et logging des modèles (Prometheus, Grafana, Weights & Biases)

                                                                         ii.      NLP et LLM

• Fine-tuning et instruction-tuning de LLMs (ex. LLaMA, Mistral, GPT)

• Prompt engineering avancé

• Techniques d’adaptation légère (LoRA, QLoRA, PEFT)

                                                                       iii.      Infrastructure et DevOps

• Conteneurisation (Docker), orchestration (Kubernetes)

• Infrastructure cloud (AWS, GCP, Azure) et gestion de GPU

• Infrastructure as Code (Terraform, Pulumi)

                                                                       iv.      Optimisation des modèles

• Quantization, pruning, distillation

• Serving optimisé (vLLM, TGI, TensorRT-LLM, DeepSpeed)

                                                                         v.      RAG (Retrieval-Augmented Generation)

• Intégration avec bases vectorielles (FAISS, Weaviate, Qdrant)

• Construction de pipelines RAG efficaces

                                                                       vi.      Sécurité et conformité

• Détection d’aléas (jailbreaks, prompt injection)

• Gestion des données sensibles (anonymisation, PII)

• Conformité RGPD, audits des modèles

3J de télétravail/semaine