Stage - Implémentation de modèles d’IA à l’edge - F/HN

Description de l'entreprise Premier cabinet d’architectes IT fondé en 1998, pionnier du delivery agile et véritable concentrateur de talents. Nous incarnons les nouvelles façons de faire du conseil et du Delivery. Digital Doers & Thinkers est notre marque de fabrique. Nous privilégions aujourd'hui notre positionnement Agile & DeepTech et sommes engagés quant à notre responsabilité sociale et environnementale Description du poste Sujet de stage L'inférence de modèle appliqué à un environnement contraint. Sous-titre Les modèles actuellement utilisés tournent principalement sur plusieurs GPUs dans un avenir proche de nombreux cas d’usages émergeront avec une contrainte forte sur le hardware et son accessibilité. Le WHY L’occasion de travailler sur un cas concret tout en explorant un état de l’art plus proche de la réalité. Mettre ces services à disposition de tous devient nécessaire, mais aussi être capable de fournir ces capacités sans être dépendant des grands acteurs et de leurs APIs. Les missions Cartographier les techniques d'optimisation pour LLM/VLM embarqués : quantification (int4/int8, GPTQ, AWQ), KV cache quantifié, décodage spéculatif, réduction des tokens visuels Comparer les runtimes et délégués matériels : ExecuTorch (CoreML/ANE, Metal, QNN), llama.cpp, MLX, vLLM, SGLang, Tensor-RT Implémenter un cas d'usage interne à données sensibles sur plusieurs paliers : poste M-series, smartphone, et serveur GPU interne selon disponibilité Mesurer les compromis : TTFT, tokens/s, RAM, énergie, qualité Produire une recommandation d'usage et un article OCTO Le déroulement du stage Étape 1 : Découverte et cadrage Faire de la veille bibliographique. Choisir un cas d’usage. Définir la roadmap avec les objectifs à réaliser. Étape 2 : Montée en compétences Se former sur les hardwares à disposition. Étape 3 : Exploration Exploration des possibilités existantes en relation avec le cas d’usage. Étape 4 : Réalisation Réalisation de l'implémentation et du déploiement répondant