PhD Modèles neuronaux sémantique haut niveau et signaux paralinguistiquesOrange

L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité...), les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.
Au sein de Innovation, vous serez intégré(e) dans une équipe de recherche d'une quinzaine de personnes travaillant dans le domaine de l'apprentissage profond et à la pointe sur des sujets audio tels que la transcription de la parole, l'anonymisation et les Speech-LLMs. L'équipe comprend également des ingénieurs développeurs, intégrateurs et d'autres doctorants.
Cette thèse se déroulera en partenariat avec l'Université du Mans dans le cadre d'un contrat CIFRE.

Contexte
La voix irrigue aujourd'hui l'expérience client et le travail collaboratif : hotlines, boutiques, réunions, visioconférences. Ce gisement recèle bien plus que la simple transcription. Les approches Speech-LLMs de bout en bout (E2E) ont montré, dans certaines configurations (pré-entraînement massif, finetuning), une sensibilité réelle au signal parlé. Cependant, cette exploitation demeure souvent opportuniste, peu contrôlée, en particulier pour les indices paralinguistiques (prosodie, intensité, pauses, rires) qui véhiculent identité, intention, certitude, ou ironie.
3 défis structurent le sujet. D'abord, capter et utiliser ces indices de façon explicite et mesurable, au-delà des cascades (ASR+LLM), et des E2E actuels qui n'en tirent pas encore tout le bénéfice. Ensuite, raisonner sur de très longs contextes : les conversations alternent sujets, locuteurs et références croisées, requérant mémoire, structuration temporelle et désambiguïsation (coréférences, implicites).
Chez Orange, des cas d'usage concrets : résumés de réunions orientés décisions, analyse d'alignement/contradiction entre contenu et ton, assistants vocaux plus naturels et sûrs. Côté marché, Sosh opère déjà un assistant vocal speech-to-speech, illustrant l'adoption à plus large échelle de ce type d'approches.
Objectifs et verrous
Unifier sémantique de haut niveau et signaux paralinguistiques pour ' comprendre au-delà des mots ', tout en gérant de longs contextes. Résultat attendu : des modèles et protocoles d'évaluation exploitant la richesse du signal parlé et mesurant les gains sur des cas d'usage sémantiques (résumé, suivi d'état, intentions, ironie/toxicité) en environnement multi-locuteurs et bruité.
3 sous-objectifs :
Mesurer l'apport paralinguistique. Définir des protocoles isolant sa contribution (avec/sans, contre-factuels via édition prosodique, ablations). Verrous : disponibilité/qualité des annotations, normalisation inter-locuteurs, robustesse au bruit.
Représenter et intégrer les signaux. Apprendre un espace commun audio-texte orienté concepts, reliant contenu linguistique et indices paralinguistiques, interrogeable par un modèle de compréhension. Verrous : alignement multimodal, généralisation hors domaine, contrôle de l'attention aux indices.
Gérer le long contexte (segmentation, hiérarchies, compression, architectures). Verrous : coût calcul/inférence, dérive mémorielle, traçabilité.

Compétences scientifiques et techniques
Intelligence artificielle.
Maîtrise d'un framework de deep learning (idéalement Pytorch).
Traitement du signal.
Mathématiques appliquées.
Traitement de la parole ou du texte (souhaitable).
Qualités personnelles
Rigueur pour la formalisation des algorithmes, la gestion des données, l'analyse critique des résultats, la communication.
Inventivité, imagination pour faire avancer les travaux de recherche, explorer des voies originales, résoudre des problèmes complexes.
Autonomie.
Ouverture et partage (des idées, points de vue, etc.). Savoir solliciter les échanges avec l'équipe, les encadrants, la communauté.
Formation
Vous êtes titulaire d'un master recherche ou équivalent, ou vous êtes diplômé(e) d'une école d'ingénieur ou équivalent avec, de préférence, une spécialité dans un ou plusieurs domaines de l'Intelligence Artificielle.
Expériences souhaitées
Stage dans le domaine du deep learning et/ou du traitement du signal audio.

Interessement, participation, mutuelle, restaurant d entreprise, participation frais de transport, activités sociales et culturelles CSE