Déployer des agents IA en production — incluant l’interaction vocale en temps réel — exige une architecture conçue pour la résilience, l’extensibilité et la performance opérationnelle à l’échelle enterprise. Cet article présente une vue détaillée de l’infrastructure sous-jacente, des modèles IA intégrés et du système d’audit. Il est destiné aux parties prenantes techniques qui évaluent la robustesse d’une plateforme d’orchestration IA.
Architecture générale
La plateforme repose sur quatre principes fondateurs.
Infrastructure cloud-native conteneurisée. Tous les services runtime sont déployés sur Kubernetes à l’intérieur d’un réseau virtuel isolé. Cette approche garantit la portabilité, l’isolation des charges de travail et la cohérence des déploiements entre les environnements.
Double chemin d’entrée. Le trafic REST et webhook est fronté par un pare-feu applicatif et un répartiteur de charge ; la voix en temps réel entre par une passerelle SIP renforcée. Les deux chemins terminent TLS et ne transmettent au cluster que le trafic validé.
Séparation sans état / avec état. L’orchestration, la logique métier et les gestionnaires de médias temps réel s’étendent horizontalement, tandis que les artefacts durables — enregistrements d’appels, transcriptions, données analytiques — résident dans des entrepôts de données cloud gérés avec réplication intégrée.
Observabilité en premier. Les métriques, journaux et traces sont agrégés dans le cluster et diffusés vers une pile de monitoring centralisée pour une couverture SRE 24h/24, 7j/7.
Interopérabilité des modèles
La plateforme est conçue pour ne jamais être prisonnière d’un fournisseur de modèle.
Pipeline modulaire. Les étapes de reconnaissance vocale automatique (ASR), de modèle de langage (LLM) et de synthèse vocale (TTS) sont accessibles via des adaptateurs légers. Les fournisseurs peuvent être remplacés — ou des options auto-hébergées insérées — sans toucher au code téléphonie.
Diversité des fournisseurs. La configuration par défaut utilise les meilleurs moteurs commerciaux disponibles, mais la couche d’orchestration peut router des clients individuels — ou même des appels individuels — vers des endpoints alternatifs pour des raisons de souveraineté des données ou de performance.
Compatibilité ascendante. Les futures capacités multimodales (image vers texte, questions-réponses sur documents) s’enregistrent avec le même contrat d’interface, protégeant les intégrations existantes des changements à venir.
Modèles propriétaires. Pour réduire la latence et améliorer la qualité vocale, la plateforme exécute une série de modèles propriétaires — TTS amélioré, détection de fin de tour, filtres de nettoyage audio — directement dans le cluster. Ces actifs ne sont pas exposés comme API autonomes ; ils restent privés à la plateforme et sont invoqués de façon transparente via la même couche d’adaptateurs.
Intégration téléphonie
SIP et SRTP standards. La plateforme parle SIP vanilla sur TLS pour la signalisation et protège les médias avec SRTP de bout en bout, permettant une interconnexion transparente avec les opérateurs de niveau 1, les PBX sur site et les plateformes voix cloud.
Apportez votre propre fournisseur VoIP. Que le trafic arrive de Twilio, Telnyx, Vonage, d’un opérateur régional ou d’un trunk SIP direct, les passerelles d’entrée normalisent la signalisation de sorte que le flux d’appel en aval ne change jamais.
Endpoints WebRTC. En complément des réseaux téléphoniques traditionnels, chaque agent peut être exposé comme un flux WebRTC sécurisé — idéal pour intégrer la voix temps réel dans des pages web ou des applications mobiles sans plugin.
Capacité de mise à l’échelle
Voix. Les nœuds GPU sont provisionnés avec une marge pour les charges de travail audio temps réel. Lors des pics de trafic, l’autoscaler met en ligne une capacité supplémentaire assez rapidement pour maintenir la latence conversationnelle dans une plage perceptible acceptable pour l’humain.
Messagerie et API. Les workers orientés files d’attente s’étendent horizontalement à mesure que le backlog ou le taux de requêtes augmente, tandis que les edges HTTP s’adaptent à la demande pour préserver une faible latence de queue sur le trafic webhook et REST.
Marge future. Des travaux sont en cours pour réduire le temps de provisionnement via des images préchauffées et pour diffuser la tokenisation, permettant plusieurs milliers d’appels simultanés par région sans changement architectural.
Sécurité
Chiffrement partout. TLS 1.3 est imposé sur tous les edges publics (REST, webhooks, SIP-TLS) et pour tout appel sortant vers des endpoints de modèles externes.
Gestion des identités et des accès. SSO basé sur OAuth, application du MFA, RBAC fin pour les utilisateurs comme pour les credentials machine.
Monitoring continu. Les flux de détection de menaces, les alertes d’anomalies et les audits de politiques alimentent un workflow de réponse aux incidents aligné sur les contrôles SOC-2.
Les modèles IA
Voici une présentation des principaux composants IA qui constituent la couche d’orchestration et la pile voix. Certains modèles sont utilisés tels quels ; d’autres ont nécessité un fine-tuning. L’optimisation se fait au cas par cas selon la performance, la latence et le coût.
Grand modèle de langage (LLM)
Le LLM est le moteur de raisonnement central. Il interprète les entrées, prend des décisions et coordonne les actions. Il ingère des données structurées et non structurées, et utilise sa compréhension du langage et du contexte pour déterminer l’intention, générer des réponses et déclencher des outils.
Les outils accessibles au LLM permettent d’effectuer des appels API, des transferts d’appels, d’envoyer des messages ou d’exécuter du code personnalisé.
Le LLM agit comme la couche de connexion entre les différents composants IA, permettant une orchestration dynamique et consciente du contexte sans avoir à coder chaque règle en dur.
Les performances des LLM sont évaluées régulièrement en fonction du coût, de la latence et de la qualité des réponses. L’optimisation se fait par cas d’usage ou par agent IA pour déterminer quel LLM exécute la tâche le plus efficacement.
Synthèse vocale (TTS)
La synthèse vocale transforme le texte écrit en parole naturelle avec l’intonation, le rythme et la clarté appropriés. C’est bien plus que la simple conversion séquentielle de mots en sons — le modèle TTS doit comprendre le contexte du texte pour générer une parole qui lui correspond de façon naturelle et humaine.
Par exemple, la question « Elle n’est pas venue ? » exige une intonation montante, tandis que l’affirmation « Elle n’est pas venue. » requiert une contour descendant. Un simple changement de ponctuation peut nécessiter une intonation différente.
Gérer cette variation de façon cohérente est l’un des défis permanents du TTS — tout comme prononcer correctement des entités complexes comme les nombres, gérer les phrases courtes sans paraître brusque, et maintenir la fluidité lors des transitions. Les tendances récentes — comme la synthèse non-autoregressive — aident à améliorer la vitesse et la stabilité tout en préservant l’expressivité.
Transcription vocale (ASR)
Un transcripteur convertit la parole en texte. Il écoute un flux audio et produit une transcription alignée dans le temps, capturant ce qui a été dit et quand. Les transcripteurs sont fondamentaux dans les interfaces vocales, permettant la recherche, l’analyse et le traitement en aval par les modèles de langage.
Le jargon métier, les accents, les conversations parallèles et les bruits de fond peuvent provoquer des erreurs de transcription — avec des effets négatifs sur la conversation en cours comme sur le traitement en aval. Ces défis sont souvent spécifiques à chaque secteur. La concentration sur la chaîne logistique, par exemple, permet de fine-tuner les transcripteurs pour surmonter ces obstacles.
Pour équilibrer vitesse et précision, la transcription en ligne alimente les interactions en direct, puis les transcriptions sont enrichies hors ligne pour une précision et une cohérence améliorées dans les flux d’analyse et d’audit.
Détection de fin de tour (EOT)
Un modèle de fin de tour détermine quand un locuteur a terminé son tour dans une conversation. Il analyse les indices acoustiques (pauses, chutes de hauteur), les patterns linguistiques et le timing pour prédire si l’utilisateur a fini de parler. Cela permet aux agents IA de répondre promptement sans interrompre ni créer de silences non naturels.
L’EOT est souvent sous-estimé mais il est critique pour l’expérience utilisateur et le succès du déploiement en conditions réelles. Même si les modèles fondamentaux deviennent plus rapides, savoir quand parler restera un défi. Les modèles EOT sont fine-tunés pour gérer les scénarios réels des clients.
Détection d’activité vocale (VAD)
La détection d’activité vocale est une technique de traitement du signal qui identifie quand de la parole est présente dans un flux audio. Elle distingue les segments de voix des segments non-vocaux, aidant les systèmes à ignorer le bruit de fond, le silence ou d’autres sons non-vocaux. La VAD est souvent la première étape d’un pipeline de traitement vocal.
Les modèles VAD ont encore du mal avec les environnements bruyants, la parole chevauchée et les énoncés courts ou hésitants. Il existe un compromis inhérent entre latence et précision : les systèmes temps réel doivent minimiser le délai, mais des décisions plus rapides augmentent le risque d’erreurs. La combinaison de VAD avec des modèles de transcription et de suppression de bruit améliore la précision.
L’audit IA
La qualité et la fiabilité des agents IA en production sont une responsabilité sérieuse. Chaque jour, les agents gèrent des milliers de conversations, des documents, et lisent et écrivent des données dans des bases de données. Les clients confient à ces systèmes des responsabilités importantes : leurs relations clients, leurs données métier critiques, leurs opérations.
L’audit manuel à cette échelle présente des défis significatifs. La solution est un système d’audit avancé alimenté par l’IA, qui combine grands modèles de langage, ML classique et algorithmes à base de règles. Cette approche hybride permet une détection efficace et précise des problèmes clés, assurant des standards élevés de performance et de conformité sur toutes les interactions.
Ce que nous mesurons
L’auditeur principal est le Post-Call Auditor — un système qui mesure la qualité des appels et détecte les événements et traits clés pour les agents. Voici une sélection non exhaustive des métriques suivies.
Expérience vocale
- Nombre d’interruptions — Mesure quand l’IA parle par-dessus le client, signe d’un mauvais flux conversationnel.
- Latence — Mesure le délai de réponse entre la parole du client et la réplique de l’IA. Une latence excessive brise le rythme conversationnel.
- Précision de transcription — Mesure la précision de la conversion parole-texte. Une mauvaise transcription entraîne des réponses incorrectes.
Engagement et fluidité conversationnelle
- Demandes d’escalade — Suit quand les clients demandent un agent humain, signe de limitations de l’IA ou d’insatisfaction.
- Scores de sentiment — Surveille l’état émotionnel du client tout au long de l’appel.
- Ratios de prise de parole — Surveille l’équilibre entre le temps de parole de l’IA et celui du client.
Autonomie et collaboration humain-machine
- Taux de transfert humain — Mesure la fréquence des appels nécessitant une intervention humaine.
- Analyse des déclencheurs de transfert — Catégorise les raisons des transferts pour identifier les patterns et opportunités d’amélioration.
- Taux de résolution autonome — Suit le pourcentage de problèmes résolus sans intervention humaine.
Précision des données et exécution des outils
- Précision de sélection des outils — Mesure le choix du bon outil pour les besoins spécifiques du client.
- Exécution de la logique de relance — Évalue la gestion correcte des erreurs transitoires avec les API externes.
- Précision des informations — Assure la correction des données récupérées et communiquées aux clients.
Efficacité des appels et résultats business
- Durées des appels — Surveille la longueur optimale des appels selon les types de résolution.
- Délai d’atteinte des actions clés — Mesure la vitesse d’atteinte des objectifs primaires de l’appel.
- Taux de résolution — Mesure l’atteinte réussie des objectifs d’appel prévus.
- Taux de conversion — Suit le succès dans les ventes, les rendez-vous ou les actions client souhaitées.
Qui audite l’auditeur ?
Une tendance croissante dans les systèmes d’évaluation IA, notamment ceux qui intègrent des LLM, est la question : « Qui valide les validateurs ? »
C’est une question importante. Pour qu’un auditeur soit véritablement utile, il doit démontrer à la fois un rappel élevé (identifier tous les cas de régression) et une précision élevée (n’alerter que sur les cas où il y a effectivement eu régression), ce qui signifie que le système d’audit IA doit avoir un F-score élevé.
Pour s’en assurer, on mesure dans quelle mesure l’auditeur IA s’accorde avec l’audit humain sur différents types d’interactions vocales.
La qualité ne s’arrête pas au déploiement. Elle se mesure en continu, à chaque appel, à chaque interaction, sans exception.