Indicateur de qualité des appels
Surveillez la qualité technique et conversationnelle de chaque entretien IA.
Omogen intègre un système d'observabilité qui évalue automatiquement la qualité de chaque appel téléphonique réalisé par l'agent IA. Cet indicateur est accessible directement depuis l'historique de communication d'un processus.
L'indicateur signal
Chaque appel affiche un indicateur en forme de barres de signal (comme la réception mobile), avec 5 barres dont le remplissage et la couleur reflètent la qualité globale :
| Score global | Barres remplies | Couleur |
|---|---|---|
| ≥ 70 % | 5/5 | Vert |
| ≥ 55 % | 4/5 | Jaune |
| ≥ 40 % | 3/5 | Orange |
| < 40 % | 1-2/5 | Rouge |
Un indicateur grisé signifie que les données de qualité ne sont pas encore disponibles pour cet appel.
Détail au survol (tooltip)
En survolant l'indicateur, une info-bulle détaillée apparaît avec :
- Le libellé « Qualité de l'appel »
- La note globale (lettre A à D) et le score en pourcentage
- Le détail par catégorie, chacune représentée par une pastille colorée et son score
Les 3 catégories de métriques
1. Qualité conversationnelle
Évalue la qualité de l'interaction entre l'agent IA et le candidat :
| Métrique | Description | Format |
|---|---|---|
| Score de satisfaction | Satisfaction apparente du candidat | /5 |
| Compréhensibilité | Clarté des échanges dans la transcription | /5 |
| Questions répétées | Nombre de questions posées plusieurs fois par l'agent | Compteur |
| Réponses répétées | Nombre de réponses répétées par le candidat | Compteur |
| Faux positifs de compréhension | Cas où l'agent a cru comprendre à tort | Compteur |
| Hallucination détectée | L'agent a-t-il inventé des informations ? | Oui / Non |
| Information incorrecte | L'agent a-t-il donné une information fausse ? | Oui / Non |
2. Qualité technique (audio)
Évalue la qualité technique de la communication :
| Métrique | Description | Format |
|---|---|---|
| MOS utilisateur | Score audio perçu côté candidat (Mean Opinion Score) | /5 |
| MOS agent | Score audio perçu côté agent IA | /5 |
| Interruptions utilisateur | Nombre de fois où le candidat a coupé l'agent | Compteur |
| Interruptions agent | Nombre de fois où l'agent a coupé le candidat | Compteur |
| Confiance de transcription | Fiabilité de la transcription speech-to-text | % |
| Ratio de silence | Proportion de silence dans la conversation | % |
3. Performance
Évalue la réactivité et l'efficacité du système :
| Métrique | Description | Format |
|---|---|---|
| Latence de tour | Temps moyen de réponse de l'agent IA | ms |
| Latence du modèle | Temps de traitement du LLM | ms |
| Latence vocale | Temps de synthèse text-to-speech | ms |
| Durée de l'appel | Durée totale de la conversation | Secondes |
| Tokens LLM | Volume de tokens consommés par le modèle | Compteur |
| Caractères TTS | Volume de texte converti en voix | Compteur |
Code couleur des métriques individuelles
Chaque métrique est colorée selon des seuils adaptés à son type :
- Scores sur 5 (MOS, satisfaction) : ≤1 rouge, 2-3 orange, 4 jaune, 5 vert
- Latence (ms) : <1500 vert, <2000 jaune, <2500 orange, ≥2500 rouge
- Booléens (hallucination, info incorrecte) : Oui = rouge, Non = vert
- Compteurs (interruptions, etc.) : couleur basée sur le statut renvoyé par le système
Cas d'usage
- Détecter un problème technique : un MOS faible indique un problème audio (réseau, micro)
- Identifier un problème conversationnel : des questions répétées ou une hallucination signalent un axe d'amélioration de l'agent IA
- Monitorer la latence : une latence de tour élevée dégrade l'expérience candidat
- Auditer la qualité globale : le score global et la note (A-D) donnent une vision rapide pour prioriser les appels à investiguer