Evaluaciones
Las Evaluaciones de Gobierto Asistente permiten un control y análisis de las todas las conversaciones que mantienen los usuarios de tu organización con la inteligencia artificial de Gobierto, realizando evaluaciones automáticas sobre la calidad de las conversaciones, y permitiéndote entender qué uso hacen tus usuarios de Gobierto Asistente y qué resultados obtienen.
Uno de los grandes riesgos del uso de herramientas de inteligencia artificial es poder garantizar la correción de los resultados generados. Cuando una IA generalista como ChatGPT genera un resultado, la fiabilidad, detalle, y correción de la información dependen de distintos factores.
En Gobierto los neutralizamos en una gran medida pero a pesar de ello, poder auditar las conversaciones generadas en tu organización aportan seguridad y tranquilidad al poder observar de primera mano qué están obteniendo tus usuarios de la IA.
Las Evaluaciones de Gobierto son otra de las razones por las que usar una herramienta especializada vs. confiar en productos generalistas.
Beneficios
- Entiende qué uso están haciendo tus usuarios de la IA
- Obtén métricas automáticas sobre la calidad de los resultados
- Comprueba el nivel de satisfacción declarado
- Audita las conversaciones de tus usuarios y los resultados que reciben
- Configura tus propias evaluaciones
- Estadísticas de uso por perfil de usuario
- Resumen cuantitativo y análisis del tipo de peticiones
Funcionalidades
| Funcionalidad | Detalle |
|---|---|
| Monitorización de las conversaciones | Panel de control para que un usuario adminsitrador de tu organización pueda revisar las conversaciones del conjunto de tus usuarios. |
| Evaluaciones automáticas | Usamos un LLM para juzgar a otro LLM ;) Ejecutamos evaluaciones automáticas sobre la calidad general de la conversación respecto a la petición del usuario, y de la relevancia de los contextos aportados. |
| Métricas de satisfacción de usuario | Los usuarios pueden valorar de forma positiva o negativa cada mensaje en el trancurso de las conversaciones. Consulta todo el detalle sobre estas valoraciones. |
| Monitorización de las conversaciones | Comprueba y analiza las conversaciones de tus usuarios: qué tipo de peticiones realizan, qué resultados obtienen, frecuencia y volumen de uso... |
| Control de acceso | Controla quién accede a las evaluaciones (configuración a través del sistema de Roles y Permisos de Gobierto) |
Cómo funciona
Puedes acceder al panel de Evaluaciones en Asistente / Evaluaciones.
Métricas principales
El panel de métricas proporciona información cuantitativa sobre el uso del asistente:
- Conversaciones totales: Número total de conversaciones, incluyendo un desglose entre evaluaciones automáticas y manuales.
- Mensajes por conversación: Media de mensajes (incluyendo peticiones de usuarios y respuestas del asistente) por conversación. También se muestra el promedio del Top 25% de conversaciones con más actividad, útil para identificar el uso intensivo del asistente.
- Valoración usuarios: Conteo de valoraciones positivas (👍) y negativas (👎) declaradas por los usuarios durante sus conversaciones.
- Evaluaciones automáticas por tipo: Métricas detalladas de cada tipo de evaluación automática (relevancia, calidad, etc.) con porcentajes de éxito/fallo.
Filtrado de conversaciones
Utiliza los filtros de la barra lateral para analizar subconjuntos específicos de conversaciones:
- Fecha: Filtra por rango temporal (últimos 30 días por defecto, 90 días, 6 meses, 12 meses, o todo el histórico). Este filtro se aplica tanto a las métricas como al listado de conversaciones.
- Organización: Filtra conversaciones por organización específica.
- Email de usuario: Filtra conversaciones de usuarios específicos.
Ordenación de conversaciones
Ordena el listado de conversaciones según tus necesidades:
- Últimas creadas: Conversaciones ordenadas por fecha de creación (más recientes primero).
- Últimas conversaciones con actividad: Conversaciones ordenadas por última actualización.
- Con más mensajes: Conversaciones ordenadas por número total de mensajes, mostrando primero las más activas.
Detalle de conversación
Accede a una conversación individual para revisarla en detalle: peticiones del usuario, respuestas del sistema, evaluaciones automáticas puntuales y valoraciones declaradas por el usuario.
Contacta con nosotros para activar esta funcionalidad.