vera
Beta abierta · Plan gratuito disponible

Evalúa tu chatbot antes de que falle

Vera genera test cases con IA, evalúa cada respuesta con un juez LLM y detecta regresiones entre versiones de tu chatbot.

Sin revisión manual, sin scripts de testing que se rompen, sin descubrir los bugs cuando ya están en producción.

Sin tarjeta de crédito · 10 runs gratis al mes

El problema

Los LLMs fallan de formas que el testing manual no detecta

Un cambio de prompt, una actualización del modelo o un input inesperado puede romper el comportamiento de tu chatbot sin que nadie lo note. Lo descubres cuando ya ha llegado a producción.

01
Comportamiento inconsistente
La misma pregunta puede recibir respuestas muy distintas en cada ejecución. Sin un baseline, no sabes cuál es la correcta.
02
Regresiones invisibles
Cambias el system prompt para mejorar algo y sin querer rompes otra cosa. No hay forma de saberlo sin comparar versiones.
03
Vulnerabilidades de seguridad
Prompt injection, jailbreak, extracción de instrucciones. Los LLMs son atacables y muy pocos equipos los prueban.

Sin Vera vs con Vera

Cómo se evalúan chatbots hoy y cómo debería hacerse

La mayoría de equipos descubren que su chatbot falla cuando ya está en manos de usuarios reales. No porque no les importe la calidad, sino porque no existía una forma práctica de testearlo.

Sin Vera — el estado actual

  • Pruebas manuales: alguien del equipo chatea con el bot y decide "parece que funciona"
  • Los bugs llegan a producción. Te enteras por una queja o una captura de pantalla en Twitter
  • Cambiar el prompt es un salto al vacío: no sabes si mejora o empeora el comportamiento
  • Sin cobertura de casos límite, preguntas ambiguas ni ataques de prompt injection
  • Cada evaluación es diferente según quién la hace y el día que tiene

Con Vera

  • Test cases generados automáticamente: happy path, casos límite y ataques de seguridad
  • Detectas regresiones antes de desplegar, no después de que alguien lo reporte
  • Compara dos versiones del prompt y ve exactamente qué mejoró y qué empeoró
  • Cobertura completa: comportamiento, tono, límites, seguridad y red team
  • Un juez LLM evalúa con los mismos criterios en cada ejecución, sin variabilidad

Cómo funciona

De cero a tu primer run en minutos

1
Conecta tu chatbot
Apunta Vera a tu endpoint OpenAI-compatible. Describe tu producto: qué hace, qué debe evitar, cómo debe responder.
2
Genera test cases con IA
Vera crea automáticamente escenarios realistas: happy path, casos límite, preguntas fuera de alcance, ataques de seguridad y técnicas de red team.
3
Ejecuta y analiza
El juez LLM evalúa cada respuesta con criterios definidos. Compara runs entre versiones y detecta exactamente qué empeoró y qué mejoró.

Qué incluye

Todo lo que necesitas para evaluar un chatbot con IA

Juez LLM consistente
Evalúa cada respuesta con criterios con peso: crítico, importante u opcional. Mismo estándar en cada ejecución, sin sesgo humano.
Generación automática de test cases
IA que genera test cases adaptados a tu producto: inputs realistas, comportamiento esperado y criterios de evaluación.
Testing de seguridad
Prompt injection, jailbreak, extracción de system prompt, social engineering. Verifica que tu chatbot resiste los ataques más comunes.
Red team avanzado
Técnicas sofisticadas de evasión: framing ficticio, escalada gradual, ofuscación. Para chatbots que necesitan el máximo nivel de robustez.
Comparativa de versiones
Compara dos runs lado a lado. Ve exactamente qué test cases mejoraron y cuáles empeoraron tras un cambio de prompt o modelo.
Compatible con cualquier endpoint
Funciona con cualquier API OpenAI-compatible: OpenAI, Groq, Mistral, Anthropic, modelos propios. Sin lock-in.

Beta abierta

Empieza a evaluar tu chatbot hoy

Vera está en beta. Es el mejor momento para entrar: acceso completo, plan gratuito y feedback directo al equipo.

Sin tarjeta de crédito · 10 runs gratis al mes

Vera — Evalúa tu chatbot antes de que falle