Cuarenta críticos, cero atacantes: Hermes ya comprueba si un fallo es alcanzable

El escáner devolvió cuarenta y tres hallazgos críticos y un PDF que nadie quería abrir. Dos ingenieros se pasaron una semana clasificándolos, y treinta y ocho estaban en rutas de código a las que ninguna petición puede llegar: un helper de deserialización cuyo único llamador es un fixture de test, un exec de shell detrás de un flag de admin que el despliegue nunca activa. Los cinco que importaban se despacharon en una tarde. Los otros cuatro días se fueron en demostrar el negativo.
Esa proporción es el argumento del plugin hermes-security: un plugin oficial de Nous Research, del repositorio NousResearch/hermes-official-plugins, nivel official en el catálogo, versión 0.1.2, que pide Hermes 0.21.5+ y Python 3.11+. No cambia el detector. Cambia la pregunta que se le hace a cada coincidencia.
Tres palabras que conviene definir antes
SAST, static application security testing, lee el código fuente sin ejecutarlo y busca formas que históricamente han provocado incidentes: una cadena montada dentro de una consulta SQL, una plantilla renderizada con entrada sin sanear, un comando de shell armado a partir de una variable. Responde bien a una sola pregunta —¿esto se parece a lo que suele romperse?— y no puede decir si algo llama a esa línea.
Reachability es la segunda pregunta. Desde la superficie que un desconocido puede tocar —una ruta HTTP, un receptor de webhooks, un manejador de subidas, un flag de CLI—, ¿puede una cadena de llamadas llegar hasta esa línea con entrada controlada por el atacante y sacar algo útil de ahí? Una coincidencia sin respuesta es una hipótesis, no una vulnerabilidad.
Un threat model es el documento breve que hace posible la respuesta: quién es el atacante, a qué puede llegar ya, qué entradas son de confianza. Escrito antes de que nadie lea código, convierte “¿esto es malo?” en “¿esto es alcanzable desde la puerta que sabemos que está abierta?”.
Qué hace un escaneo de verdad
Primero va el threat model. Después el repositorio se corta en bloques de unas 4.000 líneas —más o menos lo que aguanta una sesión de revisión— y hasta diez reviewers trabajan en paralelo. Un reviewer más nunca coge un chunk: lee los puntos de entrada y las fronteras de confianza en todo el repositorio, para que luego las piezas se puedan volver a montar.
Cada candidato lo verifica contra el código real el reviewer que lo encontró, no se afirma desde un patrón, y opcionalmente se confirma con un test. Viene entonces el paso que le da nombre al plugin: seguir el camino que tomaría un atacante. Si el código no es alcanzable con entrada influida por el atacante, pasa a ser contexto, no un finding.
El código vendored, los symlinks, los ficheros especiales y todo lo que pase de 8 MB se omiten y se listan. Los dos chunks más peligrosos reciben un segundo reviewer independiente. Un fichero que un reviewer no pudo terminar va a uno nuevo, hasta seis rondas mientras siga habiendo avance. El plan se escribe al arrancar el escaneo, así que actualizar el plugin no molesta a un escaneo en curso.
Los tres modos
| Modo | Qué lee | Qué se salta | Para qué sirve |
|---|---|---|---|
| standard | Código de producción: fuentes, configuración, CI, IaC, migraciones | tests, fixtures, documentación, ejemplos, traducciones, ficheros generados, assets, lockfiles — salvo que alguno guarde secretos ya commiteados. Cada omisión se lista con su motivo | El modo por defecto |
| deep | Todo, en varias pasadas independientes — 3 por defecto | Nada | Antes de un release |
| diff | Solo los cambios sin commitear, o la rama frente a la rama por defecto | Todo lo que quede fuera del diff | El día a día |
El modo standard tiene techo: el código de producción que cabe en 90 chunks, unos 360.000 líneas, se lee entero. Los repositorios más grandes se ordenan por lo que hace el código y no por dónde vive —rutas, entrada de peticiones, invocaciones de shell, SQL, deserialización, autenticación, webhooks—, lo más peligroso primero. Ese orden es un juicio, así que un escaneo standard sobre un monorepo puede reportar cobertura parcial.
Instalación
hermes plugins install hermes-security --enable
# reinicia Hermes y luego mantenlo al día
hermes plugins update hermes-security
La app de escritorio gana una página Security, desactivada por defecto, que se activa en Capabilities → Plugins. Lee del plugin de Python, que tiene que seguir instalado y activo.
python -m hermes_security start --path ~/src/my-service --mode diff --tests
Añade --mode deep para una pasada de nivel release y --context para entregar un threat model que ya tengas; hermes security-review acepta los mismos argumentos. En el chat, el agente mueve la misma maquinaria a través de nueve herramientas security_scan_*, y /security cubre status, authorize-validation, revoke y help. Los informes se exportan en Markdown, JSON, CSV o SARIF, así que la salida encaja en cualquier pipeline que ya tengas. Si lo que ya corres es una pasada de cadena de suministro con hermes security audit, eso es otra herramienta — lo veremos al final.
Las dependencias se revisan antes de empezar a leer
Un modelo es malo en lo que las bases de datos hacen bien: saber que la versión 2.3.1 de una librería tiene un advisory publicado. Por eso, antes de repartir chunks, el plugin pasa el osv-scanner de Google por tus lockfiles y le pregunta a endoflife.date por las versiones de runtime que declaras — Node, Python, Go, PHP, Ruby.
El primer escaneo descarga un osv-scanner fijado desde GitHub, unos 55 MB, comprueba su SHA-256 y se niega a ejecutarse si no cuadra. Los nombres y versiones de paquete van a api.osv.dev; los manifiestos sin lockfile van a api.deps.dev. HERMES_SECURITY_DEPENDENCY_CHECK=off desactiva la pasada, y HERMES_SECURITY_OSV_SCANNER apunta a tu propia copia — lo que quieres donde GitHub está bloqueado.
Los paquetes de uv.lock o package-lock.json que solo existen para desarrollo se marcan como dev y se puntúan bajo. Los advisories se juntan en un único finding de dependencia, graduado por la entrada más grave, con un finding aparte solo cuando el código llega de verdad al comportamiento vulnerable. Si la comprobación no puede correr, el informe lo dice y el escaneo se marca como parcial.
Interrumpir, reanudar, continuar solo
Los escaneos son largos. El plugin apunta dónde va cada uno, así que tu siguiente mensaje —o el botón Continue scan— lo retoma. La reanudación automática hay que activarla:
hermes config set plugins.entries.hermes-security.allow_gateway_injection true
Con eso activo, si al terminar un turno queda trabajo pendiente, el plugin publica un mensaje “Continue security scan” en el mismo chat; tras tres continuaciones automáticas sin avance se detiene y marca el escaneo para que lo mire una persona. Hay dos casos que nunca continúan solos: un escaneo que paraste tú, y un turno en el que el provider del modelo devolvió un error.
Opcional: validar la app que está corriendo
La reachability estática discute sobre lo que el código permite. A veces quieres saber qué hace el despliegue. Dentro de un escaneo abierto, introduce una dirección y pulsa Allow testing this app, o autorízalo desde el chat:
/security authorize-validation scan-7f3a https://staging.example.com
La autorización es estrecha a propósito: un origen, una hora, como mucho 200 peticiones, redirecciones seguidas solo dentro de ese sitio y un Stop que corta antes de tiempo. Solo la puedes conceder tú — las herramientas del agente no pueden autorizarse a sí mismas, y por eso ese botón está detrás de una persona.
Qué guarda y qué se niega a hacer
El texto del repositorio se trata como dato, nunca como instrucción: un comentario que diga “ignore previous instructions” es una cadena que un reviewer puede citar, no una orden que vaya a seguir. Los secretos no se guardan nunca — el informe conserva el tipo, la ubicación y una huella unidireccional. Los git hooks y los filtros no se ejecutan jamás. Cada finding cita código exacto del snapshot del escaneo, y un informe terminado queda sellado, de modo que un triage posterior no puede reescribirlo.
Los artefactos viven bajo el profile activo en $HERMES_HOME/plugin-data/agent-plugin-hermes-security-974429e7, y python -m hermes_security data-dir imprime la ruta exacta. No se sube nada a ningún servicio de findings. Pero el provider de modelo que tengas configurado recibe el código revisado, así que trata el informe como tratarías cualquier documento interno de seguridad.
Los límites, sin adornos
| Límite | Qué significa para ti |
|---|---|
| El código sin revisar, o un reviewer que no devolvió nada, es un hueco de cobertura | Cero findings con cobertura parcial no es un certificado de buena salud |
| El mapeo a OWASP Top 10:2025 y ASVS 5.0.0 muestra qué se examinó | No es una certificación. Un escaneo se completa cuando se cierran todos los ficheros del alcance y las diez categorías; ASVS solo informa de cuántos puntos de control se comprobaron |
| Un modelo puede dejar pasar un fallo o leer mal el código | Verifica tú mismo los findings que importan |
| El presupuesto del escaneo deep es fijo y reanudable | No hay garantía de que sobreviva a un reinicio de Hermes |
| Los tests de confirmación corren como tu usuario, con las variables de entorno con forma de credencial eliminadas | Es comodidad, no un sandbox. Activa los tests solo en código en el que confíes |
| “Confirmado por test” tiene un listón estricto | El test tiene que pasar y un caso negativo equivalente comportarse como se espera; los tests que no llegaron a correr son NOT_RUN y no demuestran nada en ningún sentido |
No es el mismo comando que hermes security audit
hermes security audit es una comprobación de cadena de suministro de un solo tiro: mira el virtualenv de Hermes, las dependencias de plugins y los servidores MCP con npx/uvx fijados en tu configuración, y le pregunta a OSV.dev si esas versiones tienen advisories conocidos. El plugin revisa en cambio el código de tu repositorio: threat model, lectura por chunks, reachability, informe sellado. Su pasada de dependencias toma prestada la misma idea de OSV.dev como paso preliminar, no como entregable.
La versión corta
El cambio interesante no es un mejor pattern matching — es negarse a abrir un finding sin ruta de ataque. Un threat model por delante, chunks del tamaño de una revisión, diez reviewers más uno sobre los puntos de entrada, una comprobación real de advisories y una declaración honesta de cobertura. En la 0.1.2, trátalo como un reviewer fuerte que enseña su trabajo, no como un auditor que firma.
Dos lecturas relacionadas: la guía de seguridad del catálogo MCP cubre qué puede hacer un plugin o un servidor MCP una vez instalado, la otra mitad de la misma pregunta de confianza; los caracteres ocultos en los prompts de aprobación trata del momento en que una persona dice que sí, ese que ningún escáner automatiza. Si todavía no tienes el plugin, la guía de instalación cubre la configuración base de la que depende.