InicioAI¿Puedes confiar en un agente marítimo de IA cuando las respuestas erróneas...

¿Puedes confiar en un agente marítimo de IA cuando las respuestas erróneas ponen en peligro al personal?

Construir un agente marítimo de IA confiable resulta ser mucho más una cuestión de diseño de sistema que de selección de modelo. Esa es la lección central que Skylight extrajo del desarrollo de Shippy, un agente de IA creado específicamente para la conciencia situacional del dominio marítimo en tiempo real, un ámbito en el que una respuesta errónea no solo frustra a un usuario, sino que puede desviar un buque de patrulla millas fuera de su rumbo, agotar recursos limitados y potencialmente poner en peligro al personal.

Conclusiones clave

  • Shippy es un agente de IA creado por Skylight para la conciencia situacional del dominio marítimo en tiempo real, que permite consultas sobre el comportamiento de los buques, los límites de las ZEE y las AMP, y las trayectorias de los buques.
  • Su arquitectura se estructura en torno a tres componentes: un alma (prompt del sistema), habilidades (gestión de tareas) y configuración (ajustes de tiempo de ejecución, incluido el uso de Claude Opus 4.6).
  • Shippy se comunica con la API de Skylight a través de una CLI determinista diseñada específicamente, eliminando los patrones de error que surgían cuando el modelo construía directamente llamadas sin procesar a la API.
  • Cada sesión de usuario se ejecuta en un entorno aislado de Kubernetes dedicado, aprovisionado por Mothership, lo que garantiza un aislamiento completo de datos entre los cientos de clientes gubernamentales y ONG de Skylight.
  • La evaluación se basa en un marco de tareas y rúbricas con un juez LLM que puntúa las respuestas frente a datos en vivo, un alejamiento deliberado de los benchmarks estáticos.

Por qué la conciencia situacional del dominio marítimo eleva el listón de la fiabilidad

La mayoría de las herramientas de IA operan en entornos donde una respuesta mediocre es simplemente poco útil. Las operaciones marítimas son diferentes. Skylight atiende a cientos de organismos gubernamentales y ONG en más de 70 países, desde la aplicación de la normativa pesquera hasta la vigilancia de la conservación. Cuando un analista en ese contexto pregunta si los buques están operando ilegalmente dentro de un Área Marina Protegida, las consecuencias de una respuesta alucinada o imprecisa son inmediatas y operativas.

Ese contexto dio forma a cada decisión arquitectónica detrás de Shippy. La pregunta a la que el equipo de Skylight volvía una y otra vez no era “¿qué puede hacer el modelo?”, sino “¿cómo construimos un sistema en el que podamos confiar para que sea correcto, se mantenga dentro de sus límites y resista en una amplia gama de tareas?”. Todo tenía que verificarse frente a los datos en vivo de Skylight, actualizados continuamente a medida que llegan nuevas señales satelitales y de los buques.

La arquitectura de Shippy: alma, habilidades y configuración

Skylight describe al agente marítimo de IA Shippy a través de tres capas distintas: un alma, habilidades y configuración. La distinción importa más de lo que podría parecer inicialmente.

El alma es el prompt del sistema: define la personalidad de Shippy y establece límites de comportamiento estrictos. Qué hará Shippy y, crucialmente, qué no hará. El alma es explícita y auditable: Shippy no hará determinaciones legales sobre si un buque está infringiendo la ley y no especulará más allá de lo que respaldan los datos. Estos no son rieles de seguridad suaves integrados en el ajuste fino; están escritos directamente en el prompt del sistema, lo que los hace fáciles de inspeccionar y revisar.

Las habilidades indican a Shippy cómo manejar tipos específicos de solicitudes. Siguen la misma especificación de agente-habilidades utilizada por herramientas de programación como Claude Code y Codex: archivos markdown simples con frontmatter estructurado, manteniendo cada habilidad versionada y comprensible. El conjunto de habilidades actual de Shippy incluye:

  • Consultar la API de Skylight para comportamientos y eventos de los buques (pesca, transbordo entre buques)
  • Consultar los límites de las Zonas Económicas Exclusivas (ZEE) y las Áreas Marinas Protegidas (AMP)
  • Interpretar datos de trayectorias de buques y señales de posición, basándose en clasificaciones de actividad ya producidas por los propios modelos de Skylight
  • Generar enlaces de mapas interactivos para que los analistas puedan pasar de una respuesta en el chat a una ubicación exacta en el mapa de Skylight

Una sola pregunta de un usuario puede activar varias habilidades simultáneamente. Si se pregunta si los buques están operando cerca del AMP Cordillera de Coiba, Shippy recurre a la habilidad de consulta de datos de Skylight, a la base de datos de límites de ProtectedSeas y a la habilidad de interpretación de trayectorias de buques, todo dentro de un único turno de diálogo.

Configuración y la cuestión del modelo

La capa de configuración gestiona todo lo relacionado con el tiempo de ejecución: qué arnés de agente ejecutar, qué LLM usar y secretos inyectados como claves de API. Actualmente, Shippy se ejecuta sobre Claude Opus 4.6 como su modelo de lenguaje grande. Es importante destacar que cambiar el modelo subyacente es un cambio de configuración en lugar de una reconstrucción: el alma y las habilidades se integran de forma independiente en una imagen de Docker, lo que da al equipo flexibilidad para enrutar distintos tipos de consultas a diferentes modelos a medida que el sistema evoluciona.

Herramientas deterministas para un agente no determinista

Una de las lecciones tempranas más instructivas surgió al permitir que Shippy construyera directamente llamadas sin procesar a la API. El resultado fue un flujo constante de fallos sutiles: paginación mal formada que descartaba resultados silenciosamente, errores de codificación de geometrías y consultas que parecían correctas pero devolvían datos erróneos debido a tipos de filtros mal entendidos. La API de Skylight tiene docenas de tipos de entrada, objetos de filtro anidados, cursores de paginación y entradas de geometría complejas, el tipo de superficie que invita a errores generados por el modelo.

La solución fue una CLI determinista diseñada específicamente. En lugar de construir llamadas sin procesar a la API, Shippy emite un único comando —por ejemplo, skylight events search con flags de filtro tipados— y la CLI se encarga de la autenticación, la paginación y la salida estructurada. La CLI se autodocumenta, con texto de ayuda detallado y mensajes de error que permiten al agente recuperarse de los errores sin tener que adivinar. Los resultados siempre se escriben en un archivo JSON local en lugar de canalizarse a través del shell, evitando los límites de búfer de tuberías que causaron problemas con conjuntos de resultados grandes en los primeros prototipos.

El diseño por capas —API tipada, CLI determinista, habilidades del agente que hacen referencia a comandos de la CLI— significa que cada componente puede probarse de forma independiente. Cada capa reduce lo que la siguiente capa puede hacer mal. Este es el tipo de disciplina arquitectónica que separa un prototipo de investigación de un sistema de producción en un dominio de alto riesgo.

Sandboxing en Kubernetes y el desafío del aislamiento de datos

La base de usuarios de Skylight abarca organismos gubernamentales con datos sensibles y específicos de cada jurisdicción. Un funcionario de pesca en Filipinas tiene listas de vigilancia, Áreas de Interés y configuraciones de alertas limitadas a su propia cuenta. Garantizar que sus datos nunca se filtren a la sesión de otro usuario —y que su historial de conversación permanezca completamente privado— fue uno de los esfuerzos de ingeniería más significativos del proyecto.

La solución es Mothership, la plataforma de alojamiento de agentes de Skylight. Mothership aprovisiona un despliegue dedicado de Kubernetes para cada sesión de usuario. Cuando se abre una conversación, el sistema inicia un conjunto de pods que empaquetan el entorno de ejecución del agente, sus habilidades y la CLI de Skylight. El token JWT del usuario se inyecta en el momento del aprovisionamiento, limitando todas las llamadas a la API a los datos de ese usuario. Los archivos que el agente escribe durante un análisis de varios pasos existen solo dentro de esa sesión y nunca son accesibles entre usuarios.

Dentro del entorno aislado, el agente conserva una capacidad operativa sustancial: puede escribir y ejecutar código, instalar dependencias, incorporar conjuntos de datos y trabajar en análisis de varios pasos. A nivel de red, el entorno aislado está restringido únicamente a los servicios que necesita. El aislamiento está limitado a la sesión, es efímero y se aplica a nivel de infraestructura en lugar de depender únicamente de la lógica de la aplicación.

Evaluar a un agente en contextos operativos en vivo

Los benchmarks estándar de IA puntúan modelos sobre conjuntos de preguntas estáticas. No capturan lo que ocurre cuando un agente se integra en un flujo de trabajo real: cómo selecciona herramientas, consulta datos en vivo, actúa sobre los resultados y sabe cuándo detenerse. Skylight construyó un sistema de evaluación personalizado precisamente por esta razón.

Un marco basado en rúbricas con un juez LLM

En el marco de evaluación de Skylight, expertos en la materia redactan escenarios y rúbricas, determinando qué criterios se aplican a cada tarea y estableciendo los pesos. Una consulta sobre eventos de pesca, por ejemplo, pondera más fuertemente la exactitud de los datos, con la resolución de límites y el marco temporal a continuación, y la atribución de fuentes con menos peso. Los expertos también anotan respuestas individuales como correctas o incorrectas, proporcionando al juez una verdad de referencia con la que puntuar.

El flujo ejecuta un prompt en lenguaje natural a través del entorno aislado en vivo, y un juez LLM califica cada criterio en una escala de 0 a 1 con un razonamiento escrito que explica por qué la respuesta cumplió o no con dicho criterio. El agregado ponderado se compara con un umbral de aprobación fijo. Las tareas se ejecutan a través de Harbor, un marco de evaluación abierto, mediante un plugin creado por Skylight que inicia una sesión real de Shippy contra los mismos datos en vivo que encontraría un usuario.

Los resultados de ejecuciones de evaluación recientes señalan modos de fallo específicos y procesables. En las tareas de planificación de patrullas, Shippy tendía a sobrepasarse hacia recomendaciones tácticas en lugar de mantenerse dentro de los límites de apoyo a la toma de decisiones. Las consultas sensibles a la geometría pusieron de manifiesto eventos omitidos causados por la simplificación de límites. Y en un caso, el agente generó un comando de CLI que no existía. Cada patrón se corresponde directamente con un objetivo de mejora de habilidades, que es exactamente lo que se supone que debe producir un sistema de evaluación bien diseñado.

Qué sigue para Shippy — y más allá

Skylight está abriendo Shippy a adoptantes tempranos de forma gradual, invitando explícitamente a pruebas de estrés para sacar a la luz rieles de seguridad débiles y consultas mal gestionadas. El próximo ciclo de desarrollo se centra en tres áreas: control de la interfaz de usuario impulsado por el agente (pasar de devolver enlaces de mapas a controlar directamente el mapa de Skylight, aplicando filtros y ajustando rangos de tiempo); enrutamiento de modelos (dirigir consultas sencillas a modelos más pequeños y rápidos, reservando el modelo de máximo peso para investigaciones complejas); y memoria entre hilos (mantener hechos persistentes como la jurisdicción de un analista o sus fuentes preferidas a lo largo de hilos de conversación separados).

Las implicaciones más amplias se extienden mucho más allá de las aplicaciones marítimas. Mothership se diseñó para ser independiente del dominio, y la organización matriz de Skylight, Ai2, ya está aplicando las lecciones de Shippy a EarthRanger, su plataforma de conservación de la vida silvestre, y a OlmoEarth, su conjunto abierto de herramientas de observación de la Tierra. La arquitectura —alma, habilidades, configuración, herramientas deterministas, sandboxing aislado por sesión y evaluación con datos en vivo— representa un plano para desplegar agentes de IA en cualquier dominio donde el coste de una respuesta errónea se mida en algo distinto a la frustración del usuario.

Preguntas frecuentes

¿Para qué está diseñado Shippy?

Shippy es un agente de IA desarrollado por Skylight para la conciencia situacional del dominio marítimo en tiempo real. Ayuda a los analistas a consultar comportamientos de los buques, buscar los límites de las Zonas Económicas Exclusivas y las Áreas Marinas Protegidas, interpretar datos de trayectorias de buques y generar enlaces de mapas interactivos vinculados directamente a la plataforma de datos en vivo de Skylight.

¿Cómo garantiza Shippy la fiabilidad al responder consultas?

Shippy utiliza una CLI determinista para gestionar todas las llamadas a la API de Skylight, evitando los patrones de error que surgían cuando el modelo construía directamente llamadas sin procesar a la API. Combinado con una arquitectura modular —alma, habilidades y configuración— y límites de comportamiento estrictos en el prompt del sistema, el diseño prioriza un comportamiento predecible y auditable por encima de la flexibilidad.

¿Cómo se evalúa la precisión y fiabilidad de Shippy?

Skylight construyó un marco de evaluación personalizado en el que expertos en la materia redactan escenarios de tareas y rúbricas ponderadas. Un juez LLM puntúa cada respuesta del agente frente a datos en vivo en una escala de 0 a 1 por criterio, con razonamiento escrito. El agregado ponderado se compara con un umbral de aprobación fijo, y cualquier versión de Shippy que retroceda en los criterios de evaluación no llega a los usuarios finales.

¿Shippy realiza juicios legales sobre la actividad de los buques?

No. Shippy evita explícitamente hacer determinaciones legales sobre si un buque está infringiendo alguna ley y no especulará más allá de lo que respaldan los datos. Esas determinaciones se dejan a los analistas humanos. Estos límites están escritos directamente en el prompt del sistema —lo que los hace auditables y ajustables— en lugar de ser implícitos en el ajuste fino del modelo.

{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»¿Para qué está diseñado Shippy?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Shippy es un agente de IA desarrollado por Skylight para la conciencia situacional del dominio marítimo en tiempo real. Ayuda a los analistas a consultar comportamientos de los buques, buscar los límites de las Zonas Económicas Exclusivas y las Áreas Marinas Protegidas, interpretar datos de trayectorias de buques y generar enlaces de mapas interactivos vinculados directamente a la plataforma de datos en vivo de Skylight.»}},{«@type»:»Question»,»name»:»¿Cómo garantiza Shippy la fiabilidad al responder consultas?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Shippy utiliza una CLI determinista para gestionar todas las llamadas a la API de Skylight, evitando los patrones de error que surgían cuando el modelo construía directamente llamadas sin procesar a la API. Combinado con una arquitectura modular —alma, habilidades y configuración— y límites de comportamiento estrictos en el prompt del sistema, el diseño prioriza un comportamiento predecible y auditable por encima de la flexibilidad.»}},{«@type»:»Question»,»name»:»¿Cómo se evalúa la precisión y fiabilidad de Shippy?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Skylight construyó un marco de evaluación personalizado en el que expertos en la materia redactan escenarios de tareas y rúbricas ponderadas. Un juez LLM puntúa cada respuesta del agente frente a datos en vivo en una escala de 0 a 1 por criterio, con razonamiento escrito. El agregado ponderado se compara con un umbral de aprobación fijo, y cualquier versión de Shippy que retroceda en los criterios de evaluación no llega a los usuarios finales.»}},{«@type»:»Question»,»name»:»¿Shippy realiza juicios legales sobre la actividad de los buques?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»No. Shippy evita explícitamente hacer determinaciones legales sobre si un buque está infringiendo alguna ley y no especulará más allá de lo que respaldan los datos. Esas determinaciones se dejan a los analistas humanos. Estos límites están escritos directamente en el prompt del sistema —lo que los hace auditables y ajustables— en lugar de ser implícitos en el ajuste fino del modelo.»}}]}

Artículo producido con la ayuda de inteligencia artificial y revisado por el equipo editorial.

RELATED ARTICLES

Stay updated on all the news about cryptocurrencies and the entire world of blockchain.

Featured video

LATEST