Ejecutar modelos de IA grandes suele significar alquilar el hardware de otra persona, aceptar los precios de otra persona y esperar que el modelo del que dependes no cambie silenciosamente de la noche a la mañana. Mesh LLM se basa en una premisa diferente: que la computación de IA distribuida entre las máquinas que ya posees puede sustituir todo ese arreglo y exponerlo todo a través de una única API familiar.
Summary
Puntos clave
- Mesh LLM agrupa las GPU y la memoria de varias máquinas en una única malla distribuida de computación de IA, accesible a través de una API compatible con OpenAI en localhost:9337/v1.
- Los modelos pueden ejecutarse localmente, enviarse a un par o dividirse entre máquinas utilizando un modo de canalización llamado «Skippy», sin que el cliente note la diferencia.
- La red se basa en endpoints de iroh, que establecen conexiones QUIC autenticadas mediante clave pública y con capacidad de atravesar NAT, sin necesidad de un servidor central.
- El catálogo de modelos se entrega con más de 40 modelos, que van desde modelos con menos de mil millones de parámetros hasta arquitecturas mixture-of-experts de 235 mil millones de parámetros.
- Se admiten tanto la participación en mallas públicas como los despliegues privados, y se está desarrollando una aplicación móvil que utiliza el SDK de Swift de iroh.
Mesh LLM permite computación de IA distribuida con GPU agrupadas
La idea central es engañosamente sencilla. Mesh LLM agrupa las GPU y la memoria repartidas entre tantas máquinas como quieras añadir — una estación de trabajo en una habitación, un servidor en otra, una máquina al otro lado de la oficina — y presenta todo el conjunto como una única superficie de cómputo coherente. No se requiere reconfiguración para las aplicaciones cliente que se conectan a ella.
Esto importa porque el hardware ya existe. Los equipos que ejecutan cargas de trabajo de IA suelen tener GPU distribuidas por oficinas, debajo de escritorios y en pequeñas salas de servidores. Lo que ha faltado es una capa que haga que esas máquinas se comporten como una sola.
Abstracción de API compatible con OpenAI
La interfaz que expone Mesh LLM es deliberadamente familiar. Cualquier cliente compatible con OpenAI puede apuntar a http://localhost:9337/v1 y enviar solicitudes exactamente igual que lo haría a un servicio en la nube alojado. Desde la perspectiva del cliente, nada cambia. Dónde se ejecuta realmente el trabajo — localmente, en una máquina par o repartido entre varias — es completamente invisible.
Esta es una decisión de diseño significativa. Significa que las herramientas, flujos de trabajo e integraciones existentes no necesitan reescribirse. La naturaleza distribuida de la malla es un detalle de implementación en el que el cliente nunca tiene que pensar.
Modos de ejecución flexibles, incluido el pipeline «Skippy»
Cuando llega una solicitud, Mesh LLM tiene tres formas de manejarla. Puede ejecutar el modelo localmente en la GPU de la máquina que la recibe, enrutar la solicitud a un par que ya tenga cargado el modelo de destino o — para modelos demasiado grandes para cualquier máquina individual — dividir la carga de trabajo entre varios nodos en secuencia. Ese tercer camino se llama modo «Skippy».
Cómo Skippy divide modelos grandes entre máquinas
Skippy particiona un modelo por rangos de capas en etapas de canalización: las capas de la 0 a la 15 pueden ejecutarse en un nodo, de la 16 a la 31 en el siguiente, y así sucesivamente a lo largo de la cadena. Las activaciones fluyen de etapa en etapa a través de la malla. La consecuencia práctica es que un clúster de máquinas modestas puede ejecutar colectivamente un modelo que ninguna de ellas podría mantener en memoria por sí sola.
Aquí es donde la ambición arquitectónica de Mesh LLM se hace evidente. Un modelo mixture-of-experts de 235 mil millones de parámetros no es algo que la mayoría de los equipos pueda ejecutar en una sola GPU de consumo o prosumidor. Skippy hace posible intentar precisamente eso, utilizando hardware que ya está pagado y ocioso. Las características de latencia y rendimiento de una configuración así no se cuantifican aquí, pero la capacidad en sí misma representa una expansión significativa de lo que la IA autoalojada puede alcanzar.
Arquitectura de red segura y punto a punto mediante endpoints de iroh
No hay un servidor central que coordine la malla. Cada nodo inicia un endpoint de iroh, una clave pública que sirve tanto como identidad del nodo como su única superficie de red. A partir de esa base, iroh gestiona el hole-punching, el atravesamiento de NAT y el relay fallback para establecer conexiones QUIC directas y autenticadas entre cualquier par de nodos, estén donde estén.
Protocolos QUIC ALPN para la segregación del tráfico
La pila de protocolos está segmentada deliberadamente. Tres identificadores QUIC ALPN distintos separan diferentes tipos de tráfico:
- mesh-llm/1 — el canal principal de la malla, que transporta gossip, enrutamiento, túneles HTTP y eventos de plugins
- mesh-llm-control/1 — el plano de control del propietario, que gestiona la sincronización de configuración y la atestación de propiedad
- skippy-stage/2 — un transporte dedicado y sensible a la latencia para los datos de activación que fluyen entre las etapas del pipeline
Dentro de la conexión principal, cada flujo se etiqueta con un byte inicial que identifica su tipo — gossip, proxy de inferencia, consultas de rutas, eventos de ciclo de vida de pares, canales RPC de plugins y más — todo multiplexado sobre una única conexión. El efecto es una segregación limpia del tráfico sin la sobrecarga de conexiones separadas para cada asunto.
Identidad de nodo y atravesamiento de NAT
Para admitir nodos que no pueden alcanzarse directamente a través de internet abierta, Mesh LLM ejecuta dos servidores de relay de iroh en diferentes regiones geográficas. Los nodos que pueden establecer rutas directas lo hacen; los que no, siempre tienen un relay cercano como alternativa. La capa de red, en otras palabras, está diseñada para simplemente funcionar, en lugar de requerir una cuidadosa configuración de cortafuegos o direccionamiento estático.
Lo que esta arquitectura aporta en la práctica es una especie de uniformidad de red. Tanto si una solicitud se enruta a localhost como si transmite activaciones a través de un pipeline Skippy hacia una máquina en otro continente, el primitivo subyacente es el mismo: una conexión QUIC autenticada direccionada por clave pública. La complejidad de la topología física desaparece detrás de una abstracción coherente.
Un catálogo de modelos desde escala de portátil hasta gigantes de 235B parámetros
Mesh LLM se entrega con más de 40 modelos listos para usar. El rango va desde modelos de quinientos millones de parámetros lo bastante pequeños como para ejecutarse en un portátil hasta arquitecturas mixture-of-experts de 235 mil millones de parámetros en el extremo superior. La arquitectura es conectable: los plugins declaran sus capacidades en un manifiesto, y el runtime enruta las llamadas y expone capacidades a través de MCP, HTTP, inferencia y eventos de malla.
La implicación práctica es que los usuarios no necesitan obtener y configurar modelos por separado para empezar. El catálogo abarca todo el espectro de casos de uso, desde inferencia ligera y rápida en hardware modesto hasta cargas de trabajo de gran escala distribuidas a través de una malla.
Cómputo distribuido como contramovimiento
El diseño de Mesh LLM se sitúa frente a un telón de fondo visible: la infraestructura de IA centralizada se enfrenta a fricciones reales. Una encuesta de mayo encontró que más del 70 por ciento de los estadounidenses se oponen a la construcción de nuevos centros de datos cerca de sus comunidades, citando preocupaciones por la contaminación, el ruido y la energía y el consumo de agua. La empresa de energía solar y doméstica Sunrun lanzó recientemente un programa piloto para colocar pequeños nodos de cómputo en los hogares de los clientes, con el objetivo de vender esa potencia de cómputo distribuida a compradores empresariales de IA, una señal de que la propia industria está buscando alternativas a los grandes centros de datos consolidados.
Mesh LLM aborda la misma presión desde otro ángulo. En lugar de construir nueva infraestructura distribuida desde cero, activa cómputo que ya existe — GPU que los equipos poseen pero no pueden aprovechar plenamente porque ninguna capa coherente las ha estado conectando. El énfasis en eliminar el bloqueo a proveedores centrales, reducir costes y preservar el control del usuario sobre dónde se ejecutan los modelos y adónde van los datos refleja una brecha real en lo que las API de la nube existentes pueden ofrecer.
Se está desarrollando una aplicación móvil basada en el SDK de Swift de iroh, con planes para admitir el emergente estándar de agentes ACP. Eso permitiría que otros clientes se unan directamente a la malla, ampliando los efectos de red de cada nodo que se conecte. La dirección a más largo plazo es clara: más ejecución punto a punto, menos intermediarios y un estándar abierto para la interoperabilidad de agentes que no pase por el servidor central de nadie.
Preguntas frecuentes
¿Cómo permite Mesh LLM la computación de IA distribuida?
Mesh LLM agrupa las GPU y la memoria de varias máquinas en una red en malla y luego expone toda la configuración distribuida como una única API compatible con OpenAI. Los clientes se conectan a localhost:9337/v1 e interactúan con normalidad, mientras que la malla decide si ejecutar las solicitudes localmente, enviarlas a un par o dividirlas entre máquinas.
¿Qué modos de ejecución admite Mesh LLM para modelos de IA?
Los modelos pueden ejecutarse localmente en la GPU de una máquina, enviarse a un par que ya tenga cargado el modelo o dividirse entre varias máquinas utilizando el modo de pipeline «Skippy», en el que un modelo se particiona por rangos de capas y las activaciones fluyen de etapa en etapa a través de la malla.
¿Cómo se gestiona la red segura en Mesh LLM?
Cada nodo ejecuta un endpoint de iroh que establece conexiones QUIC autenticadas mediante clave pública, con atravesamiento de NAT y relay fallback, sin depender de un servidor central. Dos relays regionales de iroh proporcionan rutas alternativas para los nodos que no pueden conectarse directamente.
¿Qué modelos están disponibles a través de Mesh LLM?
Mesh LLM se entrega con más de 40 modelos, que van desde pequeños modelos de quinientos millones de parámetros adecuados para portátiles hasta modelos mixture-of-experts muy grandes de 235 mil millones de parámetros, pensados para despliegues Skippy entre varias máquinas.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»¿Cómo permite Mesh LLM la computación de IA distribuida?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Mesh LLM agrupa las GPU y la memoria de varias máquinas en una red en malla y luego expone toda la configuración distribuida como una única API compatible con OpenAI. Los clientes se conectan a localhost:9337/v1 e interactúan con normalidad, mientras que la malla decide si ejecutar las solicitudes localmente, enviarlas a un par o dividirlas entre máquinas.»}},{«@type»:»Question»,»name»:»¿Qué modos de ejecución admite Mesh LLM para modelos de IA?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Los modelos pueden ejecutarse localmente en la GPU de una máquina, enviarse a un par que ya tenga cargado el modelo o dividirse entre varias máquinas utilizando el modo de pipeline «Skippy», en el que un modelo se particiona por rangos de capas y las activaciones fluyen de etapa en etapa a través de la malla.»}},{«@type»:»Question»,»name»:»¿Cómo se gestiona la red segura en Mesh LLM?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Cada nodo ejecuta un endpoint de iroh que establece conexiones QUIC autenticadas mediante clave pública, con atravesamiento de NAT y relay fallback, sin depender de un servidor central. Dos relays regionales de iroh proporcionan rutas alternativas para los nodos que no pueden conectarse directamente.»}},{«@type»:»Question»,»name»:»¿Qué modelos están disponibles a través de Mesh LLM?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Mesh LLM se entrega con más de 40 modelos, que van desde pequeños modelos de quinientos millones de parámetros adecuados para portátiles hasta modelos mixture-of-experts muy grandes de 235 mil millones de parámetros, pensados para despliegues Skippy entre varias máquinas.»}}]}
Artículo producido con la ayuda de inteligencia artificial y revisado por el equipo editorial.
