Problema
Explorar cómo un modelo de lenguaje puede controlar un agente dentro de un motor de juego de forma natural, sin menús ni scripts fijos.
El vídeo se carga al pulsar, no antesCerebro IACerebro IA
NPC controlado por LLM · Unreal Engine · voz a acción
Construí un agente interactivo impulsado por IA en Unreal Engine integrado con la API de OpenAI. Los usuarios controlan al agente mediante comandos de voz, disparando acciones en tiempo real como navegación y movimiento, con una capa de voz de respuesta intercambiable vía ElevenLabs.
- Unreal Engine
- C++
- OpenAI
- OpenAI
- Modelo de lenguaje integrado
- Voz
- Control por comandos hablados
- UE
- Agente 3D en tiempo real
- ElevenLabs
- Voz sintetizada intercambiable
La historia
Solución
Integré la API de OpenAI en Unreal Engine de forma modular: los comandos de voz del usuario disparan acciones del agente (moverse, saltar y más) en tiempo real, con voz de respuesta intercambiable vía ElevenLabs.
Resultado
Un agente interactivo en Unreal Engine que ejecuta acciones en tiempo real a partir de comandos de voz procesados por OpenAI, con voz de respuesta intercambiable vía ElevenLabs.
Los sistemas que construí en el motor
Desarrollador Unreal Engine
Integración Modular de OpenAI
Desarrollé un sistema modular para integrar el servicio de OpenAI dentro de Unreal Engine, aislando la lógica de IA del resto del proyecto para poder reutilizarla o reemplazarla sin tocar el agente.
Desarrollador Unreal Engine
Mapeo de Intención a Acción
Traduje los comandos de voz interpretados por el modelo en acciones concretas del agente —moverse, saltar y otras— dentro del motor, cerrando el ciclo de voz a acción en tiempo real.
Desarrollador Unreal Engine
Capa de Voz Intercambiable
Construí la capa de síntesis de voz intercambiable vía ElevenLabs, para que la respuesta hablada del agente se pueda cambiar sin modificar la lógica de interacción.
Galería
Siguiente proyecto
GhostlineGhostline
Unity WebGL + Cloudflare Workers