Splash Cerebro IA

Cerebro IA

NPC controlado por LLM · Unreal Engine · voz a acción

{ Desarrollador Unreal Engine}

Unreal Engine

C++

OpenAI

Construí un agente interactivo impulsado por IA en Unreal Engine integrado con la API de OpenAI. Los usuarios controlan al agente mediante comandos de voz, disparando acciones en tiempo real como navegación y movimiento, con una capa de voz de respuesta intercambiable vía ElevenLabs.

OpenAIModelo de lenguaje integrado

VozControl por comandos hablados

UEAgente 3D en tiempo real

ElevenLabsVoz sintetizada intercambiable

Problema

Explorar cómo un modelo de lenguaje puede controlar un agente dentro de un motor de juego de forma natural, sin menús ni scripts fijos.

Solución

Integré la API de OpenAI en Unreal Engine de forma modular: los comandos de voz del usuario disparan acciones del agente (moverse, saltar y más) en tiempo real, con voz de respuesta intercambiable vía ElevenLabs.

Resultado

Un agente interactivo en Unreal Engine que ejecuta acciones en tiempo real a partir de comandos de voz procesados por OpenAI, con voz de respuesta intercambiable vía ElevenLabs.

Reel del proyecto

Cerebro IA

Angel Iram
{ Desarrollador Unreal Engine}

Integración Modular de OpenAI

Desarrollé un sistema modular para integrar el servicio de OpenAI dentro de Unreal Engine, aislando la lógica de IA del resto del proyecto para poder reutilizarla o reemplazarla sin tocar el agente.

Angel Iram
{ Desarrollador Unreal Engine}

Mapeo de Intención a Acción

Traduje los comandos de voz interpretados por el modelo en acciones concretas del agente —moverse, saltar y otras— dentro del motor, cerrando el ciclo de voz a acción en tiempo real.

Angel Iram
{ Desarrollador Unreal Engine}

Capa de Voz Intercambiable

Construí la capa de síntesis de voz intercambiable vía ElevenLabs, para que la respuesta hablada del agente se pueda cambiar sin modificar la lógica de interacción.

El código de este proyecto es propiedad del cliente y no puede publicarse. Lo que sí puedo mostrar está en esta página: el problema, la solución que construí, mi rol concreto y capturas del producto. Si lo que quieres es leer código mío, para eso construí Ghostline: un juego completo, jugable, con el repo del cliente en C# y el de la API en TypeScript abiertos —el mismo criterio técnico que aplico aquí, esta vez auditable commit a commit.

Galería

Pipeline de voz a acción

Pipeline de voz a acción

Diagrama del flujo: el comando de voz pasa por OpenAI, el agente ejecuta la acción en Unreal Engine y responde con voz de ElevenLabs.

Pipeline de voz a acción

Diagrama del flujo: el comando de voz pasa por OpenAI, el agente ejecuta la acción en Unreal Engine y responde con voz de ElevenLabs.

MexVR Tour

Siguiente proyectoMexVR TourRealidad Virtual · Meta Quest