Plataforma interna de generación de imágenes con IA · Edpuzzle · 2024–hoy

De prompt artesanal a sistema de prompts

Construí la plataforma que les permitió a los equipos generar imágenes, y después un sistema de prompt templates para que todos los que la usan obtengan imágenes en un mismo lenguaje visual.

6 equipos de producción de video
~20 usuarios activos

La restricción

Las herramientas generativas de mercado no eran una opción para nosotros. Los únicos modelos que teníamos habilitados corrían a través de nuestro propio proveedor de nube, así que durante un tiempo la respuesta a "¿podemos generar esto?" era simplemente no, por más útil que hubiera sido.

Entonces lo primero que construí fue una forma de generar dentro de ese límite. Una plataforma interna sobre AWS, empezando con Amazon Nova Canvas, y después sumando los modelos de Flux por API cuando quedaron disponibles para nosotros. Esa parte está más cerca de infraestructura que de diseño, pero es la razón por la que existe todo lo que vino después.

El problema que vino después

Cuando la gente por fin pudo generar, apareció otro problema. Generar imágenes con IA parece fácil al principio. Escribís un prompt, obtenés un resultado. Pero cuando un equipo lo usa todos los días, los problemas aparecen rápido. Cada persona describe las cosas distinto, enfatiza detalles diferentes, interpreta el objetivo visual a su manera. Terminás con resultados inconsistentes, iteraciones más lentas, y demasiada dependencia de las una o dos personas que saben de prompting.

Eso último es el costo real. Un pipeline de producción donde la calidad depende de quién escribió el prompt no es un pipeline, es un cuello de botella con pasos de más.

El primer instinto

Enseñarle a todos a hacer prompting. Suena razonable, pero no escala bien. Prompting no es solo escribir instrucciones. Involucra criterio visual, entender cómo se comporta un modelo específico, control de estilo, estructura, y un montón de conocimiento difícil de transferir. Si cada resultado depende de qué tan bien escribe cada persona, el sistema sigue siendo frágil.

Lo que armé en cambio

En vez de esperar que cada usuario se vuelva bueno en prompting, armé un sistema de prompt templates. Elegís un template visual (foto estenopeica, ilustración plana, imagen editorial, grabado histórico) y le das unas keywords. El sistema se encarga del resto.

Cada template lleva dos tipos de conocimiento distintos. Uno es la imagen. Para un template estenopeico eso significa profundidad de campo infinita, viñeteo natural, grano de película, tonos apagados, el tipo de luz de día suave que le queda bien. Esa parte es dirección de arte, lo mismo que antes escribía en una guía de estilo para un equipo de ilustradores.

El otro es cómo hablarle al modelo. Que un buen prompt se lee como un epígrafe y no como una orden. Que conviene que sea corto. Que describir la escena funciona mejor que dar instrucciones. Casi nadie de los que usan la plataforma tiene ninguno de los dos conocimientos, y no hace falta que los tengan. El template tiene los dos.

Escribir un template es el trabajo de diseño. Decidir que una imagen estenopeica tiene que tener un solo sujeto, luz natural y un fondo sin ruido es una decisión de dirección, y es la misma decisión que tomaría briefeando a un ilustrador. Solo que queda escrita para otro tipo de lector.

Cómo funciona

El usuario elige un template y escribe unas keywords. Esas dos cosas van a un modelo de lenguaje, que escribe el prompt. El sistema parsea lo que vuelve y lo muestra, y desde ahí se puede generar la imagen directamente o editar el prompt antes.

Template Un lenguaje visual, más las reglas para promptear al modelo de destino. Escrito por mí.
Keywords Lo que el usuario quiere en esta imagen puntual.
Modelo de lenguaje Escribe el prompt a partir de esos dos inputs.
El prompt Parseado, mostrado al usuario, y editable antes de generar nada.
Modelo de imagen Nova Canvas o Flux, según el trabajo.
El usuario escribe la segunda caja. Todo lo demás ya está ahí.

El paso del medio es todo el diseño. El sistema no está metiendo variables en un bloque de texto. Le pide a un modelo que es bueno escribiendo que haga la escritura, siguiendo instrucciones de alguien que sabe cómo tiene que verse la imagen.

Dejar el prompt visible y editable fue una decisión deliberada. Un sistema que esconde el prompt convierte a la persona que lo usa en pasajero. Este le da un buen primer borrador y después se corre del camino.

Lo que sale

Dos templates, cuatro imágenes cada uno. Dentro de un grupo los sujetos no tienen nada que ver entre sí y las imágenes igual parecen un mismo conjunto. Entre grupos es el mismo sistema sosteniendo un lenguaje visual completamente distinto.

Collage de papel

Un científico frente a un microscopio, recortado en papel y papel de diarioUn granjero con sombrero de paja, recortado en papel y papel de diarioUna silueta de ciudad, recortada en papel y papel de diarioUn retrato de mujer, recortado en papel y papel de diario

Foto estenopeica

Una familia en un velero sobre un lago, movida por la exposición largaUna figura con paraguas parada en una calle mojada por la lluviaUna tetera de hierro y tazas sobre una mesa, a contraluz de un panel de papelGente parada en una pileta pública, apenas desenfocada

Lo que cuesta

El enfoque tiene un límite que vale la pena nombrar. Los templates son opinados a propósito, y eso funciona mientras lo que necesitás caiga dentro de alguno. Para una imagen que no coincide con ningún template, el sistema no ayuda mucho y volvés a escribir el prompt vos.

Sumar un template no es difícil, pero es trabajo, y necesita a alguien con el criterio visual para decidir qué tiene que fijar ese template. El cuello de botella se movió de escribir prompts a escribir templates. Es un lugar mucho mejor para que esté, pero no desapareció.

Lo que pasó después

La restricción que hizo que esto fuera necesario ya no existe. Generar una imagen hoy es fácil en cualquier lado. Nadie está obligado a usar lo que construí.

Lo siguen usando igual. La plataforma lleva dos años y medio funcionando y varios proyectos dependen de ella, no porque sea la única opción sino porque escribir dos keywords sigue siendo más rápido que escribir un prompt, y porque un proyecto hecho con templates sale pareciendo un proyecto y no cuarenta imágenes hechas por gente distinta.

Esa es la parte que señalaría. Un montón de herramientas internas se usan porque no hay otra cosa. Esta se quedó con sus usuarios cuando aparecieron las alternativas.

Es también el mismo trabajo que hacía diez años antes. En ese momento escribía guías de estilo para que un grupo de ilustradores dibujara en un mismo lenguaje visual. Cambió la tecnología. El problema no.

El objetivo nunca fue que todos se vuelvan mejores escribiendo prompts. El objetivo fue diseñar un sistema donde el buen prompting ya estuviera incorporado.

Volver a Trabajo