3146. Píldoras de inteligencia artificial: Batch API

Hoy os cuento cómo utilizar la Batch API para ejecutar trabajos que no son urgentes con un 50% de descuento en el coste de los tokens.

Pero antes, recordemos que en Boluda.com tenéis cursos para emprendedores, marketing online, desarrollo web, y todo lo que necesitáis para vuestro negocio online. Hoy empieza el curso de storytelling en crowdfunding. Esta mañana veremos el nacimiento de la historia y esta tarde la motivación que impulsa al protagonista. ¡A por él!

Ahora sí, vamos al lío. Hace unos meses estaba curioseando por el panel de OpenAI cuando encontré un apartado llamado Batches. Empecé a leer la documentación y descubrí una opción estupenda para todos aquellos procesos que pueden esperar un poco.

Normalmente, cuando una aplicación llama a un modelo mediante API, envía una petición y espera la respuesta. Esto tiene sentido cuando estáis hablando con un usuario o necesitáis el resultado inmediatamente. Pero hay otros trabajos que no tienen ninguna urgencia.

Por ejemplo, quizá queráis resumir miles de textos, clasificar una base documental, generar embeddings, preparar muchas imágenes o poner en cola varios vídeos. En esos casos podéis agrupar las peticiones y enviarlas a la Batch API para que se procesen de forma asíncrona.

La mecánica consiste en preparar un archivo JSONL con todas las solicitudes, subirlo y crear el lote. OpenAI dispone entonces de una ventana de hasta 24 horas para completarlo. Cuando termina, descargáis otro archivo con los resultados y podéis relacionar cada respuesta con su petición mediante un identificador propio.

¿Qué ganáis a cambio de no exigir una respuesta inmediata? Un descuento del 50% respecto a las llamadas síncronas, límites separados y mucho más margen para procesar grandes cantidades de solicitudes.

Aquí conviene hacer una precisión importante. La Batch API no reduce el número de tokens utilizados. Reduce a la mitad su precio dentro de la API. Tampoco aumenta los límites incluidos en vuestra suscripción de ChatGPT o Codex, porque trabaja con una clave de API y una facturación separada.

No es un comando mágico que convierta cualquier tarea del ordenador en un lote. Solo sirve para los endpoints compatibles. Actualmente permite trabajar, entre otros, con Responses, Chat Completions, embeddings, moderación, generación y edición de imágenes, y generación de vídeo. Podéis consultar la lista actualizada en la documentación oficial de la Batch API.

Lo más cómodo es pedirle a vuestro agente que prepare la integración. Primero probad una única solicitud de manera normal. Cuando sepáis que el formato y el resultado son correctos, pedidle que cons