Introducción: El campo minado de la migración
La migración de una plataforma de publicidad en vivo de un proveedor a otro es una de las operaciones más importantes que puede emprender un mercado. Es un proceso complejo en el que incluso las pequeñas inconsistencias en los datos pueden tener consecuencias devastadoras. Los errores a la hora de mapear los anunciantes, las campañas o el rendimiento histórico no solo afectan a un registro, sino que crean errores acumulados que se propagan por todo el ecosistema. Esta propagación puede dañar la información, interrumpir la facturación y, en última instancia, erosionar la confianza que los anunciantes depositan en la plataforma. Una migración defectuosa no es un inconveniente temporal, sino un riesgo empresarial crítico.
1. La anatomía de una falla migratoria típica
Las migraciones son notoriamente difíciles porque las plataformas publicitarias son sistemas distribuidos y profundamente interconectados. Los desafíos que conducen al fracaso no son exclusivos de ningún mercado en particular, sino que son dificultades comunes de la industria que tienen su origen en la complejidad técnica.
- Modelos de datos rígidos: Los sistemas heredados suelen aplicar un modelo de datos lineal e inflexible (por ejemplo, mercado → proveedor → campaña). Esta rigidez hace que sea increíblemente difícil volver a mapear o corregir las relaciones después de importar los datos, lo que bloquea los errores desde el primer día.
- El problema de la propagación: Un solo error de mapeo, como un identificador de proveedor incorrecto, no permanece aislado. Se distribuye instantáneamente y se integra en numerosos sistemas posteriores, como el catálogo de productos, las subastas de anuncios, los modelos de atribución, los ciclos de facturación y los paneles de análisis. Una vez propagado, es casi imposible corregir el error de origen sin provocar una mayor pérdida de datos.
- El peligro de las actualizaciones no atómicas: En un entorno distribuido, la actualización simultánea de datos en varios servicios no es una operación atómica. Esto crea un alto riesgo de actualizaciones parciales, lo que deja el sistema en un estado incoherente cuando, por ejemplo, existe una campaña pero no las ofertas o los presupuestos asociados.
- Falta de retrocesos seguros: Sin una estrategia clara y planificada de antemano, intentar revertir una migración fallida puede ser incluso más arriesgado que seguir adelante. Una reversión mal ejecutada puede provocar una mayor corrupción de los datos y dejar al mercado en peores condiciones que antes de que comenzara la migración.
2. La filosofía de Topsort: un motor de migración diseñado específicamente
En Topsort, reconocimos que el enfoque típico de usar scripts ad hoc y consultas manuales estaba totalmente roto. Estas soluciones frágiles y únicas son la principal fuente de fallos en la migración. En respuesta, hicimos un cambio filosófico y de ingeniería: creamos un servicio de migración sólido y centralizado. Este servicio se diseñó desde cero para reemplazar los procesos manuales por un motor diseñado específicamente. Nuestro enfoque se basa en principios básicos de ingeniería que brindan tranquilidad y seguridad operativa a nuestros socios del mercado.
3. Principio 1: Un entorno aislado y controlado
Para realizar las complejas operaciones necesarias para una migración sin problemas, creamos un entorno especializado que es potente y está completamente protegido por un firewall del tráfico de producción en vivo. Esto se logra mediante un conjunto de características arquitectónicas únicas.
- El orquestador de la migración: En lugar de una simple cola de datos que envía registros a ciegas, utilizamos un patrón de orquestador sofisticado. Se trataba de una elección arquitectónica deliberada para evitar la corrupción estatal y los problemas de repetición inherentes a los sistemas más sencillos basados en colas que habíamos visto fallar en otros lugares. Nuestro orquestador gestiona todo el ciclo de vida de la migración, lo que permite realizar operaciones complejas de varios pasos con capacidades de reversión claras y sencillas.
- Un «modo de migración» con firewall: Utilizamos un indicador a nivel de mercado que activa un conjunto de puntos finales seguros y exclusivos para uso interno. Cuando este modo está activado, nuestros ingenieros pueden realizar las tareas de migración necesarias mediante restricciones menos estrictas o mediante la eliminación total de datos para lograr una reversión limpia, todo ello sin afectar a nuestros clientes de producción en directo.
- Ingestión perfecta de datos históricos: Nuestro servicio de migración incluye un punto final interno para insertar métricas de rendimiento anteriores directamente en nuestro backend de análisis. Esto permite a los clientes transferir su historial completo de campañas, lo que garantiza que tanto los administradores del mercado como los anunciantes puedan acceder a los datos anteriores para generar informes continuos e ininterrumpidos.
4. Principio 2: Diseñado para ofrecer un rendimiento a gran escala
Las migraciones implican mover volúmenes masivos de datos, de gigabytes a terabytes. Nuestras herramientas están diseñadas para gestionar esta escala de manera eficiente y rápida, minimizando el período de migración y los riesgos asociados.
- Canalización flexible de ingesta de datos: Entendemos que los datos de los clientes se presentan de muchas formas. Nuestra cartera de gestión está diseñada para armonizar los datos de las campañas procedentes de diversas fuentes, incluidas las bases de datos de Snowflake, los archivos CSV y las hojas de cálculo de Excel, lo que garantiza un proceso de incorporación fluido y adaptable, independientemente de la infraestructura existente del cliente.
- Procesamiento paralelo asincrónico: Nuestras herramientas utilizan un enfoque basado en semáforos con límites configurables para gestionar el procesamiento paralelo. Esto nos permite maximizar el rendimiento al procesar las campañas y las ofertas de forma asincrónica sin sobrecargar las API posteriores, gracias a un diseño de ingeniería sólido y deliberado que garantiza la estabilidad a escala.
- Almacenamiento en caché inteligente en memoria: Para eliminar prácticamente las búsquedas redundantes en las bases de datos, nuestro servicio carga previamente todos los anunciantes, campañas y ofertas de Marketplace de la base de datos en cachés en memoria dedicadas al inicio. La caché de campañas incluso separa las campañas activas de las ya eliminadas, lo que evita que el sistema desperdicie ciclos de procesamiento de datos innecesarios. Esta estrategia garantiza el máximo rendimiento durante la migración.
5. Principio 3: Integridad de los datos y retrocesos seguros
El objetivo final de cualquier migración es garantizar que todos los datos lleguen intactos, coherentes y correctos. Nuestro servicio tiene la integridad y la seguridad de los datos integradas en su ADN.
- Seguimiento de la migración atómica: Cada dato importado a través de nuestro Servicio de Migración se etiqueta con un identificador único. Este etiquetado sistemático se aplica a todas las entidades migradas, incluidas las campañas, las ofertas y, lo que es más importante, los KPI históricos. Esto permite realizar retrocesos precisos, limpios y completos. Si se descubre un problema, podemos eliminar quirúrgicamente todos los registros asociados a una ejecución de migración específica, garantizando el retorno a un estado limpio.
- Validación e informes proactivos: Nuestras herramientas no solo registran los problemas, sino que generan informes procesables, como un CSV de todas las campañas que fallaron debido a problemas de mapeo de datos entre sistemas. Este sistema permite a nuestros equipos identificar y resolver los problemas de mapeo de datos antes de que comience la migración, lo que evita errores en lugar de simplemente informarlos a posteriori.
6. Más allá del código: la migración como asociación
La tecnología es solo la mitad de la solución. Una migración perfecta requiere una colaboración profunda y un compromiso compartido con la precisión de los datos.
Fuimos pioneros en un enfoque de «sala de datos» en el que trabajamos en estrecha colaboración con los clientes para crear y compartir paneles de validación. Esto transforma la migración de un proceso de caja negra a un esfuerzo colaborativo y transparente. Juntos, supervisamos las métricas clave para garantizar la precisión y la coherencia de los datos antes, durante y después de la fecha de lanzamiento. En el caso de una importante migración al mercado, este enfoque colaborativo resultó tan eficaz que los paneles de validación del propio cliente, que mostraban una discrepancia casi nula entre los datos heredados y los de Topsort, se convirtieron en la principal métrica de éxito de todo el proyecto.
En Topsort, tratamos la incorporación y la migración como una parte fundamental de nuestro producto, no como una idea de último momento. Creemos que representa el 80% del trabajo para construir una asociación exitosa. Esta filosofía impulsa nuestra inversión en herramientas superiores y en un proceso dedicado y dirigido por expertos.
Conclusión: migre con confianza
Si bien las migraciones de plataformas publicitarias son notoriamente difíciles, la inversión de Topsort en un enfoque de ingeniería superior ha convertido un desafío de alto riesgo en un problema resuelto. Al combinar un servicio de migración diseñado específicamente, una arquitectura escalable diseñada para el rendimiento y un enfoque inquebrantable en la integridad de los datos, ofrecemos una experiencia de incorporación segura y sin interrupciones. Los nuevos clientes pueden migrar a Topsort con la confianza y la tranquilidad de saber que sus datos, operaciones y relaciones con los anunciantes están en manos expertas.