Un miembro senior de nuestro equipo lideró un proyecto implementando una tecnología totalmente nueva para Geko: 

¿Puedes contarnos acerca del proyecto que recién concluyeron usando Snowflake?  Tuvimos un desafío completamente nuevo en Geko. Nuestro cliente tenía la necesidad de consolidar las bases de datos de sus proyectos y servicios de marketing para sus clientes, que estaban alojados en diferentes fuentes. Parte de la información se encontraba en MySQL y otra en Dynamo. Requerían que toda esta información se consolidara en una base de datos, donde la generación de informes fuera más eficiente, y que pudieran unificar todo en un panel de control para generar informes según las diversas necesidades de sus clientes. Además, deseaban implementar un chat con inteligencia artificial para consultar esta base de datos.

¿Cuáles fueron los pasos que siguieron para resolver el reto?  Se presentó un plan de acción sobre cómo migrar la base de datos (tablas y objetos). Por ejemplo, tenían 100 tablas con información diferente y necesitaban reducirlas a 20. Algunos datos no eran reconocidos por Snowflake debido a que tenían diferentes formatos. Tuvimos que investigar y estudiar nuevas herramientas, implementarlas y realizar ajustes solicitados por el cliente para cumplir con la solicitud dentro del plazo.

¿Cuál fue el reto más grande al enfrentar esta situación?  Estandarizar los datos y unificar las dos bases de datos en una base de datos no relacional. Investigamos sobre la herramienta Amazon Blue, que es muy técnica, y logramos implementarla. Hacer que la visualización de los datos fuera amigable para el usuario final

¿Cómo resolvieron el problema? En Snowflake, creamos las estructuras y esquemas adecuados con la información necesaria. Luego, unificamos todo en un procedimiento en MySQL que formateaba los datos para presentarlos en un informe. Como siguiente paso, transformamos los datos en un lenguaje que combinaba Java y JavaScript, lo cual fue un desafío, ya que tuvimos que adaptar funciones de Snowflake. El siguiente reto fue unificar los datos de MySQL con los datos de Dynamo. El desafío más grande fue visualizar los datos en la página web del cliente, donde el programa formateaba los datos como títulos de campos y los transformaba de filas a columnas. Además, utilizamos otra herramienta, Apache Airflow, para la extracción de datos mediante Python. Apache Airflow crea tareas para automatizar la extracción de datos. Se programa una hora para extraer los datos automáticamente en una sincronización. Por último, presentamos y explicamos cómo establecer la conexión y generar informes manipulando los datos.

¿Hubo algún error mientras se resolvía el problema? La extracción de data de Dynamo y de MySQL ya que la data retornaba vacía, investigamos dónde se creaba el problema.

¿Cuál es el logro o contribución del cual estás orgulloso de cómo se resolvió? Fue un reto mezclar varias tecnologías y varias herramientas y logramos manejarlas para satisfacer la necesidad al cliente de mostrar y almacenar la información como ellos la necesitaban.

¿Qué comentarios positivos recibió del cliente o alguno de los ejecutivos de la empresa? Tenían dudas de que se pudiera lograr debido a que Dynamo es una base de datos no relacional, así como si Snowflake podía extraer esos datos. Sin embargo, logramos hacerlo y presentar los datos formateados de manera convencional, lo cual los sorprendió, demostrando la capacidad de la herramienta para lograrlo y la capacidad y profesionalismo del equipo Geko.  

Keywords: