Mi camino en Kueski: de backend a data engineer

Por Diego López Falcón

El cómo cambié de backend engineer a data engineer se basa en una serie de eventos afortunados, que trataré de desglosar, pero primero un poco de historia.

Ingresé a Kueski un lunes 30 de abril del 2018, un día del niño, con prácticamente cero experiencia como backend engineer en la industria, pero a su vez con toda la actitud e ilusión de aprender y crecer profesionalmente.

Al inicio tuve un sentimiento de que mi progreso era lento dentro de la compañía, pero sin darme cuenta, al paso de un año ya había colaborado con cuatro equipos diferentes, había implementado múltiples servicios y solucionado un sin fin de problemas, el sentimiento de lento progreso desapareció.

Uno de los componentes en los que trabajé, seguía ocasionando fallas por distintas situaciones, una de ellas era el acceso a los datos. Nos dimos cuenta que tener los datos disponibles para consulta, era un proceso lento, sin tolerancia a fallas, ni escalabilidad.

El arquitecto de software de la compañía hizo una breve investigación sobre cómo solucionar el problema y me comentó: “Diego encontré algo que tal vez nos sirva”, me propuso desarrollar una solución al problema de datos, a pesar de que aún había muchas incógnitas.

La falta de entendimiento hacia el problema y la solución como tal, me obligaron a realizar una investigación exhaustiva sobre un área de la cual yo desconocía por completo.

Seguramente si en ese momento me hubieran propuesto realizar la solución, utilizando los términos de big data o ingeniería de datos, hubiera dicho algo como “no soy capaz de hacerlo” o “no tengo conocimiento en ese tema”, afortunadamente me encontraba solucionando un problema de big data sin saber que así era.

Al paso del tiempo la solución y la complejidad fueron creciendo. Me encontraba implementando una tecnología conocida como Apache Airflow que en realidad sólo era una pequeña parte a la solución de nuestros problemas. Fue entonces cuando busqué “procesamiento de datos en paralelo” en internet y de alguna manera u otra llegué con Apache Beam.

Investigando las opciones con las que contaba, limitado a no introducir gastos extras a la compañía, y como buen ingeniero evaluando más de una herramienta para la solución, decidí que la mejor opción era reemplazar Apache Beam por Apache Spark. De esta forma, partía mi día a la mitad para solucionar un problema de big data y continuar resolviendo tareas de backend en mi equipo de desarrollo sin incumplir con los objetivos.

Desde que inicié como profesionista siempre pensé en buscar una especialización dentro de la ingeniería de software, ya sea Inteligencia artificial, redes, seguridad informática, administrador de base de datos, desarrollo móvil, etc. En realidad nunca había escuchado y mucho menos pensado en la ingeniería de datos.

Por las noches, me desvelaba leyendo artículos sobre ¿qué hace un ingeniero de datos?, ¿qué es un ingeniero de datos a nivel internacional? y también ¿qué tipo de problemas resuelven?

Me interesaba por conferencias de compañías como Google, Facebook, Twitter, Amazon sobre cómo hacían uso de las herramientas que estaba utilizando. Todo me parecía muy confuso, pero cuando logré entenderlo pensé: “Esto es lo que quiero para mí”.

Con el paso del tiempo, Kueski se dio cuenta que, al resolver problemas de big data, se requiere no solo de científicos de datos, sino de toda una estructura de equipos de datos. Fue entonces cuando nació la iniciativa de crear el equipo de ingeniería de datos, inmediatamente cuando me enteré de esto, le dije a mi manager:

“Yo quiero estar ahí”.

Afortunadamente de nuevo, fui considerado para el equipo y no dude en decir que sí.

Después de haberse formado el equipo, debido a la falta de experiencia en la ingeniería de datos, el director de ciencia de datos en conjunto con ingeniería decidieron contratar a un consultor de big data para entrenar al equipo y al mismo tiempo introducir en la compañía lo que significa la ingeniería de datos.

Nos encontrábamos solucionando problemas, avanzando en el entrenamiento de big data, aprendiendo nuevas herramientas, formulando un esquema de reclutamiento y aplicando entrevistas. Todo esto con la continuidad del equipo en duda, fueron tiempos difíciles pero #todoestuvobien.

El esquema de reclutamiento que formulamos fue tan bueno, que ahora contamos con un equipo completo de ingeniería de datos sumamente capaz de resolver lo que se ponga enfrente. Así mismo, los nuevos integrantes del equipo comparten su conocimiento y experiencias a los transicionados.

Actualmente, se trabaja en un plan de crecimiento del equipo que nos ayudará a aportar más valor a la compañía. Y por supuesto, a diferencia del inicio, las soluciones que desarrollamos ya son pensadas en términos de big data.

Mi objetivo siempre fue enfocarme en un ámbito que me siga enriqueciendo de conocimiento y al mismo tiempo sea de mi agrado. El ajuste salarial, que no era el objetivo, llegó por sí solo.

La bandeja está llena de propuestas laborales que prometen la luna y las estrellas, pero, el aprendizaje no cesa y la visión de data es extensa en Kueski. Por eso agradezco la serie de eventos afortunados, por haberme mostrado un camino que desconocía y estoy seguro que apenas está comenzando.

Esa fue mi historia resumida, si bien, cada uno de nosotros nos encontramos en situaciones diferentes, inclusive, fuera de la industria del software. Por eso me gustaría recalcar algunos puntos que, sin importar el ámbito laboral, nos pueden servir a la hora de realizar un cambio profesional.

Consejos para el desarrollo profesional

Mantente constantemente aprendiendo. Algunas veces podemos estar semanas o meses en el mismo proyecto, pero, siempre habrá tareas que podemos desempeñar diferentes a las que casualmente hacemos dentro o fuera del proyecto. De esta forma podemos descubrir nuevos caminos que quizás sean para nosotros, o que quizás no, de igual manera ya lo sabremos.

Estate atento de las oportunidades. Para crear oportunidades es primordial que a las empresas les surjan necesidades que actualmente no están atendiendo, por eso mismo, debemos estar a la escucha de las nuevas metas y objetivos de nuestras empresas y así anticiparnos a lo que viene. Por otro lado, existen empresas que no crecen o avanzan en ciertos ámbitos profesionales, puede ser un indicador para empezar a buscar diferentes oportunidades.

Busca lo que te apasione. El camino es difícil y lleno de piedras, no basta con gustar sino apasionar lo que hacemos. El trabajo que invertiremos no debe pesar, al contrario, debe surgir naturalmente para lograr nuestros objetivos.

Disfruta del momento. No pienses en él “ya me vi”, cada momento que vivimos en el camino nos enriquece de conocimiento. Si tuviéramos todas las respuestas a lo que hacemos se volvería aburrido y poco retador. Los retos siempre están a la espera de profesionistas que los acepten, los trabajen y los rompan.

Por: Karla Silva

Recuerda, este es un texto informativo que contiene sugerencias. En Kueski no nos hacemos responsables por los resultados obtenidos al utilizar los productos/servicios aquí mencionados.

Kueski SAPI de CV SOFOM ENR. Consulta aviso de privacidad, CAT, Comisión y requisitos de contratación en Kueski.com. No requiere para su constitución u operación autorización de la SHCP y está sujeta a la supervisión de la CNBV de conformidad con lo dispuesto por el segundo párrafo del artículo 56 de la LGOAAC.