Lead Data Engineer en NTT Data
2023 - actualidad
- Lab de investigación de ontología en Azure Databricks: pipeline Medallion y capa semántica con Genie Ontology.
- Desarrollo de pipelines ETL/ELT con Python, Apache Spark y Apache NiFi, consumiendo APIs y conectando distintos sistemas de almacenamiento y servidores, aplicando arquitectura Medallion.
- Modelado y transformación de datos con Apache Spark.
- Refactorización de soluciones en Python a Apache Spark.
- Mentoreo y capacitaciones en Big Data con Apache Spark.
- Creación de bases de datos, tablas y consultas con Hive y Apache Iceberg.
- Desarrollos en Azure con Synapse Analytics y consultas SQL.
- Proyectos de Ciencia de Datos y modelos de machine learning para UBA (User Behavior Analytics).
- PoC de agentes con LangChain para simular una agencia de servicios con GenAI.
- Trabajo en equipo con Git, GitHub y metodología ágil.
Mi CV
Apache Iceberg