-Azure Databricks Data Engineer (Gijón)

Full-time Informática y tecnología

Bluetab, an IBM Company. We are looking for a Data Engineer with 4-5 years of experience, proficient in Scala, Python or PySpark, capable of designing, building, and executing large-scale data pipelines in Databricks and Azure cloud.

Lo que harás en el día a día

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos Spark en Databricks, garantizando rendimiento, calidad y escalabilidad.
• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud, predominante Azure pero también AWS o GCP.
• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
• Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.
• Colaborar con equipos multidisciplinares, impulsando la mejora cont...