Data engineer (Spark) (Bilbao)

Full-time Informática y tecnología

Qué buscamos?

Persona especializada en ingeniería de datos con sólida experiencia en Spark, para integrarse en un proyecto estratégico de alto impacto en el sector bancario. El perfil seleccionado trabajará en la construcción y optimización de pipelines de datos a gran escala.

Tu día a día y responsabilidades:

• Diseño y desarrollo de pipelines: Construcción de procesos de datos complejos utilizando Spark.
• Ciclo de vida del dato: Liderar tareas de ingestión de datos desde formatos de texto en staging zones, masterización desde raw data, encriptación y procesamiento masivo de datos.
• Gestión declarativa: Configuración y despliegue de pipelines mediante archivos HOCON, asegurando la modularidad entre datos de entrada, transformaciones y datos de salida.
• Validación y calidad: Garantizar la integridad del dato mediante el uso de esquemas de entrada/salida y la implementación de reglas de calidad.
• Optimización: Mejora cont...