Anda akan bertanggung jawab untuk merancang, mengimplementasikan, dan memelihara saluran data dan proses ETL yang kuat. Dengan keahlian Anda di Spark, Talend, Airflow, Python, dan SQL, Anda akan memastikan aliran dan transformasi data yang efisien di seluruh sistem kami.

Tanggung Jawab Utama:

• Pengembangan Saluran Data: Rancang dan kembangkan saluran data yang dapat diskalakan menggunakan Apache Spark, memastikan pemrosesan dan transformasi data yang efisien.
• Proses ETL: Buat dan kelola alur kerja ETL (Extract, Transform, Load) untuk mengintegrasikan data dari beberapa sumber ke dalam sistem data kami.
• Integrasi Data: Manfaatkan Talend untuk tugas integrasi data, termasuk pembersihan data, transformasi, dan pemuatan.
• Automasi Alur Kerja: Terapkan dan kelola alur kerja data menggunakan Apache Airflow untuk mengotomatisasi dan mengoptimalkan tugas pemrosesan data.
• Pemrograman: Manfaatkan Python untuk menulis skrip untuk manipulasi, transformasi, dan analisis data.
• Manajemen Basis Data: Kembangkan dan optimalkan kueri SQL untuk pengambilan dan analisis data yang efisien dalam basis data relasional.
• Kolaborasi: Bekerja sama dengan ilmuwan data, analis, dan pemangku kepentingan lainnya untuk memahami kebutuhan data dan memberikan solusi efektif.
• Kualitas Data: Pastikan akurasi, konsistensi, dan kualitas data melalui proses validasi dan pemantauan yang ketat.
• Dokumentasi: Buat dan pelihara dokumentasi terperinci untuk proses data, saluran, dan alur kerja integrasi.

Keterampilan dan Kualifikasi yang Diperlukan:

• Kemahiran di Apache Spark untuk pemrosesan dan analitik data skala besar.
• Pengalaman dengan proses dan alat ETL, termasuk Talend.
• Familiaritas dengan Apache Airflow untuk mengelola alur kerja dan otomatisasi data.
• Keterampilan pemrograman yang kuat di Python untuk tugas rekayasa data.
• Keterampilan SQL tingkat lanjut untuk kueri dan manajemen basis data relasional.

Silakan merujuk ke deskripsi pekerjaan.