Tanım

• Büyük veri platformunun tasarımı, geliştirilmesi ve bakımı; büyük hacimli verinin toplanması, depolanması, işlenmesi ve analizini desteklemek.
• İş gereksinimlerine göre Hadoop, Spark, Flink, Kafka gibi uygun büyük veri teknoloji yığını seçimi.
• Veri çıkarma (Extract), dönüştürme (Transform) ve yükleme (Load) süreçlerini destekleyen ETL araçları ve iş akışlarının geliştirilmesi.
• Kurumsal veri ambarının mimari tasarımı ve uygulanmasından sorumlu olmak; iş gereksinimlerine uygun ODS, DWD, DWS, ADS katmanlı modellerin oluşturulması.
• Hive, Spark, Flink gibi çerçeveler temelinde yüksek performanslı ve stabil ETL iş akışları geliştirmek; çevrimdışı ve gerçek zamanlı ihtiyaçları desteklemek.
• Eksiksiz veri soy ağacı (data lineage) ve meta veri (metadata) yönetim sistemi kurmak.
• Veri kalite izleme sisteminin kurulmasından sorumlu olmak.
• Mevcut veri ambarı mimarisini optimize etmek; veri işleme verimliliğini ve kaynak kullanım oranını artırmak.

Gereksinimler

• Bilgisayar bilimi, yazılım mühendisliği veya ilgili bir alanda lisans veya üzeri derece.
• 5 yıldan fazla büyük veri geliştirme tecrübesi; 3 yıldan fazla veri ambarı kurulum tecrübesi.
• Hadoop, Spark, Flink, Kafka vb. büyük veri teknolojilerinde uzmanlık.
• Java’da uzman; Python ve Shell scripting konusunda yetkinlik.
• SQL optimizasyonunda uzman; HiveQL ve FlinkSQL’de yetkin olmak.
• Gerçek zamanlı hesaplama görevleri geliştirmede Flink SQL veya DataStream API kullanımı konusunda yetkinlik.
• DolphinScheduler gibi açık kaynaklı iş zamanlayıcı araçları kullanımında yetkinlik.
• Doris veya ClickHouse kullanımında ve performans optimizasyonunda yetkinlik.
• Tam kapsamlı kurumsal veri ambarı projelerini yöneten adaylar tercih edilir.
• Güçlü sorumluluk duygusu; karmaşık teknik problemleri bağımsız çözebilme yeteneği.
• İyi iletişim becerileri ve takım çalışması ruhu.
• Yeni teknolojilere karşı yüksek öğrenme isteği ve keşif ruhu.

Artı Puanlar

• Iceberg, Paimon gibi veri gölü geliştirme deneyimi.
• Makine öğrenimi platformları veya yapay zeka (AI) ilgili teknolojilere aşinalık.
• Açık kaynak projelere katkı deneyimi.