الوصف

• تصميم وتطوير وصيانة منصات البيانات الضخمة لدعم جمع وتخزين ومعالجة وتحليل كميات هائلة من البيانات؛
• وفقاً لمتطلبات العمل، اختيار التقنيات المناسبة في حزمة تقنيات البيانات الضخمة مثل Hadoop وSpark وFlink وKafka؛
• تطوير أدوات وعمليات ETL لدعم استخراج البيانات وتحويلها وتحميلها؛
• مسؤول عن تصميم وتنفيذ بنية مستودعات البيانات على مستوى المؤسسات، وبناء نماذج متعددة المستويات (ODS وDWD وDWS وADS) بما يتوافق مع خصائص العمل؛
• تطوير عمليات ETL فعالة ومستقرة باستخدام أطر عمل مثل Hive وSpark وFlink لدعم الاحتياجات الدفعاتية وفي الوقت الفعلي؛
• إنشاء نظام متكامل لتتبع أصول البيانات وإدارة البيانات الوصفية؛
• مسؤول عن إنشاء نظام مراقبة جودة البيانات؛
• تحسين بنية مستودع البيانات الحالية لرفع كفاءة معالجة البيانات واستغلال الموارد.

المتطلبات

• درجة بكالوريوس أو أعلى في علوم الحاسوب أو هندسة البرمجيات أو تخصص ذي صلة؛
• خبرة لا تقل عن 5 سنوات في تطوير البيانات الضخمة، وخبرة 3 سنوات على الأقل في بناء مستودعات البيانات؛
• إجادة تقنيات البيانات الضخمة مثل Hadoop وSpark وFlink وKafka؛
• إجادة لغة Java وإتقان استخدام Python وأوامر Shell؛
• إجادة تحسين استعلامات SQL وإتقان استخدام HiveQL وFlinkSQL؛
• إتقان استخدام Flink SQL أو Flink DataStream API لتطوير مهام المعالجة في الوقت الفعلي؛
• إتقان استخدام أدوات الجدولة مفتوحة المصدر مثل DolphinScheduler؛
• إتقان استخدام نظامي Doris أو ClickHouse وقدرة على ضبط أدائهما؛
• الأفضلية لمن قاد مشاريع مستودعات بيانات مؤسسية كاملة؛
• التمتع بروح المسؤولية العالية والقدرة على حل المشكلات التقنية المعقدة بشكل مستقل؛
• مهارات تواصل جيدة وروح عمل جماعي؛
• اهتمام وشغف قويين لتعلم التقنيات الجديدة واستكشافها.

عوامل تفضيلية

• خبرة في تطوير بحيرات البيانات مثل Iceberg وPaimon؛
• الإلمام بمنصات التعلم الآلي أو التقنيات المتعلقة بالذكاء الاصطناعي؛
• خبرة في المساهمة بمشاريع مفتوحة المصدر.