مهندس البيانات يبني ويشغّل الأنظمة التي تنقل بيانات المؤسسة وتخزّنها وتحوّلها: خطوط البيانات التي تجمعها من الأنظمة المصدرية، ومستودع البيانات الذي تسكنه، والبنية التي تُبقيها موثوقة ومحوكمة وميسورة الكلفة. كل لوحة معلومات وتقرير ونموذج تعلّم آلي في الشركة يعمل فوق هذا الأساس. حين يعمل لا يذكره أحد؛ وحين ينكسر تكون أرقام المالية خاطئة ولا أحد يعرف السبب.
معظم شروح هذا الدور مكتوبة لمن يريد أن يصبح مهندس بيانات. هذا الشرح مكتوب لمن يعملون معه ويوظّفونه: مم يتكون العمل فعلياً، وأين تقع حدوده مع الأدوار المجاورة، وما الذي يفصل ذا الخبرة العالية عن المتوسط، فعند ذلك الفارق يقع خطأ التوظيف.
العمل بالتفصيل
المخرَج المرئي هو خطوط البيانات: كود يستخرج البيانات من الأنظمة المصدرية، ويحوّلها إلى شكل قابل للاستخدام، ويوصلها حيث يعتمد عليها المحللون والتطبيقات والنماذج، في موعدها. وحول هذا الجوهر المرئي يقع العمل الذي يعرّف المهنة.
النمذجة والبنية المعمارية. تقرير كيفية هيكلة البيانات في المستودع: Snowflake أو Databricks أو BigQuery في معظم الحزم الحديثة، مع طبقة تحويل تتركز أكثر فأكثر في dbt. هذه قرارات رخيصة الاتخاذ باهظة التراجع، ولهذا هي عمل ذوي الخبرة العالية.
الموثوقية وقابلية المراقبة. تعمل خطوط البيانات ليلاً دون إشراف، أمام أنظمة مصدرية تتغير دون إشعار. والهندسة المهمة دفاعية: فحوص حداثة على المصادر، واختبارات على التحويلات، ومهام قابلة للتكرار دون ازدواج في الاحتساب، وتنبيهات تنطلق قبل أن تخطئ لوحة المدير المالي لا بعدها.
المعالجة اللحظية حيث تلزم فعلاً. Kafka وأقرانها تنقل البيانات في ثوانٍ بدل الدفعات الليلية. المعالجة اللحظية عبء تشغيلي أكبر بمرتبة تقريباً من الدفعات، فغالباً ما تكون مساهمة مهندس البيانات ذي الخبرة العالية هي السؤال الذي لا يطرحه غيره: هل تحتاج هذه الحالة إليها فعلاً؟
انضباط التكلفة. في المستودعات المسعّرة بالاستهلاك، أنماط الاستعلام بنود ميزانية. جزء من الوظيفة معرفة كلفة المنصة، وأي الأحمال تقودها، وما الذي يُغيَّر حين يتجه الرقم اتجاهاً خاطئاً.
الحوكمة وسلسلة النسب. من يحق له رؤية أي بيانات، ومن أين جاء رقم ما، وإثبات الأمرين لمدقق. في القطاعات الخاضعة للرقابة ليس هذا عبئاً إضافياً؛ هذا هو المنتَج.
أسبوع واقعي
تصف الأدلة المهنية الدور بأنه بناء خطوط بيانات طوال اليوم. داخل فريق مؤسسي، أسبوع مهندس البيانات ذي الخبرة العالية أكثر تنوعاً: مراجعة تصميم خط بيانات لمهندس آخر قبل أن يتصلب في الإنتاج، وتتبّع حادثة جودة بيانات إلى نظام مصدري غيّر معنى عمود دون إخبار أحد، وتحويل طلب غامض من فريق التحليلات إلى شيء قابل للبناء، والدفاع عن انتقال تقني (أو ضده) أمام لجنة معمارية، ونعم، البناء أيضاً. حصة الأسبوع المنفقة في التواصل تنمو مع الأقدمية، وهذا بالضبط سبب إخفاق عمليات التوظيف التي تختبر البرمجة وحدها في معرفة ما تحتاج معرفته.
أين يقع الدور بجوار أدواره المجاورة
| الدور | يملك | نقطة التسليم مع هندسة البيانات |
|---|---|---|
| مهندس البيانات | البنية التحتية للبيانات: الخطوط والمستودع والموثوقية | هو الأساس الذي يبني عليه الآخرون |
| عالم البيانات | النماذج والتحليلات المبنية على تلك البيانات | يستهلك بيانات نظيفة موثوقة، ويعيد النماذج لتحويلها إلى الإنتاج |
| مهندس البرمجيات | التطبيقات التي تخدم المستخدمين | يُصدر البيانات المصدرية، والخطوط تتحصن ضد تغيّرات مخططاته |
| مهندس عمليات تعلّم الآلة (MLOps) | نشر نماذج التعلّم الآلي وتشغيلها | يتشارك الأدوات والعقلية، ويملك دورة حياة النموذج لا دورة حياة البيانات |
حدّ مهندس البيانات وعالم البيانات يولّد أكبر قدر من الالتباس في التوظيف، لأن إعلانات الوظائف تطلب من شخص واحد أن يكون الاثنين معاً بشكل روتيني. هما وظيفتان مختلفتان بغرائز مختلفة، وطلب الكائن الخارق الواحد ينتج عادة نسخة ضعيفة من كل منهما.
ما الذي يفصل ذا الخبرة العالية عن المستوى المتوسط
خمس إلى ست سنوات من خبرة الإنتاج هي شرط الدخول؛ أما الفارق فيظهر في الحكم.
ذو الخبرة العالية يملك مستويات خدمة لا مهام. اسأله عن حداثة البيانات الملتزم بها لخط المالية وماذا يحدث حين تنزلق، وسيجيب بتفاصيل محددة لأنه حمل ذلك الالتزام.
يصمم لليوم السيئ. إعادة معالجة البيانات التاريخية، والتعافي من تحميل تالف: المهندس المتوسط يبني المسار السعيد ويرتجل الباقي؛ وذو الخبرة العالية يبني الباقي أولاً لأنه عاش الارتجال.
يتفاوض مع الفرق المصدرية. عقود بيانات، وإشعارات إيقاف، وتغييرات مخططات مُرحّلة. البديل، امتصاص ما تفعله الأنظمة المصدرية بصمت، هو الطريقة التي تتعفن بها المستودعات.
يستطيع أن يرفض البناء. أعلى إجابات القيمة على بعض الطلبات هي استعلام محفوظ على جدول قائم، أو سؤال: أي قرار سيغذيه هذا؟ مستودع فيه 400 نموذج بلا مالك هو ما يبدو عليه قول نعم لكل شيء بعد ثلاث سنوات.
يستطيع شرحه لمدير تقني. في البيئات المؤسسية والخاضعة للرقابة، المهندس القادر على الدفاع عن مفاضلة في اجتماع قيادي، أو مرافقة مدقق عبر سلسلة النسب، يساوي أكثر بوضوح من نظير بالمهارة نفسها لا يستطيع. ولهذا كانت القدرة الاستشارية إحدى الفئات الأربع في منهجية التدقيق لدينا، إلى جانب الكفاءة التقنية والأثر المُثبَت والنمو المهني.
ماذا تعني “القوة في الأدوات” عند مستوى الخبرة العالية
قوائم الأدوات في السير الذاتية تضغط المعنى ضغطاً رديئاً. “Kafka” قد تعني استهلاكاً من موضوع مرة واحدة، أو تصميم التقسيم ومجموعات المستهلكين لنظام لا يحتمل فقدان الأحداث. و”Snowflake” قد تعني كتابة استعلامات، أو ملكية التجميع وتحجيم المستودعات والفاتورة الشهرية. و”Airflow” قد تعني كتابة مخططات مهام، أو معرفة لماذا يتجمد في الإنتاج مخططٌ نجح في بيئة التجريب عند إعادة معالجة تاريخية. عند مستوى الخبرة العالية اسم الأداة يعني: شغّلها في بيئة الإنتاج، واستُدعي لطوارئها، ويعرف أنماط فشلها وسلوك تكاليفها تحديداً. هذا هو المعيار الذي ينبغي لعملية التوظيف اختباره، والكلمات المفتاحية في السيرة الذاتية لا تحمله.
وهذا هو الحد الأمين لهذا المقال: معرفة ما يفعله الدور تخبرك بما توظّف من أجله، لا بكيفية التحقق منه. عملية التحقق، من إشارات السيرة الذاتية إلى أسئلة المقابلات وتصميم الفرز، في كيف توظّف مهندس بيانات.
الأسئلة الشائعة
هل هندسة البيانات هي نفسها تطوير ETL؟
استخراج البيانات وتحويلها وتحميلها (ETL) نشاط واحد داخل الدور، وكان تاريخياً مركزه. الدور الحديث أوسع: بنية المنصة، وهندسة الموثوقية، وإدارة التكلفة، والحوكمة. الفريق الذي يوظّف “مطوّر ETL” لبرنامج مستودع حديث يُقلّص نطاق الوظيفة إلى نصفها عادة.
هل يحتاج مهندس البيانات إلى معرفة تعلّم الآلة؟
يحتاج إلى فهم ما تستهلكه النماذج وكيف تُجمّع بيانات التدريب، لأن خطوط الخصائص عمل هندسة بيانات. ولا يحتاج إلى بناء النماذج؛ فذلك عمل عالم البيانات، وعمل الخصائص يقع على الحد المشترك بين الدورين.
ما المهارات التي ينبغي أن يطلبها الوصف الوظيفي فعلاً؟
SQL وPython كحد أساسي، ومنصة مستودع واحدة بعمق (Snowflake أو Databricks أو BigQuery)، ومنسّق واحد (Airflow أو ما يعادله)، وdbt حيث تستخدمه طبقة التحويل، وأدلة على التشغيل في بيئة الإنتاج: خبرة مناوبات طوارئ، وقصص حوادث، ومسؤولية عن التكلفة. قوائم الأمنيات ذات الأدوات العشر تشير غالباً إلى أن أحداً لم يحدد نطاق الدور.
ما يغطيه التخصص من طرف إلى طرف، وكيف توفّر له Mahala الكوادر، في صفحة هندسة البيانات. وإن كان سبب بحثك مقعداً شاغراً بجوار خارطة طريق حية، اطلب قائمة مرشحين مُدقَّقين من مهندسي البيانات: 2 إلى 3 سير ذاتية مخفية الهوية، بأدلة إنتاج مفحوصة، خلال 72 ساعة. تفضّل تحديد نطاق الدور أولاً؟ ااحجز مكالمة الآن.
