ستتعلم في هذا الدرس
- تعرّف بحيرة البيانات.
- تعدّد مزاياها الثلاث.
- تشرح تحديين يواجهان بحيرات البيانات، وحل كل منهما.
- تصف بحيرة البيانات الوطنية ودورها.
الفكرة باختصار: بحيرة البيانات مخزن مركزي مرن، يحفظ كل أنواع البيانات كما هي. لكنها تحتاج إدارة جيدة لبياناتها الوصفية وإصداراتها، وإلا صارت فوضى.
ما بحيرة البيانات؟
تُعد بحيرة البيانات من أبرز تقنيات تخزين البيانات الحديثة (الشكل ١).
بحيرة البيانات (Data Lake) منصة مركزية مرنة، تُخزَّن فيها كميات هائلة من مختلف أنواع البيانات. فيها البيانات المهيكلة، مثل الجداول، وغير المهيكلة، مثل الصور ومقاطع الفيديو والنصوص.
وهي تشبه البحيرة الحقيقية: تصب فيها «أنهار» من مصادر متعددة، مهيكلة وغير مهيكلة، في موقع واحد مشترك.
وتُعد مثالية للجهات التي تتعامل مع مصادر بيانات متعددة، وتحتاج إلى تحليلها بطرق متقدمة، ومنها التحليلات الذكية وتقنيات التعلم الآلي.
ما مزايا بحيرة البيانات؟
- المرونة: تخزّن مختلف أنواع البيانات كما هي، دون تحويلها مسبقًا إلى صيغة موحدة.
- قابلية التوسع: مصممة لكميات ضخمة من البيانات، فهي مثالية لتطبيقات تحليل البيانات الكبيرة.
- التكامل مع أدوات التحليل: تعمل مع أدوات تحليل البيانات والذكاء الاصطناعي، فتساعد على استخراج الرؤى والمعرفة من البيانات المخزنة.
ما تحديات بحيرة البيانات؟ وكيف تُعالَج؟
التحدي الأول: مستنقع البيانات
تمتاز البحيرة بمرونتها وقدرتها على تخزين مختلف أنواع البيانات من مصادر متعددة. لكن هذا التنوع قد يسبب تحديات في حوكمة البيانات وضمان جودتها.
فعدم فرض مخطط صارم على البيانات قد يؤدي إلى فوضى في التنظيم. فيصعب التأكد من موثوقية البيانات، واستخدامها بفعالية.
وهذا ما يُعرف بـمستنقع البيانات (Data Swamp): بيئة مليئة بالبيانات غير المصنفة وغير المفهومة، يصعب الاستفادة منها في القرار أو التحليل.
الحل: التركيز على إدارة البيانات الوصفية (Metadata)، لمنع تحوّل البحيرة إلى مستنقع.
التحدي الثاني: تعدد الإصدارات
بحيرات البيانات ديناميكية بطبيعتها. فمجموعات البيانات وإصداراتها الجديدة تُضاف باستمرار، فتصبح إدارة الإصدارات تحديًا أساسيًا في جميع مراحلها.
الحل: أمران:
- أنظمة ذكية لإدارة الإصدارات: مثل DataHub، الذي يقدم واجهة شبيهة بـGit، المستخدم في إدارة إصدارات البرامج. ويدعم إنشاء الإصدارات، والتفرعات، والدمج، ومقارنة الاختلافات.
- التخزين الذكي للإصدارات: لتفادي الكلفة العالية لتخزين النسخ الكاملة. ومن تقنياته التخزين التفاضلي: بدل تخزين كل إصدار كاملًا، تُخزَّن الفروقات فقط بين النسخة الجديدة والسابقة. فتوفَّر مساحة كبيرة، خاصة حين تكون التغييرات بين النسخ بسيطة.
مثال توضيحي: جدول فيه مليون سجل تغيّر منه ألف سجل فقط. في التخزين التفاضلي تُحفظ السجلات الألف المتغيرة، لا المليون كله مرة أخرى.
ما بحيرة البيانات الوطنية؟
تواصل الهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا) دورها الريادي في تطوير بنية تحتية متقدمة للبيانات. وذلك ضمن الجهود الوطنية لتعزيز إدارة البيانات، وتمكين الجهات من الاستفادة منها بفعالية. فهي تطلق مبادرات ومنصات استراتيجية تدعم التحول الرقمي، وتحقق مستهدفات رؤية المملكة ٢٠٣٠. ومن أبرزها بحيرة البيانات الوطنية.
وهي مستودع مركزي يضم كمًا هائلًا من البيانات الخام الموحدة، جُمعت من مختلف الجهات الحكومية على مستوى المملكة. وتشكّل الأساس الذي تقوم عليه الخدمات والمنصات الأخرى المبنية على البيانات. فتضمن وصولًا متسقًا وموثوقًا إلى البيانات، بشكل موحد ومن مصدر واحد. وبذلك تسهّل الوصول إلى البيانات، وتحقق الاستفادة القصوى منها.
وتتميز البحيرة بمرونة تكفي لاستيعاب كم ضخم من البيانات ذات السرعات والهيكلات المختلفة. وقد تحققت هذه المرونة بحزمة تكامل برمجية طُوِّرت داخليًا، تحتوي البيانات وتنظمها وتهيئها تلقائيًا وبأمان.
والبحيرة مدعومة كذلك بخدمات مساعدة تضمن إدارتها وحوكمتها وتأمينها كما ينبغي. وبذلك تحقق ثقة المستفيدين منها وموثوقيتها لديهم.
الخلاصة
- بحيرة البيانات منصة مركزية مرنة، تخزّن البيانات المهيكلة وغير المهيكلة بكميات هائلة.
- مزاياها: المرونة، وقابلية التوسع، والتكامل مع أدوات التحليل.
- مستنقع البيانات بيئة من البيانات غير المصنفة وغير المفهومة، وحله إدارة البيانات الوصفية.
- التخزين التفاضلي يحفظ الفروقات بين النسخ فقط، بدل تخزين كل إصدار كاملًا.
- بحيرة البيانات الوطنية من مبادرات سدايا، وهي مستودع مركزي لبيانات الجهات الحكومية.