ستتعلم في هذا الدرس
- تشرح بكلماتك ما نموذج البيانات وما هيكلة البيانات، ولماذا يكون النموذج جزءًا من الهيكلة.
- ترسم بيانات جهة في المستويات الثلاثة: المفاهيمي والمنطقي والمادي، بسماتها وجداولها ومفاتيحها.
- تصف هيكلة جهة كما هي اليوم وكما تريدها، وتحوّل كل فجوة بينهما إلى مبادرة في خطتها، وتفرّق بين ما يُكتب في الخطة وما يُكتب في السياسة.
- تحدد ما تحتاجه بحيرة بيانات جهة لتستوعب بياناتها الضخمة، وتختار لهذه البيانات طريقة تقسيم تخدم المعالجة في الزمن الحقيقي والمعالجة المتتابعة.
- تتتبّع حقلًا في أنظمة جهة لتعرف، قبل أن تعتمد تغييره، ما يتأثر به، وتمرّر مشروعًا جديدًا بنقاط التحقق الثلاث.
- تحدد أي مستوى اكتملت أدلته في «نضيء»، المؤشر الوطني الذي تقيس به الدولة عمل الجهات في بياناتها، وما ينقص للمستوى التالي.
الفكرة باختصار: نموذج البيانات رسم يبيّن ما تحفظ الجهة بيانات عنه، وما تعرفه عن كل شيء منه، وكيف ترتبط الأشياء. أما هيكلة البيانات فالصورة الأكبر التي يدخل فيها النموذج: أي أنظمة تحفظ البيانات، وأي أعمال تستخدمها، وكيف تنتقل بينها. وتصف الجهة هيكلتها كما هي اليوم وكما تريدها، وتسدّ الفجوة بينهما بخطة، وتراجع كل تغيير فيها قبل أن تنفّذه.
لماذا يحتاج المركز إلى نمذجة بياناته وهيكلتها؟
قد تحمل حافلة واحدة ثلاثة أرقام، فلا يعرف أحد أنها الحافلة نفسها. هذا ما حدث في المركز:
مثال توضيحي: المركز جهة حكومية افتراضية تنظّم النقل المدرسي. يرخّص شركات النقل وحافلاتها، ويتابع 4,200 حافلة على الطرق، ويستقبل بلاغات أولياء الأمور. وفي صباح يوم أحد، كتب ولي أمر في تطبيق البلاغات أن الحافلة 12 تسير بسرعة كبيرة على الطريق الدائري.
لم يعرف أحد أي حافلة يقصد. فالرقم 12 رقم جانبي تكتبه كل شركة على حافلاتها، وتجده في عشرات الشركات. وفي المركز ثلاثة أنظمة. والنظام برنامج يستخدمه الموظفون، ويحفظ بياناته في قاعدة بيانات خاصة به. وفي كل نظام تُعرف الحافلة نفسها برقم مختلف:
مثال توضيحي
- نظام التراخيص
رقم اللوحة: ب ر ح 4712
ومعه الشركة المالكة، وعدد المقاعد 30
- منصة التتبع
TRK‑55021
رسالة من جهاز التتبع كل عشر ثوانٍ:
{"dev":"TRK‑55021", "ts":"07:10:20", "lat":24.71, "lng":46.67, "spd":92}
- تطبيق البلاغات
الحافلة 12
كتب ولي أمر: تسير بسرعة كبيرة على الطريق الدائري
ثم سأل رئيس المركز: كم بلاغًا عن السرعة وصلنا هذا الفصل، وكم منها أكّدته منصة التتبع؟ فقضت نوال، محللة السلامة، ثلاثة أسابيع تطابق بيدها بين البلاغات والحافلات في ملف Excel. ومن 640 بلاغًا عن السرعة، لم تعرف الحافلة المقصودة إلا في 410.
وكان تقرير السلامة الشهري قد أظهر في مارس صفرًا: لم تتجاوز أي حافلة حدّ السرعة. والسبب أن مورد منصة التتبع غيّر اسم عمود السرعة في الملف الذي يرسله كل شهر، من Speed إلى spd، ولم يخبر أحدًا. فتوقفت معادلات نوال عن قراءة السرعة، ولم يظهر خطأ ينبّهها.
وقبل أن يُقيَّم المركز على المستوى الوطني، سأل رئيسه: أين وصلنا في بياناتنا؟ فكلّف اثنين من فريق البيانات، طارقًا وسلمى، أن يقودا الحل.
ما نموذج البيانات، وما هيكلتها؟
ابدأ بما يحفظ المركز بيانات عنه: الشركة، والحافلة، والبلاغ. هذه أشياء. ولكل شيء معلومات عنه: للحافلة رقم لوحة وعدد مقاعد، وللبلاغ وقت ونص. وبين الأشياء علاقات: الشركة تملك حافلات، والبلاغ عن حافلة.
وتحفظ قاعدة البيانات ذلك في جداول تشبه جداول Excel. لكل شيء جدول، وكل صف فيه شيء واحد، كحافلة واحدة. وكل عمود معلومة واحدة عنه، كرقم اللوحة. ويسمى العمود أيضًا حقلًا.
نموذج البيانات رسم لهذه الأشياء ومعلوماتها وعلاقاتها. ولم يكن للمركز نموذج واحد: لكل نظام نموذجه، ولا يعرف أي نظام منها أن حافلته هي نفسها الحافلة في نظام آخر.
أما هيكلة البيانات، وتسمى أيضًا بنية البيانات، فالصورة الأكبر: أي أنظمة تحفظ البيانات، وأي أعمال في المركز تستخدمها، وكيف تنتقل بين الأنظمة. والنموذج جزء من هذه الصورة. وهيكلة المركز اليوم ثلاثة أنظمة منفصلة، وملف تملؤه نوال بيدها.
كيف يعرّف المكتب النمذجة وهيكلة البيانات؟
يضع مكتب إدارة البيانات الوطنية (NDMO) سياسات البيانات وضوابطها في المملكة، ونسميه اختصارًا المكتب. ويصدر متطلبات تطبّقها الجهات الحكومية، ومنها المركز، ونسمي كلًّا منها الجهة. ويعرّف المكتب المفهومين هكذا:
- نمذجة البيانات: «نمذجة البيانات هي إنشاء تمثيل للبيانات في مجال اختصاص جهة معينة. والغرض من نماذج البيانات هو تبسيطها من خلال وصف هذه البيانات وتحديد مكوناتها، وكذلك تحديد العلاقة بين تلك المكونات.»
- هيكلة البيانات: «هيكلة البيانات هي الإجراءات والأنظمة والهياكل التنظيمية المطلوبة باستخدام نماذج المقاييس العالمية كمرجع يشار إليه في الإجراءات من حفظ البيانات والوصول إليها ونقلها وتنظيمها … وغيره، وعادةً ما يتم تحديد هيكلة البيانات على مستويات مختلفة وتهدف إلى تقديم تمثيل لكيفية تنقل البيانات داخل الجهة.»
طبّق التعريفين على المركز. «مجال اختصاص» المركز هو النقل المدرسي، و«مكونات» بياناته هي الشركة والحافلة والبلاغ، و«العلاقة» بينها أن الشركة تملك الحافلة، وأن البلاغ عن حافلة. وفي التعريف الثاني، «الأنظمة» هي أنظمة المركز، و«الإجراءات» ما يُفعل بالبيانات: تُحفظ، ويصل إليها الموظفون، وتُنقل كما تنقلها نوال إلى ملفها، وتُنظَّم. ومن «الهياكل التنظيمية» في المركز، مثلًا، مَن يعتمد التغييرات في بياناته. و«نماذج المقاييس العالمية» أطر عالمية يُرجع إليها، كإطار NIST الذي ستلقاه لاحقًا.
يربط المكتب هذا المجال بمبدأ الاستخدام الأمثل، أحد مبادئه التوجيهية لإدارة البيانات. ويبدأ نصه هكذا: «استخدام البيانات بالشكل الأمثل والابتعاد عن الازدواجية». والازدواجية أن تُحفظ البيانات نفسها في أكثر من مكان، كالحافلة المحفوظة في ثلاثة أنظمة بثلاثة أرقام. وتجد المبادئ بنصوصها في الإطار الوطني.
يعمل طارق في مهنة مصمم معماري بيانات، وتعمل سلمى في مهنة منمذج البيانات. والمهنتان واردتان في الإطار الوطني للمعايير المهنية للبيانات والذكاء الاصطناعي. فطارق يصمم هيكلة بيانات المركز كلها، وسلمى تصمم نماذج بياناته وتصونها.
كيف يبدو نموذج البيانات من قريب؟
يُرسم نموذج البيانات في ثلاثة مستويات، من الصورة العامة إلى التفاصيل. ويحدد المكتب ما يشمله كل مستوى في مواصفة، أي طلب محدد تطبّقه الجهة. واسم هذه المواصفة «هيكلة البيانات القائمة» (DAM.3.1)، وستعود إليها لاحقًا. وهذا ما تقوله عن كل مستوى:
- النموذج المفاهيمي: «جهات الأعمال الأساسية المرتبطة بالجهة وعلاقاتها مقسمة بحسب قطاعات الأعمال».
- النموذج المنطقي: «توسعة النموذج المفاهيمي ليشمل سمات جهات الأعمال وإضافة الجهات الأقل أهمية وعلاقاتها».
- النموذج المادي: «وهو التمثيل المادي (أسماء الجداول المادية، وأسماء السمات، وأنواع البيانات، والمفاتيح الأساسية والخارجية) لنموذج البيانات المنطقي داخل مكونات النظام الأساسية».
خطأ شائع: أن تقرأ «جهات الأعمال» جهاتٍ حكومية، كالمركز نفسه. والصواب أنها الأشياء التي تحفظ الجهة بيانات عنها، كالشركة والحافلة والبلاغ. ويسميها كثيرون الكيانات (Entities).
السمة معلومة عن جهة أعمال، كرقم لوحة الحافلة. وقطاع الأعمال جزء من عمل الجهة، كالتراخيص أو السلامة. ونوع البيانات ما يقبله العمود: نص، أو عدد صحيح، أو تاريخ. وتكتبه قواعد البيانات بأسماء مثل TEXT وINT وDATE.
المفتاح الأساسي (Primary Key) عمود لا تتكرر قيمته، فيميّز كل صف في جدوله عن غيره. أما المفتاح الخارجي (Foreign Key) فعمود يحمل المفتاح الأساسي لجدول آخر، وبه يرتبط الجدولان.
رسمت سلمى النموذج المؤسسي للمركز، أي نموذجًا واحدًا لبيانات المركز كله، لا لنظام واحد. ورسمته كما يريده المركز، لا كما هو اليوم. انتقل بين مستوياته، ولاحظ ما يضيفه كل مستوى:
مثال توضيحي: النموذج المؤسسي المستهدف للمركز، الإصدار 1.0
المفاهيمي
قطاع التراخيص
تملكلكل شركة حافلات كثيرة
قطاع السلامة
عنلكل بلاغ حافلة واحدة
جهات أعمال أساسية وعلاقاتها، مقسّمة بحسب قطاعات الأعمال. لا سمات بعد، ولا جداول.
المنطقي
قطاع التراخيص
- رقم السجل التجاري
- الاسم
- المدينة
تملكلكل شركة حافلات كثيرة
- رقم الحافلة الموحد
- رقم اللوحة
- الرقم الجانبي
- رقم الجهاز
- تاريخ التركيب
مركّب فيلكل حافلة جهاز واحد
قطاع السلامة
- رقم البلاغ
- وقت البلاغ
عنلكل بلاغ حافلة واحدة
- الرمز
- الاسم: سرعة، أو تأخر، أو عطل
يصنّفلكل بلاغ نوع واحد
أُضيفت السمات، والملوّن جديد في هذا المستوى. وأُضيفت جهتان أقل أهمية وعلاقاتهما. ونوع البلاغ جهة لا سمة، لأن الأنواع قائمة ثابتة يختار كل بلاغ واحدًا منها.
المادي
نظام التراخيص›قاعدة بياناته
| CR_NO | TEXT | مفتاح أساسي |
|---|---|---|
| NAME | TEXT | |
| CITY | TEXT |
| BUS_ID | INT | مفتاح أساسي |
|---|---|---|
| PLATE_NO | TEXT | |
| SIDE_NO | INT | |
| CR_NO | TEXT | مفتاح خارجي ← COMPANY |
| DEVICE_NO | TEXT | مفتاح أساسي |
|---|---|---|
| BUS_ID | INT | مفتاح خارجي ← BUS |
| INSTALLED_ON | DATE |
تطبيق البلاغات›قاعدة بياناته
| REPORT_ID | INT | مفتاح أساسي |
|---|---|---|
| BUS_ID | INT | يحمل رقم الحافلة الموحد |
| TYPE_CD | TEXT | مفتاح خارجي ← REPORT_TYPE |
| REPORTED_AT | DATETIME |
| TYPE_CD | TEXT | مفتاح أساسي |
|---|---|---|
| NAME | TEXT |
| BUS. | BUS. | REPORT. |
|---|---|---|
| 30418 | ب ر ح 4712 | 30418 |
صارت الجهات جداول، والسمات أعمدة لها أنواع، والعلاقات مفاتيح. ولأن البلاغ يحمل BUS_ID، صار المركز يعرف أي حافلة يقصد: الحافلة 30418، صاحبة اللوحة ب ر ح 4712 والرقم الجانبي 12. لكن هذا العمود ليس مفتاحًا خارجيًا، لأن المفتاح الخارجي يربط جدولين في قاعدة بيانات واحدة، وجدول BUS في قاعدة بيانات نظام آخر. وسترى في خطة المركز كيف يصل الرقم إلى البلاغ.
جرّب المستويات الثلاثة الآن في جهة أخرى، جامعة حكومية:
ماذا يطلب المكتب في هذا المجال؟
يقسّم المكتب إدارة البيانات إلى مجالات، كل مجال موضوع واحد، كالنمذجة وهيكلة البيانات. ويقسّم ما يطلبه في كل مجال إلى ضوابط. والضابط جانب من المجال له متطلبات، مثل التخطيط. وفي كل ضابط مواصفات. وتتوزع الضوابط على بُعدين، أي قسمين: الاستراتيجية والتنفيذ.
لكل مواصفة رمز يُقرأ من اليسار. فالرمز DAM.3.1 يعني المجال DAM، أي النمذجة وهيكلة البيانات، ثم الضابط الثالث، ثم المواصفة الأولى فيه. وهي المواصفة التي جاءت منها المستويات الثلاثة.
وللمواصفة كذلك أولوية من ثلاث، تحدد آخر موعد لتطبيقها. وفي هذا المجال ثلاث مواصفات من الأولوية الأولى، وآخر موعدها انقضاء السنة الأولى من إصدار الضوابط: الخطة، والسياسة، وهيكلة البيانات القائمة. والعشر الباقية من الأولوية الثانية، وآخر موعدها انقضاء السنة الثانية. وتجد ذلك مفصّلًا في متى تُطبَّق الضوابط.
اختر أي مواصفة لترى موضعها وأولويتها، وبدّل السنة لترى ما يجب أن تكون الجهة قد طبّقته بنهايتها:
الاستراتيجية
DAM.1 التخطيط
DAM.2 السياسات والقواعد الاسترشادية
DAM.3 تعريف إطار هيكلة البيانات
DAM.4 تعريف نمذجة البيانات
التنفيذ
DAM.5 إدارة دورة حياة البيانات
DAM.6 إدارة الأداء
DAM.7 السجلات
ماذا يُعدّ المركز في بُعد الاستراتيجية؟
بدأ طارق ببُعد الاستراتيجية، وفيه أربعة ضوابط.
ماذا يكتب المركز في خطته؟
تضع الجهة خطة النمذجة وهيكلة البيانات (DAM.1.1) «بناء على استراتيجية وخطة إدارة البيانات وحوكمتها وحماية البيانات الشخصية». وهما استراتيجية الجهة وخطتها لبياناتها كلها، ويشرحهما درس حوكمة البيانات. وغاية الخطة هنا أن تدير الجهة «تنفيذ هيكل البيانات المستهدف»، أي الهيكلة التي تريد الوصول إليها.
تضم الخطة خارطة طريق، أي جدولًا بالنشاطات ومواعيدها. والأهداف المرحلية محطات فيه تقيس بها الجهة تقدّمها، والمبادرة مشروع واحد في خارطة الطريق. وتشمل الخطة كحد أدنى أمرين، وهذا ما كتبه طارق لكل منهما:
مثال توضيحي
| ما تشمله الخطة كحد أدنى | في خطة المركز |
|---|---|
| خارطة طريق تضم النشاطات والأهداف المرحلية لتنفيذ هيكل البيانات المستهدف. وعلى النشاطات أن تشمل، كحدٍ أدنى، ما يلزم لتحقيق مواصفات هذا المجال | 8 مبادرات، أولها وصف هيكلة المركز اليوم، ثم النموذج المؤسسي، ثم رمز QR في كل حافلة يحمل رقمها الموحد. ومن أهدافها المرحلية أن يكون رمز QR في كل حافلة بنهاية السنة الأولى من الخطة |
| تخصيص الموارد المطلوبة والميزانية لإدارة تنفيذ هيكل البيانات المستهدف | يتفرغ طارق وسلمى للتنفيذ، ومعهما مهندسا بيانات. والميزانية 2.4 مليون ريال، لأداة النمذجة ولبحيرة بيانات، أي مكان تجتمع فيه بيانات الأنظمة |
ورمز QR مربع مطبوع يقرؤه الجوال. فإذا مسحه ولي الأمر في الحافلة، حمل بلاغه رقمها الموحد. وبنى طارق خارطة الطريق أول مرة على وصف هيكلة المركز اليوم، واعتمد رئيس المركز الخطة في مطلع سنتها الأولى. ثم حدّث طارق خارطة الطريق بعد تحليل الفجوات الذي ستراه قريبًا، واعتمد الرئيس الخطة المحدّثة.
ماذا تقرر سياسة المركز؟
الخطة تقول ماذا سيفعل المركز، ومتى. أما السياسة فتضع القواعد التي يتبعها وهو يطوّر هيكلته المستهدفة.
توثق الجهة سياسة النمذجة وهيكلة البيانات (DAM.2.1) وتنشرها «من أجل توجيه عملية تطوير هيكل البيانات المستهدف». ويرد في جوانبها مصطلح البنية المؤسسية (Enterprise Architecture)، أي الصورة الكاملة لأعمال الجهة وتقنيتها وكيف تترابط. وهيكلة البيانات جزء منها. ولرسم البنية المؤسسية أطر عالمية معروفة، منها TOGAF وZachman.
تغطي السياسة كحد أدنى أربعة جوانب، تجدها في الجدول بنص المكتب وترتيبه، ومعها ما قرره المركز في كل منها:
مثال توضيحي
| الجانب | ما قرره المركز |
|---|---|
| على هيكل البيانات المستهدف أن يلبي المتطلبات الاستراتيجية المعرّفة في استراتيجية إدارة البيانات وحوكمتها وحماية البيانات الشخصية لدى الجهة | في استراتيجية المركز متطلب واحد لهذا المجال: تقرير سلامة شهري يصدر من بيانات موحدة. وقد صُممت الهيكلة المستهدفة لتحققه |
| على الجهة أن تطور هيكل البيانات المستهدف بالترابط مع بنيتها المؤسسية الكلية | يراجع فريق البنية المؤسسية في المركز كل تغيير في الهيكلة المستهدفة، مع خطط التطبيقات والتقنية |
| على هيكل البيانات المستهدف أن يتبنى أحد أطر الهيكلة المؤسسية المشهورة مثل TOGAF وZachmann | اختار المركز TOGAF |
| على الجهة أن تراقب نماذج بياناتها بانتظام وتقوم بتحديثها | تراجع سلمى نماذج بيانات المركز، ومنها النموذج المؤسسي، كل ربع سنة وبعد كل تغيير معتمد، وتحدّثها |
كيف يصف المركز هيكلته اليوم وكما يريدها، وما الفجوة بينهما؟
ثم يأتي ضابط تعريف إطار هيكلة البيانات (DAM.3)، وفيه خمس مواصفات. الأولى هيكلة البيانات القائمة (DAM.3.1): «على الجهة أن تعرّف المنطلق الأساسي لهيكل بياناتها القائم لدعم تطوير هيكل البيانات المستهدف». والمنطلق الأساسي هو نقطة البدء: الهيكلة كما هي اليوم. وفي الثانية، هيكلة البيانات المستهدفة (DAM.3.2)، تحدد الجهة هيكلها المستقبلي المستهدف وتطوّره «عبر اتباع سياسة الجهة في النمذجة وهيكلة البيانات».
ويطلب المكتب أن يغطي وصف الهيكلة أربعة عناصر كحد أدنى، أولها نموذج البيانات. وهذه هي العناصر كما وردت في DAM.3.1، وتطلبها DAM.3.2 نفسها للهيكلة المستهدفة:
- نموذج البيانات: نموذج بيانات الجهة القائم على المستوى المفاهيمي والمنطقي والمادي.
- العمليات الرئيسية: العمليات الأساسية الحالية المستخدمة في تسيير عمليات الأعمال واتخاذ القرارات.
- مكونات النظام الأساسية: التطبيقات الأساسية الحالية ومخازن البيانات ومنصات معالجة البيانات وحلول تحليل البيانات المستخدمة في العمليات الرئيسية.
- تدفق البيانات وتشعباتها: التمثيل البصري لحركة البيانات الحالية في العمليات الرئيسية وبين مكونات النظام.
أما تشعبات البيانات في العنصر الرابع فهي مسارات البيانات بين الأنظمة: من أين تأتي، وإلى أين تذهب. ووصف طارق هيكلة المركز بهذه العناصر مرتين: كما هي اليوم، وكما يريدها. بدّل بين الوصفين:
مثال توضيحي
الهيكلة القائمة
- 1نموذج البيانات
لا نموذج للمركز كله: لكل نظام نموذجه، وللحافلة ثلاثة أرقام.
- 2العمليات الرئيسية
ترخيص الحافلات، ومتابعة الرحلات، ومعالجة البلاغات، وتقرير السلامة الشهري.
- 3مكونات النظام الأساسية
نظام التراخيصمنصة التتبعتطبيق البلاغاتملف نوال
- 4تدفق البيانات وتشعباتها
الأنظمة الثلاثةبيد نوال كل شهرملف نوالتقرير السلامة
الهيكلة المستهدفة
- 1نموذج البيانات
نموذج مؤسسي واحد بمستوياته الثلاثة، وللحافلة رقم واحد: BUS_ID.
- 2العمليات الرئيسية
العمليات الأربع نفسها، لكن كل بلاغ يُربط بحافلته حين يصل، والتقرير الشهري يصدر من البحيرة.
- 3مكونات النظام الأساسية
نظام التراخيصمنصة التتبعتطبيق البلاغاتبحيرة بيانات المركزلوحة مؤشرات السلامة
- 4تدفق البيانات وتشعباتها
منصة التتبعباستمرارالبحيرةتنبيه السرعة ولوحة المؤشرات
التراخيص والبلاغاتكل ليلةالبحيرة
ثم تأتي المواصفة الثالثة، تقييم فجوات الحالة المستقبلية (DAM.3.3)، والحالة المستقبلية فيها هي الهيكلة المستهدفة. ونصها: «على الجهة أن تجري وتوثّق تحليلًا للفجوات بين هيكلة البيانات القائمة وهيكلة البيانات المستهدفة لدى الجهة. كما على الجهة أن تستخدم تحليل الفجوات باعتباره مدخلًا من مدخلات خطة النمذجة وهيكلة البيانات لدى الجهة.»
والفجوة هي الفرق بين الوصفين: ما ينقص الهيكلة اليوم لتصير كما يريدها المركز. ووجد طارق فجوة في كل عنصر، فصارت كل فجوة مبادرة في خارطة الطريق:
مثال توضيحي
| العنصر | الفجوة | مبادرتها في خارطة الطريق |
|---|---|---|
| نموذج البيانات | لا نموذج مؤسسي، وللحافلة ثلاثة أرقام | النموذج المؤسسي، الإصدار 1.0 |
| العمليات الرئيسية | لا يبيّن البلاغ أي حافلة يقصد | رمز QR في كل حافلة، يحمل رقمها الموحد |
| مكونات النظام الأساسية | لا مكان تجتمع فيه البيانات، ولا أداة تحليل غير ملف نوال | بحيرة بيانات المركز، ولوحة مؤشرات السلامة: شاشة تعرض أرقام السلامة كل صباح |
| تدفق البيانات وتشعباتها | تُنقل البيانات باليد، ولا يُسجَّل من أين تأتي | نقل آلي إلى البحيرة، وتسجيل التشعبات في أداة النمذجة |
أين يجمع المركز بياناته الضخمة، وكيف يعالجها؟
ترسل منصة التتبع رسالة من كل حافلة كل عشر ثوانٍ، فتصل إلى المركز ملايين الرسائل كل يوم. وهذا الحجم يوضّح لك اسم المواصفة الرابعة، اعتبارات البيانات الضخمة (DAM.3.4): «على الجهة أن تحدد وتوثق متطلباتها لتطوير بيئة مخزن البيانات، وذلك باستخدام إطار مرجعي لهيكلة البيانات الضخمة لا يعتمد على موزع معين (مثل إطار NIST)، وأن تدمج مكونات هيكل البيانات الضخمة في هيكل البيانات الكلي المستهدف لديها.»
بيئة مخزن البيانات هنا هي بحيرة البيانات (Data Lake)، وبهذا الاسم يذكرها «نضيء»، المؤشر الوطني الذي ستعرفه آخر الدرس. ويشرحها درس تخزين البيانات. وبحيرة بيانات المركز التي رأيتها في خطته وهيكلته المستهدفة هي هذا المخزن، وبها دمج طارق البيانات الضخمة في هيكل المركز الكلي المستهدف.
وعلى متطلبات مخزن البيانات أن تشمل كحد أدنى:
- الاستيعاب: استيعاب وتحويل مجموعات البيانات المنظمة أو شبه منظمة إلى صيغة منظمة.
- البنية التحتية: متطلبات الشبكة والحوسبة والتخزين اللازمة للتعامل مع صيغ البيانات الكبيرة والمتنوعة.
- المنصة: حل تخزين موزع يقدم قدرات حوسبة موزعة.
تذكّر البطاقات في أول الدرس. صف الحافلة في نظام التراخيص بيانات منظمة: تأتي في جدول ثابت، لكل معلومة عمود. أما رسالة منصة التتبع فـبيانات شبه منظمة: فيها أسماء وقيم، مثل “spd”:92، لكنها لا تأتي في جدول ثابت. فالاستيعاب في المركز هو أن تستقبل البحيرة الرسائل، وتحوّل كل رسالة إلى صف في جدول مواقع الحافلات. وتضع رقم الحافلة الموحد مكان رقم الجهاز، وتأخذه من جدول أجهزة التتبع.
أما البنية التحتية في المركز فشبكة تحمل الرسائل بلا انقطاع، وحواسيب تكفي لتحويلها، ومساحة تتسع لرسائل عام دراسي كامل.
وكلمة «موزع» جاءت في المواصفة بمعنيين. ففي «لا يعتمد على موزع معين» يُقصد بالموزع الشركة التي تبيع المنتج. فالمطلوب إطار مرجعي، أي نموذج عالمي يُرجع إليه في التصميم، لا يرتبط بمنتج شركة بعينها، كإطار NIST الذي اعتمده طارق. أما «حل تخزين موزع» في بند المنصة فمعناه أن التخزين موزَّع على خوادم كثيرة. والخادم حاسوب قوي يخدم أجهزة أخرى. فتتوزع رسائل المركز على خوادم البحيرة، ويعالج كل خادم نصيبه منها في الوقت نفسه.
والمواصفة الخامسة اعتبارات معالجة البيانات (DAM.3.5): «على الجهة أن توظف وتوثق استراتيجية تقسيم لهيكل بياناتها المستهدف لتحقيق معالجة فعالة لمختلف أحجام البيانات وأنواعها وسرعات معالجتها، وذلك لتحسين أداء عمليات وأنظمة معالجة البيانات. وينبغي أن تغطي استراتيجية التقسيم عمليات المعالجة في الزمن الحقيقي والمعالجة المتتابعة.»
المعالجة هي ما يفعله الحاسوب بالبيانات: يقرؤها، ويحسب منها نتيجة. واستراتيجية التقسيم هي أن تقسم الجهة الجدول الكبير أجزاء بقاعدة تختارها، كاليوم، فلا تقرأ المعالجة إلا الأجزاء التي تحتاجها. وقسّم المركز جدول مواقع الحافلات بحسب اليوم: لكل يوم جزء.
والمعالجة في الزمن الحقيقي تجري لحظة وصول البيانات. ففي المركز تنبيه للسرعة: إن تجاوزت حافلة 80 كم/ساعة، وصل التنبيه إلى غرفة عمليات السلامة خلال ثوانٍ، من جزء اليوم وحده. أما المعالجة المتتابعة فتجري على دفعة كاملة في موعد محدد. ومثالها تقرير السلامة الشهري: يُحسب آخر الشهر، من أجزاء أيام ذلك الشهر وحدها، لا من سنة كاملة.
كيف يرسم المركز نماذجه، وبأي أدوات؟
ثم يأتي ضابط تعريف نمذجة البيانات (DAM.4)، وفيه مواصفتان. الأولى تمثيل النموذج (DAM.4.1): «على الجهة أن تختار وتطبّق وسيلة للتخطيط من أجل توثيق هيكلة وعلاقات ورموز جهات الأعمال على المستويات المفاهيمية والمنطقية والمادية، لتستخدمها على مدار دورة حياة تطوير التطبيق البرمجي.»
و«وسيلة للتخطيط» هنا طريقة لرسم النموذج وتوثيقه برموز متفق عليها، لا خطة كخطة الضابط الأول. ويذكر «نضيء» مثالًا عليها: لغة النمذجة الموحدة (UML)، وهي لغة رسم معروفة لها رموز ثابتة. واختارها المركز، وبها رسمت سلمى النموذج الذي رأيته.
ودورة حياة تطوير التطبيق البرمجي هي المراحل التي يمر بها مشروع البرنامج، من متطلباته حتى تشغيله. وسمّى المركز مراحلها: المتطلبات، والتصميم، والبناء، والاختبار، والإنتاج. والإنتاج هو أن يعمل البرنامج للناس فعلًا. فكل مشروع في المركز يرسم نماذجه بلغة UML في مراحله كلها.
والثانية الأدوات والتقنيات (DAM.4.2): تختار الجهة وتطبّق «مجموعة من التقنيات لتصميم وتطوير وتنفيذ مبادرات النمذجة وهيكلة البيانات داخل الجهة». وتشمل الأدوات كحد أدنى ثلاثًا:
- تصميم هيكلة البيانات: التمثيل البصري للبيانات ومكونات النظام إلى جانب إعداد مخطط تدفق البيانات.
- نمذجة البيانات: خاصية رسم لتصميم وتعديل موضوعات وسمات وعلاقات البيانات ومكونات النظام، وتطبيق الهندسة العكسية على نماذج البيانات الحالية.
- تشعبات البيانات: تسجيل وتحديث مسارات تدفق البيانات بين الأنظمة لإتاحة إجراء تحليل التأثير.
بالأداة الأولى رسم طارق هيكلة المركز اليوم وكما يريدها. وبالثانية رسمت سلمى النموذج المؤسسي. والهندسة العكسية هي أن تستخرج النموذج من قاعدة بيانات موجودة، بدل أن ترسمه من الصفر. ولم يكن لقاعدتي بيانات التراخيص والبلاغات رسم موثّق، فاستخرجت سلمى نموذج كل منهما بالأداة. أما منصة التتبع فيملكها المورد، فقرأت سلمى شكل رسائلها كما يصفه المورد. ومن هذه النماذج كتب طارق وصف نموذج البيانات القائم.
وتتيح الأداة الثالثة تحليل التأثير، أي أن تعرف، قبل أن تغيّر شيئًا، كل ما سيتأثر به. وهذه تشعبات حقلين سجّلها طارق: السرعة، ورقم الحافلة في البلاغ. يبدأ الشكل بحقل السرعة وما يتأثر به. اختر عنصرًا آخر، وبدّل الاتجاه لترى من أين يتغذى:
مثال توضيحي
- منصة التتبع
- spd حقل السرعة في رسائل منصة التتبع
- تطبيق البلاغات
- REPORT.BUS_ID رقم الحافلة في البلاغ
- بحيرة بيانات المركز
- SPEED_KMH عمود السرعة في جدول مواقع الحافلات
- ما يستخدمه المركز
- تنبيه السرعة
- تقرير السلامة الشهري
- لوحة مؤشرات السلامة
كيف يغيّر المركز هيكلته، وكيف يقيس تقدّمه؟
بعد الاستراتيجية يأتي بُعد التنفيذ، وفيه ثلاثة ضوابط.
كيف يدير المركز تغيير هيكلته؟
اسم الضابط الأول إدارة دورة حياة البيانات (DAM.5)، لكن مواصفتيه تتناولان تغيير الهيكلة، ونقاط التحقق في مشاريع التطبيقات، لا رحلة البيانات من إنشائها حتى حذفها.
الأولى إدارة التغيير (DAM.5.1): «على الجهة أن تؤسس وتلتزم بعملية محددة لإدارة تغييرات الهيكلة، وذلك لمراجعة التغييرات والموافقة عليها وتنفيذها في هياكل البيانات الحالية والمستهدفة.» ويشمل نطاق تغييرات الهيكلة كحد أدنى:
- طلبات المبادرات الجديدة لنمذجة وهيكلة البيانات.
- تعديلات على وثائق حالة الهيكلة للمبادرات القائمة.
ووثائق حالة الهيكلة هي الوثائق التي تصف هيكلة مبادرة قائمة: أنظمتها، وجداولها، وتدفقاتها. وفي المركز مثال لكل من البندين. فقد طلبت إدارة السلامة تطبيق الرحلة الآمنة، وهو ينبّه ولي الأمر المشترك حين تقترب الحافلة من محطته. ويحتاج التطبيق بيانات وتدفقات جديدة، فقدّمت الإدارة طلب مبادرة جديدة لنمذجتها وهيكلتها. وبحسب عملية المركز، يُراجَع الطلب ويُعتمد قبل أن تبدأ المبادرة.
وبعد الصفر الذي أظهره تقرير السلامة في مارس، صار المركز يشترط على مورد منصة التتبع أن يعلن أي تغيير قبل وقوعه. فأعلن المورد أنه سيغيّر اسم حقل السرعة في رسائله، من spd إلى speed_kmh. وهذا التغيير يعدّل وثائق مبادرة قائمة، هي بحيرة بيانات المركز. وفتح طارق التشعبات كما فعلتَ في الشكل، فظهرت له العناصر الأربعة التي تتأثر بالتغيير. واعتمد رئيس المركز خطة التغيير: يُضاف الاسم الجديد في الاستيعاب أولًا، ويُجرَّب يومًا، ثم يُعتمد. فمرّ التغيير هذه المرة، ولم ينكسر شيء.
كيف يمرّ مشروع جديد بنقاط التحقق؟
المواصفة الثانية نقاط التحقق من هيكلة البيانات (DAM.5.2): «على الجهة أن تضع نقاط للتحقق من هيكلة البيانات في عمليات دورة حياة تطوير التطبيق البرمجي الخاص بها.» ونقطة التحقق هي مراجعة في موضع محدد من المشروع. وتشمل النقاط كحد أدنى ثلاثًا، تجدها بنصها في العمود الأول من الجدول التالي.
ومرّ تطبيق الرحلة الآمنة بالنقاط الثلاث. واختار المركز موضع كل نقطة: الأولى في المتطلبات يراجعها طارق، والأخريان في التصميم تراجعهما سلمى. ولا يحدد المكتب هذه المواضع ولا من يراجعها، ولا القاعدة التي تراها تحت السجل؛ فكل ذلك من اختيار المركز. عالِج مشاكل السجل لتفتح مرحلة الإنتاج:
مثال توضيحي: مراحل تطوير تطبيق الرحلة الآمنة في المركز
- المتطلبات
- التصميم
- البناء
- الاختبار
- الإنتاج
| نقطة التحقق | ما وُجد | ما فعله المشروع |
|---|---|---|
| «التحقق من مدى قابلية إعادة استخدام بعض مكونات هيكلة البيانات الحالي لتلبية متطلبات الأعمال» | أراد المشروع قائمة حافلات خاصة به، واتصالًا جديدًا بمنصة التتبع | يقرأ جدول الحافلات، وجدول المواقع في بحيرة بيانات المركز |
| «التصديق على الموافقة على نماذج البيانات المعدة ونموذج البيانات المؤسسي للجهة» | سمّى نموذج المشروع الحافلة باسم المركبة، وجعل مفتاحها الرقم الجانبي | اعتمدت سلمى نموذجه بعد أن عدّله ليطابق النموذج المؤسسي: الحافلة، ومفتاحها BUS_ID |
| «التحقق من تطبيق المشروع لأي تغييرات مطلوبة في نموذج البيانات المؤسسي الخاص بالجهة» | يحتاج المشروع جهتي أعمال ليستا في النموذج المؤسسي: المحطة، والاشتراك | قدّم طلب تغيير، فأضافتهما سلمى إلى النموذج المؤسسي في الإصدار 1.1 |
قاعدة المركز: لا ينتقل مشروع إلى مرحلة الإنتاج وفي سجل نقاط التحقق مشكلة مفتوحة
عولجت المشاكل الثلاث، فانتقل التطبيق إلى مرحلة الإنتاج.
كيف يقيس المركز تقدّمه، وأين يحفظ وثائقه؟
في ضابط إدارة الأداء (DAM.6) مواصفة واحدة: مؤشرات الأداء الرئيسية لمجال النمذجة وهيكلة البيانات (DAM.6.1). ومؤشر الأداء الرئيسي رقم تقيسه الجهة بانتظام، وتقارنه بما سبقه، فترى أين وصلت. وتضع الجهة مقاييس «لقياس إمكانيات النمذجة وهيكلة البيانات المتاحة لديها». «وعلى هذه المؤشرات أن تشمل، كحدٍ أدنى، مقاييس لتتبع التقدم المتحقق في تحويل هيكل البيانات الحالي إلى هيكل البيانات المستقبلي المستهدف».
ووضع المركز مؤشرين يتتبعان هذا التقدم. وهذه أرقامهما في نهاية السنة الثانية من خطته:
- الأنظمة الأساسية التي تستخدم رقم الحافلة الموحد: بدأ عند صفر من 3، وهو الآن 2 من 3 (نظام التراخيص وتطبيق البلاغات)، والمستهدف 3 من 3. وبقيت منصة التتبع، فموردها لم يعتمد الرقم الموحد بعد.
- بلاغات السرعة المرتبطة بحافلة: بدأ عند 64%، أي ما ربطته نوال بيدها، وهو الآن 93%، والمستهدف 98%.
أما سؤال رئيس المركز الأول، الذي قضت نوال ثلاثة أسابيع تجيب عنه بيدها، فجوابه الآن في لوحة مؤشرات السلامة كل صباح: كم بلاغًا عن السرعة وصل، وكم منها أكّدته منصة التتبع.
وفي ضابط السجلات (DAM.7) مواصفة واحدة: سجل النمذجة وهيكلة البيانات (DAM.7.1). ونصها: «على الجهة أن تحتفظ في سجل مجمّع بمشروع البيانات والهيكلة التقنية، والوثائق المرجعية، وتصميمات نماذج البيانات.» و«مجمّع» أي في مكان واحد. فيحفظ المركز في أداة النمذجة وصف هيكلته اليوم وكما يريدها، وتحليل الفجوات. ويحفظ معها السياسة، وإطاري TOGAF وNIST، والنموذج المؤسسي بإصداريه، ونماذج تطبيق الرحلة الآمنة.
كيف يحكم «نضيء» على المركز؟
التقييم الوطني الذي كان المركز يستعد له في أول الدرس هو «نضيء».
ما «نضيء»؟
يقيس المؤشر الوطني للبيانات (نضيء) عمل الجهات الحكومية في بياناتها. ومن أجزائه النضج، أي مدى تقدّم ممارسات الجهة، ويقيسه بأسئلة لكل منها ستة مستويات: من صفر «غياب القدرات» إلى خمسة «الريادة». وتثبت الجهة كل مستوى بـأدلة داعمة، أي مستندات تقدّمها، فيقبلها المؤشر أو يردّها. وتجد تفصيل المؤشر في صفحة الإطار الوطني.
ومن أجزائه أيضًا التميز التشغيلي، ويحسب نتائج الجهة من عملها في منصات البيانات الوطنية. ولا يشمل هذا المجال بعد. فالدليل الإرشادي للمؤشرات التشغيلية يقيسه في ستة مجالات، ليس منها النمذجة وهيكلة البيانات. ويقول إن مجالات جديدة ستُضاف «في المستقبل بناءً على الاحتياج»، ويُعلَن عنها للجهات مسبقًا.
ماذا يسأل «نضيء» في هذا المجال، وأين وصل المركز؟
في هذا المجال سؤالا نضج، ونبدأ بسؤال الخطة. يعرض الشكل نصه ومستوياته وأدلته، وما قُبل منها للمركز في نهاية السنة الثانية من خطته. اختر مستوى، وانقر أي دليل لترى أثره:
مثال توضيحي
-
DAM.MQ.1 «هل طورت ونفذت الجهة خطة لتحسين قدراتها في هيكلة البيانات؟»
- غياب القدرات
«لا توجد لدى الجهة خطة قائمة للنمذجة وهيكلة البيانات.»
- «لا توجد وثائق مطلوبة.»
- البناء
«تدير الجهة أنشطة النمذجة وهيكلة البيانات عند الحاجة كردة فعل (Reactive) أو بشكل غير مخطط له (Ad hoc) دون وجود ممارسات رسمية.»
- «الممارسات الحالية المتعلقة بمجال نمذجة وهيكلة البيانات.»
- التعريف
«لدى الجهة خطة معرفة ومعتمدة لإدارة النمذجة وهيكلة البيانات.»
- «هيكل البيانات المعتمد للوضع الحالي والهيكل التقني القائم.»
- «هيكل البيانات المعتمد للوضع المستهدف.»
- «تقييم فجوات الحالة المستقبلية.»
- «الخطة المعتمدة لمجال النمذجة وهيكلة البيانات.»
- «الإطار المعتمد للبنية / للهيكلة المؤسسية (EA).»
- «سياسة النمذجة وهيكلة البيانات.»
- التفعيل
«تقوم الجهة بتطبيق خارطة طريق التنفيذ المعرفة والخاصة بهيكل البيانات للوضع المستهدف.»
- «تقرير تقدم تنفيذ خطة النمذجة وهيكلة البيانات.»
- «تقرير تطبيق إطار عمل البنية / الهيكلة المؤسسية (EA Framework).»
- التمكن
«تراقب الجهة مدى فعالية خطة وأنشطة النمذجة وهيكلة البيانات بناءً على مؤشرات الأداء الرئيسية المحددة مسبقاً.»
- «تقرير مراقبة تنفيذ خطة وأنشطة النمذجة وهيكلة البيانات عبر مؤشرات الأداء الرئيسية (KPIs) المحددة مسبقاً.»
- الريادة
«تتبع الجهة عملية محددة لإدارة تغييرات الهيكلة وذلك لمراجعة وتعميد وتنفيذ التغييرات في هياكل البيانات للوضع الحالي و/أو للوضع المستهدف.»
- «تقرير التحسين المستمر لخطة هيكلة البيانات.»
- «عملية إدارة تغييرات الهيكلة.»
- «وثيقة ضبط التغيير.»
- «تقرير نقاط التحقق من هيكلة البيانات.»
- غياب القدرات
يطلب «نضيء» في دليل المستوى الرابع تقريرًا اعتمده صاحب الصلاحية، وفيه بطاقة لكل مؤشر، أي صفحة تعرّف به وبحاله: اسمه، ومالكه، ومعادلته، وخط أساسه، وقيمته المستهدفة، وغيرها. ولا تكتمل أدلة المستوى الخامس قبل أن تكتمل أدلة الرابع، لأنها تشمل كل أدلة الرابع، مع أن المركز قدّم ثلاثة من الأدلة الخاصة بالمستوى الخامس.
فهذا جواب سؤال رئيس المركز في أول الدرس: أين وصلنا في بياناتنا؟ في سؤال الخطة من هذا المجال، اكتملت أدلة المستوى الثالث، وأدلة الرابع تنتظر تقرير مراقبة معتمدًا، فيه بطاقة لكل مؤشر.
وهذا نص السؤال الآخر، ومعه أدلة يقدّمها المركز له من المواصفات التي مرّت بك:
مثال توضيحي
- سؤال الممارسات (DAM.MQ.2)
«هل طورت ونفذت الجهة ممارسات لأنشطة النمذجة وهيكلة البيانات (بما في ذلك تدفقات البيانات، ونماذج البيانات، واعتبارات الحوكمة)؟»
DAM.3.4DAM.3.5DAM.4.1DAM.7.1DAM.4.2
يقدّم له المركز وثيقة متطلبات البحيرة، ووثيقة استراتيجية التقسيم، ووثيقة تمثيل النموذج بلغة UML، وسجله في أداة النمذجة، وإثباتات على استخدام أدواته، ومنها التشعبات.
الخلاصة
- كان للحافلة الواحدة ثلاثة أرقام في أنظمة المركز الثلاثة. ونموذج بيانات مؤسسي واحد يعالج ذلك: يرسم الأشياء التي تُحفظ عنها البيانات، ومعلوماتها، والعلاقات بينها، فيكون للحافلة رقم واحد.
- يُرسم النموذج في ثلاثة مستويات: المفاهيمي بجهات الأعمال الأساسية وعلاقاتها، والمنطقي بسماتها والجهات الأقل أهمية، والمادي بالجداول وأنواع البيانات والمفاتيح.
- هيكلة البيانات أوسع من النموذج. تصفها الجهة بأربعة عناصر على الأقل: نموذج البيانات، والعمليات الرئيسية، ومكونات النظام الأساسية، وتدفق البيانات وتشعباتها.
- تصف الجهة هيكلتها كما هي اليوم وكما تريدها، وتجعل تحليل الفجوات بينهما مدخلًا لخطتها، كما جعل المركز كل فجوة مبادرة. أما سياستها فتوجّه تطوير الهيكلة، وتلزمها بمراقبة نماذجها بانتظام وتحديثها.
- تحدد الجهة متطلبات بيئة مخزن البيانات، أي بحيرة البيانات كما يسميها «نضيء»، وتوثقها. ومنها أن تستوعب البيانات المنظمة وشبه المنظمة وتحوّلها إلى صيغة منظمة. وتضع استراتيجية تقسيم تغطي المعالجة في الزمن الحقيقي والمعالجة المتتابعة.
- تسجّل الجهة تشعبات البيانات لتعرف أثر أي تغيير قبل أن تنفّذه، وتدير تغييرات هيكلتها بعملية محددة، وتضع في دورة حياة تطوير تطبيقاتها نقاط تحقق، ثلاثًا على الأقل.
- تقيس الجهة تقدّمها نحو الهيكلة المستهدفة بمؤشرات، وتحفظ وثائقها في سجل مجمّع. ويحكم «نضيء» على مستواها بأدلة مقبولة، فالمؤشرات بلا تقرير مراقبة معتمد لا تُكمل أدلة المستوى الرابع.