المعطيات الكبيرة: المبادئ والتطبيقات

Big Data principles & applications

 

المقدمة

قد يكون مصطلح "المعطيات الكبيرة" متداولًا منذ مدة غير بعيدة، ولكن لا يزال هناك الكثير من الالتباس حول ما يعنيه في الواقع؛ فالمعطيات في حد ذاتها ليست اختراعًا جديدًا، فقد كان لدينا سجلات المعاملات الورقية وسجلات العملاء وملفات الأرشيف حتى قبل ظهور الحواسيب وقواعد المعطيات، لكن النمو المذهل في كمية المعطيات التي أنشأناها منذ فجر العصر الرقمي، وارتفاع قدرة الحواسيب أعطتنا وسيلة لتخزين وتنظيم المعطيات على نطاق واسع، وبطريقة يسهل الوصول إليها مباشرة، وأصبحت الحصول على المعلومات متاحًا بنقرة واحدة.

استُعمل مصطلح Big Data منذ تسعينيات القرن الماضي، وقد أعاد بعضهم فضل نشر هذا المصطلح (أو على الأقل جعله ذا شعبية) للباحث جون ماشي John Mashey.

 

تعريف المعطيات

المعطيات الكبيرة هي مجموعات معطيات ذات أحجام ضخمة ومعقدة لدرجة أن معالِجات المعطيات التقليدية غير قادرة على التقاطها وتنظيمها وإدارتها ومعالجتها خلال مدة معقولة.

وتشمل تحديات المعطيات الكبيرة: التقاط المعطيات، وتخزينها، وتحليلها، إضافة إلى عمليات البحث والمشاركة والنقل والتخيل والاستعلام والتحديث، مع ملاحظة خصوصية المعلومات ومصدر المعطيات. وأما أنواع المعطيات الكبيرة فهي: بيانات غير منظمة، وشبه منظمة، ومنظمة.

ويُستعمل مصطلح )المعطيات الكبيرة) غالبًا إذا كان حجمها من رتبة: تيرابايت 10¹²، أو بيتابايت10¹⁵، أو إكسابايت10¹⁸ ، أو زيتابايت 10²¹  من المعطيات. يمكن أن تأتي هذه المعطيات الكبيرة من مصادر عديدة؛ مثل: سجلات مبيعات الشركات، ونتائج التجارب العلمية أو أجهزة الاستشعار في الزمن الحقيقي المستعملة في إنترنت الأشياء، ومن النصوص والصور والصوت والفيديو.. الخ.

كيف تعمل المعطيات الكبيرة

تعتمد المعطيات الكبيرة على مبدأ أنه كلما زادت معرفتك عن الأشياء أو المواقف، زاد إمكان حصولك على تصورات جديدة أكثر موثوقية وتنبؤات أكثر واقعية بما سيحدث في المستقبل.

تبدأ العلاقات – التي كانت مخفية في السابق - بالظهور عن طريق مقارنة المزيد من نقاط المعطيات، وتمكننا هذه العلاقات من التعلم واتخاذ قرارات أكثر ذكاء. ويجري ذلك ببناء نماذج استنادًا إلى المعطيات التي نجمعها، ثم تشغيل عمليات محاكاة محددة، وتعديل قيم نقاط المعطيات في كل مرة ومراقبة تأثيرها على النتائج. وهذا الإجراء مؤتمت؛ إذ إن تقنية التحليلات المتقدمة تشغل الملايين من عمليات المحاكاة هذه، مع تعديل جميع المتغيرات المحتملة إلى أن تجد نمطًا أو نظرة، وبذلك يساعد هذا الإجراء على حل المشكلة التي هي في قيد الدراسة.

كانت المعطيات حتى وقت قريب نسبيًّا تقتصر على جداول المعطيات أو قواعد المعطيات، وكانت كلها غاية في الترتيب والأناقة، وكان من الصعب جدًّا التعامل مع أي شيء غير منظَّم في صفوف وأعمدة، وكثيرًا ما كانت تُستبعد المعطيات غير المنظمة. أما الآن، فإن التقدم في التخزين والتحليل صار يمكِّننا التقاط وتخزين العديد من أنواع المعطيات المختلفة وتخزينها ومعالجتها، ونتيجة لذلك يمكن أن تعني "المعطيات" الآن أي شيء من قواعد المعطيات؛ كالصور ومقاطع الفيديو والتسجيلات الصوتية وبيانات النصوص المكتوبة وأجهزة الاستشعار.

من أجل فهم كل هذه المعطيات الفوضوية، غالبًا ما تَستعمل مشاريعُ Big Data التحليلاتِ المتطورةَ التي تتضمن الذكاء الصنعي والتعلم الآلي.

فإذا علَّمنا الحواسيب كيفية تحديد ما تمثله هذه المعطيات (عن طريق تعرُّف الصور أو معالجة اللغات الطبيعية مثلًا) أمكنها أن تتعلم كيفية تحديد الأنماط تحديدًا موثوقًا به وبسرعة تضاهي سرعة البشر.

كيف تُستعمل المعطيات الكبيرة؟

إن التدفق المستمر لمعلومات أجهزة الاستشعار والصور الفوتوغرافية والنصوص والصوت والفيديو مكَّننا الآن من استعمال المعطيات بطرق لم تكن ممكنة حتى قبل بضع سنوات، وقد شكّل هذا ثورة في عالم الأعمال في كل صناعة تقريبًا.

وأصبح بمقدور الشركات الآن التنبؤ بدقة بما (ومتى) ستحتاج إليه شرائح معينة من العملاء للشراء. وكذلك فإن المعطيات الكبيرة تساعد الشركات على إدارة عملياتها بطريقة أكثر فاعلية حتى خارج نطاق الأعمال، ويمكن أن تساعد مشاريع المعطيات الكبيرة بالفعل على تغيير عالمنا بعدة طرق، مثل:

•  تحسين الرعاية الصحية – وذلك بتحليل أعداد هائلة من السجلات والصور الطبية للأنماط التي يمكن أن تساعد على اكتشاف المرض مبكرًا وتطوير أدوية جديدة.
•  التنبؤ بالكوارث الطبيعية والصنعية والاستجابة لها؛ وذلك بتحليل معطيات المستشعر للتنبؤ بالمكان الذي ستحدث فيه الزلازل في المستقبل. وتعطي أنماط السلوك البشري أدلة تساعد المنظمات على توفير الإغاثة للناجين، كما تستعمل تقانات المعطيات الكبيرة لرصد وحماية تدفق اللاجئين بعيدًا عن مناطق الحرب في جميع أنحاء العالم.

مخاوف المعطيات الكبيرة

تقدم لنا المعطيات الكبيرة أفكارًا وفرصًا غير مسبوقة، ولكنها - بالمقابل - تثير مخاوف وأسئلة يجب معالجتها؛ من ذلك مثلًا:

• خصوصية المعطيات؛ فالمعطيات الكبيرة التي ننتجها حاليًّا تحتوي على الكثير من المعلومات الشخصية، التي لنا الحق في المحافظة على خصوصيتها. وعلى هذا ينبغي تحقيق توازن بين مقدار المعطيات الشخصية التي نكشفها، والتسهيلات التي توفرها التطبيقات والخدمات التي تُشغَّل بواسطة المعطيات الكبيرة.
• أمان المعطيات؛ وهذا يعني أننا إذا قررنا أنه لا مانع لدينا من أن يطَّلع شخص ما على معطياتنا الشخصية لغرض معين، فهل يمكننا الوثوق به للحفاظ على أمانها؟
• تمييز المعطيات؛ أي إنه إذا أصبح كل شيء معروفًا، فهل من المقبول التحيُّز إلى بعض الأشخاص استنادًا إلى المعطيات المتوفرة لدينا عن حياتهم؟

التطلع إلى المستقبل

لقد بدأت المعطيات تغيِّر عالمنا والطريقة التي نعيش بها بمعدل لم يسبق له مثيل. فإذا أصبحت المعطيات الكبيرة اليوم قادرة على فعل كل هذا، فلنا أن نتخيل ما ستكون قادرة عليه في الغد: سيزداد حجم المعطيات المتاحة، وستصبح تقنية التحليلات أكثر تقدمًا، وسوف تنجو الشركات - التي تعتمد في أعمالها على المعطيات الكبيرة - من المخاطر وستزدهر أعمالها، خلافًا لتلك الشركات التي تتجاهل ثورة المعطيات الكبيرة.

الخصائص

غالبًا ما تتميز المعطيات الكبيرة بـما يسمى خصائص 3Vs، وهي:

• Volume: الحجم الضخم والهائل للمعطيات التي تم إنشاؤها وتخزينها.
• Variety: تنوع هذه المعطيات واختلاف أنماطها وتعقيدها.
• Velocity: سرعة معالجة المعطيات والأداء الخاص بمعالجتها.

وثمة ميزات أخرى تضاف لسابقاتها، هي:

• Varicity (Variability)  (الصدق والموثوقية)، فاختلاف جودة المعطيات الملتقطة يؤثر على دقة التحليل.

• ) Variabilityالتنوّع)، إذ إن عدم اتساق مجموعة المعطيات قد يؤدي إلى إعاقة العمليات للتعامل معها وإدارتها.

• Visualization (التصور).

• Value  (القيمة).

التطبيقات

ثمة جهات عديدة تسعى لاستعمال المعطيات الكبيرة بعد تحليل معطياتها بغرض اتخاذ القرارات الصائبة فيما يتعلق بالتعليم والصحة والمرور وغيرها. وأدى الاستعمال الواسع للمعطيات الضخمة إلى زيادة الطلب على المتخصصين في إدارة المعلومات إلى درجة أن كثيرًا من الشركات أنفقوا مليارات الدولارات على البرمجيات المتخصصة في إدارة المعطيات والتحليلات. وأهم هذه التطبيقات:

القطاع الحكومي

يؤدي استعمال المعطيات الكبيرة واعتمادها في العمليات الحكومية إلى رفع الكفاءات من جهة التكلفة والإنتاجية والابتكار. وغالبًا ما يتطلب تحليل المعطيات أطرافًا حكومية متعددة للعمل معًا وإنشاء عمليات جديدة ومبتكرة لتحقيق النتائج المرجوة.

إن جمع جميع شهادات الحالة من الولادة وحتى الموت هو أحد مصادر المعطيات الكبيرة للحكومات.

ومن جملة التسهيلات التي يوفرها استعمال المعطيات الكبيرة للقطاعات الحكومية: تحقيقات السلطة، والاعتراف بالخداع، والتحقيق في الترويج الاقتصادي، والإغناء البيئي، وفحص حالات العدوى القائمة على الطعام، والتحقيق في عدد هائل من الشكاوى المجتمعية.

هذا وإن السرعة في الحصول على نتائج المعطيات الكبيرة يؤدي إلى سرعة تحقيق الرفاهية في المجتمع.

التنمية

تشير الأبحاث المتعلقة بالاستعمال الفعال لتقانات المعلومات والاتصالات لأغراض التنمية إلى أن تقنية المعطيات الكبيرة يمكن أن تقدم مساهمات مهمة في التنمية، ولكنها – بالمقابل – لا تخلو من تحديات عديدة.

إن تحليل المعطيات الكبيرة يقدم فرصًا فعالة من جهة التكلفة لتحسين عملية اتخاذ القرار في مجالات التنمية الهامة؛ مثل: الرعاية الصحية، والعمالة، والإنتاجية الاقتصادية، والجريمة، والأمن، والكوارث الطبيعية، وإدارة الموارد.

الصناعة

استنادًا إلى دراسة الاتجاهات العالمية، فإن المعطيات الكبيرة تقدِّم فائدة كبيرة للتصنيع في مجال التحسينات في تخطيط التوريد وجودة المنتج، وتوفر بنية تحتية للصناعة من جهة القدرة على كشف حالات عدم اليقين مثل أداء المكونات غير المتسقة وتوفرها. علمًا بأن التصنيع التنبُّئي – بوصفه نهجًا قابلًا للتطبيق – يتطلَّب قدرًا هائلًا من المعطيات وأدوات التنبؤ المتقدمة لعملية ممنهجة لتحويل المعطيات إلى معلومات مفيدة.

الرعاية الصحية

يمكن استعمال المعطيات الكبيرة في مجال الطب والرعاية الصحية لمعرفة الأمراض، واكتشاف العلاقة بين الأمراض والعقاقير. وتساعد المعطيات الكبيرة الأطباء على تتبع تواريخ مرضاهم، فبمجرد أن يُعالَج المريض يخزَّن اسمه وبياناته كاملة في قاعدة المعطيات بأمان، ويستطيع الطبيب الرجوع إليها والحصول عليها في أي وقت يشاء. أضف إلى ذلك أن عددًا كبيرًا من الأجهزة الطبية ستستفيد من المعطيات الكبيرة.

هذا وقد ساعدت تحليلات المعطيات الكبيرة على تحسين الرعاية الصحية عن طريق توفير الطب الشخصي والتحليلات الإلزامية، والتدخل السريري للمخاطر، والتحليلات التنبُّئية، والرعاية، والتقارير الخارجية والداخلية التلقائية لمعطيات المرضى، والمصطلحات الطبية الموحدة، وسجلات المرضى.

ومع اعتماد تقنيات الصحة الإنجابية والصحة الإلكترونية سيزداد حجم المعطيات، ويشمل ذلك معطيات السجلات الصحية الإلكترونية، ومعطيات التصوير، والمعطيات التي يولدها المريض، ومعطيات أجهزة الاستشعار، وغيرها من المعطيات التي يصعب معالجتها.

وثمة حاجة ماسة الآن إلى الأدوات الذكية في الخدمة الصحية من أجل تحقيق الدقة والتحكم في المصداقية ومعالجة المعلومات.

التعليم

للمعطيات الضخمة تأثير كبير في عالم التعليم، حيث يمكن الاستفادة من تحليلها لتوفير الفرص وتحسين تعلم الطلاب، عن طريق التعلم القائم على الكفاءة. ويمكن أن توفر المعطيات الكبيرة أيضًا أدوات حديثة وفعالة لقياس أداء الطلاب للمهام التعليمية وإنشاء برامج تخصصية وفق احتياجات الطلاب، سيكون لها أثر بالغ في التعليم.

إن مسار التعلم موجود على الإنترنت، ويوجد كذلك عدد من الأمثلة على استعمال المعطيات الكبيرة في التعليم، جنبًا إلى جنب مع التعلم عن طريق الإنترنت. ويجب أن يكون الهدف الشامل للمعطيات الضخمة داخل النظام التعليمي هو تحسين تعليم الطلاب وتحسين تجربة التعلم في الوقت الحقيقي والحد من التسرب وتحسين النتائج.

وسائل الإعلام

يبدو أن الصناعة في عملية الإعلام تبتعد عن النهج التقليدي في استعمال بيئات إعلامية محددة مثل الصحف والمجلات والبرامج التلفزية، وبدلًا من ذلك أصبحت تقنيات الإعلام تصل إلى الأشخاص المستهدفين في الأوقات المثلى وفي المواقع المثلى.

الهدف النهائي هو خدمة (أو نقل رسالة أو محتوى) تتماشى مع عقلية المستهلك؛ فعلى سبيل المثال، تقوم بيئات النشر على نحو متزايد بجذب المستهلكين عن طريق تفصيل رسائل الإعلانات ومحتوى المقالات التي تم الحصول عليها حصريًّا من مختلف أنشطة استخراج المعطيات.

إنترنت الأشياء (IOT)

تعمل المعطيات الكبيرة وإنترنت الأشياء بشكل مشترك، فالمعطيات المستخرجة من أجهزة IoT توفر خرائط للتوصيل البيني للأجهزة، وقد استَعملت الحكومات وشركاتُ الإعلام هذه الخرائطَ بغرض استهداف جمهورها بدقة أكبر ولزيادة كفاءة وسائل الإعلام. أما إنترنت الأشياء فتعدُّ وسيلة لجمع المعطيات الحسية التي تُستعمل في السياقات الطبية والتصنيعية.

يعرف كيفن أشتون (الخبير في الابتكار الرقمي وواضع مصطلح إنترنت الأشياء) هذا المصطلح فيقول: إذا كانت لدينا أجهزة حاسوبية تَعرف كل شيء يجب معرفته عن الأشياء - باستعمال المعطيات التي تجمعها دون أي مساعدة منا - فسنكون قادرين على تتبع كل شيء وحسابه، والحد من الهدر والخسارة والتكلفة، وسنعرف متى تحتاج الأشياء إلى استبدال أو إصلاح أو استدعاء، وهل هي حديثة أم لا.

تقانات المعلومات (IT)

أصبحت المعطيات الكبيرة - وخاصة منذ عام 2015م - بارزة في العمليات التجارية بصفتها أداة لمساعدة الموظفين على العمل بكفاءة أكبر، وعلى تبسيط عملية جمع وتوزيع تقانات المعلومات (IT). يُطلق على استعمال المعطيات الكبيرة لحل مشكلات تقنية المعلومات وجمع المعطيات داخل المؤسسة اسم تحليلات عمليات تقانات المعلومات ITOA)). وبتطبيق مبادئ المعطيات الكبيرة في مفاهيم الذكاء الصنعي والحوسبة العميقة، تستطيع أقسام تقانات المعلومات التنبؤ بالمشاكل المحتملة والانتقال إلى تقديم الحلول قبل حدوث المشاكل.

مجال المصارف والكشف عن الاحتيال

تُستعمل المعطيات الكبيرة كثيرًا في كشف الاحتيال في القطاعات المصرفية؛ فعند تنفيذ المعطيات الكبيرة، تُكتشف جميع أعمال الأذى التي جرت، ويُكشف عن سوء استعمال بطاقات الائتمان، وسوء استعمال بطاقات السحب، وأرشيف مسارات التفتيش، ومعالجة مخاطر الائتمان، ووضوح الأعمال، وتغيير إحصاءات العملاء.

خدمات التأمين

المعطيات الكبيرة هي الأداة التقانية التي تُستعمل في الإنتاج لتقديم رؤى لمشتري السلع، وذلك عن طريق معرفة سلوك المشترين المتنبأ به وعن طريق المعلومات التي يتم الحصول عليها من مواقع الإنترنت؛ ومنها وسائل الإعلام الاجتماعية وفيديو الدوائر التلفزية المغلقة.

ومن أهم هذه الاستعمالات: التأمين على السيارات، حيث يتعين على شركات التأمين تحديد أقساط التأمين عند مستوى يضمن لها ربحًا من تغطية المخاطر، وبحيث تتوافق مع ميزانية الزبون.

لدى العديد من شركات التأمين حاليًّا حزمٌ تعتمد على القياس عن بُعد، حيث يتم إرجاع معلومات القيادة الفعلية إلى ملف تعريف شخصي عالي الدقة لسلوك الزبون الفردي، وباستعمال النمذجة التنبُّئية تستطيع هذه الشركات إجراء تقييم دقيق لاحتمال مشاركة ذلك السائق في حادث، أو سرقة سيارته، وذلك عن طريق مقارنة معطياته السلوكية مع آلاف السائقين الآخرين في قاعدة بياناتهم.

من الأسباب التي تحض الشركات على اعتماد المعطيات الكبيرة:

• الحصول على تصورات فورية من مصادر المعطيات المتنوعة في الوقت المناسب.

• تحسين التحليلات وتحسين أداء الأعمال في الوقت الفعلي.
• إدارة كميات هائلة من المعطيات.
• تقديم أفكار أفضل بمساعدة معطيات غير منظمة وشبه منظمة.
• تخفيف المخاطر واتخاذ قرارات ذكية.

المراجع

http://www.thewindowsclub.com/what-is-big-data

https://intellipaat.com/blog/7-big-data-examples-application-of-big-data-in-real-life

https://en.wikipedia.org/wiki/Big_data#Definition

https://www.bernardmarr.com/default.asp?contentID=766

https://searchdatamanagement.techtarget.com/definition/big-data

https://www.forbes.com/sites/bernardmarr/2015/12/16/how-big-data-is-changing-the-insurance-industry-forever/#5da8211b289b