اختزال البيانات واستراتيجياته المتنوعة

مفهوم اختزال البيانات

إن تحليل وتنقيب كميات هائلة من البيانات يمكن أن يستلزم وقتًا وجهدًا كبيرًا، وهو ما يجعل منها عملية غير قابلة للتطبيق العملي أو غير ممكنة، وتساعد تقنيات اختزال البيانات أو اختصار البيانات في الحصول على تمثيل أقل لها يمكن أن يكون أصغر كثيرًا في الحجم مع الحفاظ على خصائص البيانات الأصلية.

وبذلك فإن تنقيب البيانات المختصرة سيكون أكثر كفاءة ويعطي نتائج شبيهة إلى حد كبير بنتائج تحليل وتنقيب البيانات الأصلية.

سوف نستعرض في هذا الجزء استراتيجيات اختزال البيانات المتنوعة مع شرح مفصل لتقنياتها.

استراتيجيات اختزال البيانات

ويمكن شرح وتبسيط هذه الاستراتيجيات بالتفصيل كما يلي:

1. اختصار الأبعاد أو اختصار المتغيرات

قد تحتوي قاعدة البيانات محل التحليل والتنقيب على عدد كبير من الحقول (المتغيرات أو السمات)، والتي قد يكون معظمها غير ذات أهمية بالنسبة للمسألة محل البحث أو الدراسة.

مثلا إذا كانت المهمة في أحد شركات بيع الأجهزة الإلكترونية هي تصنيف الزبائن من حيث ما إذا كانوا سيُقبلون على شراء منتج جديد أو لا من خلال تحليل البيانات التاريخية لمشترياتهم من الشركة، فإن حقل مثل “رقم الهاتف” في قواعد البيانات، وهو رقم الهاتف الخاص بالزبون، لن يكون ذا أهمية تُذكر في هذه المهمة، بينما يكون حقل “العمر” أو “مستوى الدخل” له أهمية كبيرة.

وبالرغم من ذلك فإنه قد تكون هناك بعض الحقول المُبهمة التي يصعب تقدير مدى أهميتها بالنسبة لمسألة البحث، إلاّ أن تراكم الخبرة لدى المحللين يجعلهم قادرين على استبعاد الحقول غير المهمة والإبقاء على الحقول المهمة والمفيدة وذلك بحسب احتياجات التحليل والأهداف المرجوة منه.

مثال على اختزال البيانات بطريقة الاختصار

مثلا، في قاعدة بيانات أحد المراكز التجارية، إذا كان كل الزبائن في الفرع هم من سكان نفس المنطقة التي يقع فيها الفرع، فإن حقل الفرع وحقل المنطقة يمثلان بيانات متشابهة تقريبًا، وبالتالي يمكن استخدام أسلوب اختصار الأبعاد (بالإنجليزية: Attributes Reduction) لاختصار أحدهما والتركيز على الآخر عند القيام بتحليل وتنقيب البيانات.

مثلا: من دمج قاعدة بيانات الفرع (ل) والفرع (م) لدينا:

وحيث أن ل تناظر س، م تناظر ص، فإنه يمكن اختصار البيانات في الجدول الأول لتصبح كما في الجدول الثاني أعلاه.

2. الاختصارات الرقمية بطريقة التوزيع التكراري للفئات

وهي تقنية من تقنيات التحليل الإحصائي للبيانات، ويتم فيها اختزال البيانات عن طريق التعبير عن قيم البيانات الأصلية بطريقة التوزيع التكراري للفئات المستخدمة في التحليل الإحصائي، بحيث يتم تمثيلها بطريقة مختصرة وأصغر حجمًا من طريقة التوزيع التكراري الاعتيادية، كما يتم التعبير عنها باستخدام الرسم البياني.

مثلا، في قاعدة بيانات مبيعات أحد المراكز التجارية، نفرض أنه لدينا مجموعة من المنتجات المباعة خلال فترة زمنية معينة وكانت أسعارها كما يلي، مرتبة ترتيبًا تصاعديًا:

1، 1، 5، 5، 5، 5، 5، 8، 8، 10، 10، 10، 10، 12، 14، 14، 14، 15، 15، 15، 15، 15، 15، 18، 18، 18، 18، 18، 18، 18، 18، 20، 20، 20، 20، 20، 20، 21، 21، 21، 21، 25، 25، 25، 25، 25، 28، 28، 30، 30، 30

فإنه يمكن تمثيل هذه البيانات بطريقة التوزيع التكراري بالشكل أو الرسم البياني التالي:

ثم تتم عملية الاختصار من خلال تجميع التكرارات في ثلاثة فئات لقيمة المتغير “سعر المنتج”، وهي على الترتيب (من1 إلى 10)، (من 11 إلى 20)، (من 21 إلى 30)، بحيث تقع ضمنها كل القيم التي ظهرت في قاعدة البيانات، فيتم بذلك اختصار البيانات بدلا من وجود عدد كبير من الأسعار التي تعبر عنها، ويصبح الشكل البياني الجديد والمبسط كما يلي:

3. تقنية التحليل العنقودي أو التجزئة العنقودية للبيانات

تقنية التحليل العنقودي أو التجزئة العنقودية (بالإنجليزية: Clustering) هي طريقة لتجزئة البيانات في حالة استهداف تحليل وتنقيب مجموعات منها أو من أجل اختزالها وتبسيطها وإظهار دلالات معينة لها من خلال التجزئة، ويتم في هذه التقنية تجزئة مجموعة البيانات الأصلية إلى مجموعات فرعية تحتوي كل منها على عناصر متشابهة فيما بينها ومختلفة عن عناصر المجموعات الفرعية الأخرى. والتشابه بين العناصر في كل مجموعة يتم تعريفه بأنه مدى التقارب فيما بينها من حيث المسافة التي تفصلها عن بعضها البعض أو عن مركز المجموعة.

وتُستخدم تقنية التحليل العنقودي كطريقة من طرق اختزال البيانات من أجل إتاحة الفرصة للتركيز على مجموعات فرعية منها ودراستها وتحليلها بشكل منفرد، أو من أجل مقارنتها معًا واستكشاف دلالات معينة قد تكون مهمة لأهداف متنوعة.

مثلا، يمكن تجزئة بيانات أحد الشركات إلى مجموعات من البيانات الخاصة بكل فرع من فروع الشركة، من أجل مقارنتها أو من أجل القيام بعمليات التحليل وتنقيب البيانات لكل فرع على حدة، فيتم تجزئة قاعدة البيانات الأصلية لهذا الغرض.

ويُلاحظ أن تقنية التحليل العنقودية تمثل عملية عكسية لعملية الدمج.

4. العينة الإحصائية العشوائية

العينة الإحصائية العشوائية (بالإنجليزية: Random Sample) هي أحد طرق اختيار العينات في البحث العلمي، وهي طريقة في اختزال البيانات تعتمد نفس الأسلوب المستخدم في البحث العلمي، ويتم من خلالها اختيار عينة من البيانات لتحليلها أو تنقيبها، وذلك بحسب الاحتياج، بحيث يتم اختزال كميات البيانات الضخمة بكمية صغيرة ومحدودة منها والمتمثلة بالعينة الإحصائية.

ويكثر استخدام هذه الطريقة عند الر