تاريخ التنقيب في البيانات أدى الانتشار الواسع لتكنولوجيا المعلومات وسهولة حصولهم على زيادة استباقية في حجم المعلومات التي لم يتم ملاحظتها من قبل في التاريخ، مما يجعل مسألة البيانات الكبيرة على الإنترنت موضوعا. الجدل من حيث جدوى وجوده بهذه الطريقة العشوائية.
من هناك ظهر ما يسمى بتعدين البيانات كتقنية لاستخراج المعرفة من كميات هائلة من البيانات ، بناءً على الخوارزميات الرياضية ، والتي هي أساس التنقيب عن البيانات وهي مشتقة من العديد من العلوم مثل الإحصاء والرياضيات والمنطق وعلوم التعلم والذكاء الاصطناعي والأنظمة الخبيرة والعلوم. التعرف على الأنماط وعلوم الآلة. وغيرها من العلوم التي تعتبر علوم ذكية غير تقليدية.
ماهو تاريخ التنقيب في البيانات؟
- ظهر التنقيب عن البيانات في أواخر الثمانينيات وأثبت أنه أحد الحلول الفعالة لتحليل كميات هائلة من البيانات ، وتحويلها من مجرد معلومات (بيانات) متراكمة وغير مفهومة إلى معلومات قيمة يمكن استغلالها واستخدامها لاحقًا.
- لقد حظيت مرحلة التنقيب عن البيانات باهتمام كبير في مجتمع البحث على مدار العقد الماضي ، بهدف تطوير خوارزميات قابلة للتطوير وقابلة للتكيف مع كميات متزايدة من البيانات بحثًا عن أنماط معرفية ذات مغزى. نمت حزم الخوارزميات والبرامجيات بشكل هائل على مدار العقد الماضي ، لدرجة أن التوسع جعل من الصعب على العاملين في هذا المجال مواكبة التقنيات المتاحة لحل مهمة معينة.
- استخدام شركات التنقيب؛ لزيادة الإيرادات وتحسين الإنفاق واستهداف عملاء جدد وتوفير خدمة عملاء أفضل والاستماع إلى ما يقوله الآخرون ويفعلونه من خلال الذكاء التنافسي.
- يُطلق عليه أحيانًا اسم “اكتشاف المعرفة” ، ولم يُصاغ مصطلح “التنقيب عن البيانات” حتى التسعينيات. لكن أساسه يتشابك في العديد من التخصصات العلمية: الإحصاء (الدراسة العددية لعلاقات البيانات) ، الذكاء الاصطناعي (ذكاء شبيه بالبشر تعرضه الآلات) ، والتعلم الآلي (الخوارزميات التي تتعلم من البيانات لعمل تنبؤات) والمجال المعرفي للأعمال.
- نتيجة للنمو في هذا المجال ، في عام 1999 بدأت العديد من الشركات الكبيرة العمل معًا لوضع معايير وأشكال رسمية لنهج التنقيب عن البيانات. كانت نتيجة عملهم هي CRISP-DM التي تمثل عملية استخراج البيانات القياسية في الصناعة.
مراحل اكتشاف التنقيب في البيانات
لا يعد اكتشاف المعرفة في قاعدة البيانات (KDD) عملية سهلة ، والتي يقول البعض إنها تنتهي بجمع البيانات وإدارتها ، لكننا نرى أنها ليست عملية سهلة.يعد التنقيب عن البيانات جزءًا من اكتشاف معرفة الاكتشاف مر بعدة مراحل وهي:
1. اكتشاف بيانات
تتضمن مرحلة جمع البيانات اكتشاف وتحديد وتوصيف البيانات المتاحة.
2-تصفية البيانات وتنقية البيانات
يتم في هذه المرحلة إزالة البيانات المزعجة. التي ليس لها اهمية، وحذف جميع البيانات المتضاربة والغير المنسقة.
3 – تكامل البيانات
في هذه المرحلة ، يتم جمع البيانات المتشابهة و يتم جمع البيانات ذات الصلة من مصادر متعددة ودمجها.
4. اختيار البيانات:
في هذه المرحلة ، يتم تحديد واسترجاع. البيانات المناسبة من مجموعة البيانات.
5. تحويل البيانات
في هذه المرحلة ، يتم تحويل البيانات إلى نماذج مخصصة مناسبة لإجراءات البحث والدراسة. ردود الفعل من خلال موضوع النجاح أو عملية التجميع.
6- التنقيب عن البيانات
أي استخدام الأساليب الذكية المطبقة لاستخراج نماذج البيانات واستخراج النماذج المفيدة قدر الإمكان.
7- تقييم النماذج
في هذه المرحلة ، يتم تقيم النماذج المهمة جداً والتي تمثل قاعدة المعرفة من أجل استعمال بعض المقاييس المهمة.
8- عرض وتقديم المعرفة
هذه هي الخطوة الأخيرة لاكتشاف المعرفة في قواعد البيانات ، وهي الخطوة التي يراها المستخدم. تستخدم هذه الخطوة الأساسية الطريقة المرئية لمساعدة المستخدم فهم وتفسير نتائج استخراج البيانات.