Clustering Big Data Based On IWC-PSO and MapReduce
| العنوان بلغة أخرى: |
عنقدة البيانات الكبيرة بالاعتماد على خوارزميات تحسين الأداء والحوسبة الموزعة |
|---|---|
| المؤلف الرئيسي: | سكيك، احمد زكريا ابراهيم (مؤلف) |
| مؤلفين آخرين: | عاشور، وسام محمود (مشرف) |
| التاريخ الميلادي: |
2018
|
| موقع: | غزة |
| التاريخ الهجري: | 1439 |
| الصفحات: | 1 - 52 |
| رقم MD: | 1009955 |
| نوع المحتوى: | رسائل جامعية |
| اللغة: | الإنجليزية |
| الدرجة العلمية: | رسالة ماجستير |
| الجامعة: | الجامعة الإسلامية (غزة) |
| الكلية: | كلية الهندسة |
| الدولة: | فلسطين |
| قواعد المعلومات: | Dissertations |
| مواضيع: | |
| رابط المحتوى: |
| المستخلص: |
يعتبر علم البيانات من حيث دراستها وتحليلها والتنقيب فيها واستنباط المعلومات المخفية بداخلها من أشهر العلوم في الوقت الراهن، خصوصا بعد ظهور وانتشار البيانات الضخمة في مختلف مناحي الحياة وتنوع أساليب تجميعها ومعالجتها، حيث تقوم الخوارزميات الحديثة وباستخدام تقنيات تعليم الآلية والذكاء الاصطناعي بجمع وتصنيف كل صغيرة وكبيرة في معظم المجالات الحيوية. في مجال الطب مثلا، يتم دراسة وتجميع كل حركات وصفات وبيانات الخلايا الحيوية وتمييز الخلايا المصابة والسليمة ومحاولة التنبؤ والتشخيص المبكر للكثير من الأمراض بناء على المعلومات التي يتم استنباطها واستقراءها من النتائج. بالإضافة لمجال الطلب يدخل علم ودراسة البيانات الضخمة في كثير من تفاصيل ومجالات العلوم المختلفة. أيضا فإن دراسة وتحليل ما يتم نشره عبر وسائل التواصل الاجتماعي المختلفة من بيانات وصور وأحداث ومنشورات ومحادثات قد ساهم بشكل فعلي وكبير في الكثير من القرارات الاقتصادية والسياسية للدول الكبيرة وقد أثر بشكل كبير على نتائج الانتخابات مثلا في بعض الدول أيضا. ولإدارة عملية التنقيب ومعالجة البيانات فإنه يتم استخدام العديد من الخوارزميات والأنظمة التي من شأنها دراسة وتحليل وتصنيف وعنقدة هذه البيانات وفق معايير يتم ضبطها من قبل المهندسين والخبراء للوصول إلى نتائج مرضية وبجودة عالية. من أشهر هذه الخوارزميات هي خوارزميات الشبكات العصبونية وشجرة القرارات والعنقدة المبنية على أنماط وصفات معينة للبيانات مثل خوارزمية K-Means والنسخة المعدلة منها Inverse Weighted Clustering. تقترح هذه الرسالة، خوارزمية هجينة جديدة، تعمل على معالجة وعنقدة البيانات الكبيرة وتقترح حلولا لبعض المشاكل الموجودة في الخوارزميات السابقة. حيث تعمل الخوارزمية المقترحة على استغلال نقاط القوة في خوارزمية Inverse Weighted Clustering من حيث إيجاد مراكز العناقيد والمجموعات المطلوبة بسرعة وكفاءة عالية ودمجها مع خوارزمية تحسين الأداء المشهورة Particle Swarm Optimization في تسريع وتحسين النتائج من خلال تقليل مساحات البحث وحجم البيانات المطلوب معالجتها للعثور على النتائج المرجوة. كذلك تضمن هذا البحث استخدام هذه الخوارزمية في نطاق بيئة عمل خاصة بالأنظمة الموزعة والمتوازية، حيث تم استخدام معايير Map/Reduce وباستخدام محرك Apache Spark للاستفادة القصوى من عملية تخفيض الأحمال وموارد الأجهزة الخاصة بعملية معالجة البيانات الضخمة، لما يتطلبه الحجم الهائل من هذه البيانات- التي قد تصل في كثير من الأحيان إلى أكثر من بليون سجل- من مواصفات وأجهزة حاسوبية عالية الموارد ومعالجات فائقة السرعة. النتائج العملية الموضحة والمرفقة في هذا البحث والتي تم تشمل نتائج أكثر من 80 تجربة عملية، تؤكد على أنه يمكن الاعتماد على هذه الخوارزمية بشكل كامل في معالجة وعنقدة البيانات الكبيرة بكفاءة وسرعة وجودة عالية جدا مقارنة مع النتائج التي ظهرت مع تجريب النماذج والأنظمة السابقة والتقليدية. |
|---|
عناصر مشابهة
-
Verification and Validation of Big Data Using Mapreduce Based PK-Means Algorithm
بواسطة: ملحم، نذير عبدالقادر أسعد منشور: (2022) -
Big Data Analysis Using Hybrid Harris Hawks Optimizer and Mapreduce Framework
بواسطة: البشابشه، محمد قاسم منشور: (2021) -
A Design and Implementation of a Clustering Algorithm Based on the Nearest Point
بواسطة: قدورة، رنيم نديم محمد منشور: (2019) -
Plateforme Bi Basée Mapreduce pour Big Data Management: Application au Sein de L’ensp
بواسطة: Zemmouri, Mohamed منشور: (2019) -
A Novel Framework to Secure Schema for Data Warehouse in Cloud Computing: Force Encryption Schema Solution
بواسطة: أحمد، معد إبراهيم منشور: (2021)
