Spark-Based Solution of Large Linear Systems for Big Data Processing
| العنوان بلغة أخرى: |
حل مبني على Spark للأنظمة الخطية الكبيرة لمعالجة البيانات الضخمة |
|---|---|
| المؤلف الرئيسي: | الفارسي، صالحة محمد عيسى (مؤلف) |
| مؤلفين آخرين: | Alzeidi, Nasser M. (Advisor), Touzene, Abderezak (Advisor), Day, Khaled (Advisor) |
| التاريخ الميلادي: |
2020
|
| موقع: | مسقط |
| الصفحات: | 1 - 53 |
| رقم MD: | 1191173 |
| نوع المحتوى: | رسائل جامعية |
| اللغة: | الإنجليزية |
| الدرجة العلمية: | رسالة ماجستير |
| الجامعة: | جامعة السلطان قابوس |
| الكلية: | كلية العلوم |
| الدولة: | عمان |
| قواعد المعلومات: | Dissertations |
| مواضيع: | |
| رابط المحتوى: |
عدد مرات التحميل
43
| المستخلص: |
البيانات الضخمة عبارة عن مجموعة من البيانات الكبيرة التي لا يمكن معالجتها باستخدام طرق إدارة البيانات التقليدية. من أجل معالجة هذه الكميات الكبيرة من البيانات بطريقة فعالة، يتم استخدام التوازي. يتطلب حجم البيانات الضخمة وتنوعها وتعقيدها بنى وتقنيات حوسبة متوازية جديدة. من بين أطر الحوسبة المتوازية، يتيح Spark المعالجة المتوازية للبيانات على مجموعات من أجهزة الحاسوب دون الحاجة إلى التعامل مع تصميم معقد لتنفيذ البرامج الموازية. Spark هي تقنية حوسبة جماعية فعالة في الذاكرة توفر قابلية تطوير عالية وقدرات تحمل الأخطاء. علاوة على ذلك، فإنه يكمن من التعامل بشكل أفضل مع المهام التكرارية نتيجة لقراءة البيانات وكتابتها من الذاكرة (باستخدام ميزة التخزين المؤقت لـ Spark من خلال التكرارات) بدلا من القراءة والكتابة من القرص. هناك حاجة إلى حل أنظمة كبيرة جدا من المعادلات الخطية في العديد من التطبيقات. هناك العديد من الطرق المعروفة لحل مثل هذه الأنظمة الكبيرة من المعادلات الخطية بما في ذلك طريقة Jacobi. تم استخدام هذه الطريقة التكرارية لحل أنظمة المعادلات الخطية بآلاف المتغيرات في مجالات مختلفة مثل مجال التعلم الآلي وعلوم المناخ. بالمقارنة مع الأطر الأخرى مثل Hadoop، تقدم Spark وعدا بالقدرة على حل الأنظمة الخطية واسعة النطاق بكفاءة باستخدام الأساليب التكرارية (مثل Jacobi) نظرا لميزة استمرار البيانات/ التخزين المؤقت. في هذا المشروع وضعنا هذه الفرضية على المحك من خلال تطبيق طريقة Jacobi لحل أنظمة كبيرة من المعادلات الخطية باستخدام Spark على مجموعة من أجهزة الكمبيوتر وتقيم أدائها. الهدف هو إظهار فعالية Spark في حل مشاكل البيانات الضخمة المهمة في بيئة النظم الموزعة. تظهر نتائج تقييم الأداء أن طريقة Jacobi على Spark يمكن أن تحقق تسريعا خطيا فائقا نظرا لقدرة مجموعة Spark على تخزين كميات كبيرة من البيانات مؤقتا عبر عقد الكتلة. تكشف النتائج أيضا أن Jacobi على Spark يحقق تسريعا وكفاءة أعلى بشكل كبير لمصفوفات كبيرة جدا (بحجم 4000 أو أعلى). تتقارن نتائجنا بشكل إيجابي مع النتائج التي تم الحصول عليها في المشاريع الأخرى التي نفذت طرقا تكرارية على Hadoop. حققت طريقة Jacobi على Spark كفاءة أعلى بكثير (7 مرات) من طريقة Jacobi على Hadoop MapReduce لحجم المصفوفة الكبيرة بسبب ميزة التخزين المؤقت التى تقدمها Spark والتي لا تتوفر لدى Hadoop MapReduce. |
|---|
عناصر مشابهة
-
Specification of parallel processing using production system
بواسطة: Gazaly, Mohammed منشور: (1982) -
A high performance parallel classifier for large-scale Arabic text
بواسطة: Abu Tair, Mohammed M. منشور: (2013) -
Using High Performance Computing In 3d Design
بواسطة: Ahmed, Noha منشور: (2012) -
Designing Parallel Algorithms for Parallel System
بواسطة: Al-Khafaji, Israa M. Abdalameer منشور: (2018) -
Représentation de Fonctionnement des Système par Structures D’événements
بواسطة: Mahammedi, Rebiha منشور: (2020)
