Improving the Performance of the Image Captioning Systems Using a Pre-Classification Stage
| العنوان بلغة أخرى: |
تحسين أداء أنظمة وصف الصور باستخدام مرحلة التصنيف المسبق للصور |
|---|---|
| المصدر: | مجلة العلوم الهندسية وتكنولوجيا المعلومات |
| الناشر: | المركز القومي للبحوث |
| المؤلف الرئيسي: | معلا، رشا محمد (مؤلف) |
| المؤلف الرئيسي (الإنجليزية): | Mualla, Rasha Mohammed |
| مؤلفين آخرين: | الخير، جعفر (م. مشارك) , سليمان، سامر (م. مشارك) |
| المجلد/العدد: | مج6, ع1 |
| محكمة: | نعم |
| الدولة: |
فلسطين |
| التاريخ الميلادي: |
2022
|
| الشهر: | مارس |
| الصفحات: | 150 - 164 |
| ISSN: |
2522-3321 |
| رقم MD: | 1267082 |
| نوع المحتوى: | بحوث ومقالات |
| اللغة: | الإنجليزية |
| قواعد المعلومات: | HumanIndex |
| مواضيع: | |
| كلمات المؤلف المفتاحية: |
التعلم العميق | معالجة اللغات الطبيعية | وصف الصور باللغة الإنكليزية | تصنيف الصور | وصف الصور بتسميات توضيحية | Deep Learning | Natural Language Processing | Arabic Language Image Captioning | English Language Image Captioning | Image Classification | Image Captioning
|
| رابط المحتوى: |
عدد مرات التحميل
8
| المستخلص: |
في هذا البحث قدمنا نظاما جديدا لتصنيف الصور ووصفها عن طريق إضافة طبقة تصنيف قبل نماذج وصف الصور بالتسميات التوضيحية. يتكون النهج المقترح من ثلاث خطوات رئيسية ومستوحاة من أحدث التقنيات التي تعتبر توليد تسميات توضيحية للصور ضمن مجموعات الصور الفرعية الصغيرة المصنفة أفضل منه في مجموعة البيانات الكبيرة غير المصنفة. في الخطوة الأولى، قمنا بتجميع مجموعة بيانات صور من مجموعتي بيانات معياريتين (MS- COCO و Flickr2k) وتتضمن هذه المجموعة 10778 صورة تم تقسيمها إلى 80% للتدريب و20% للتحقق من الصحة. في الخطوة التالية، تم تصنيف صور مجموعة البيانات إلى 11 فئة (10 فئات من الفئات الداخلية والخارجية وفئة واحدة من فئة Null) وتم إدخالها في مصنف يعتمد مبدأ التعلم العميق. يتم إعادة تدريب المصنف مرة أخرى باستخدام أصناف الصور العشرة التي تم تشكيلها، بحيث يتعلم تصنيف كل صورة إلى الفئة المقابلة لها. في الخطوة الأخيرة، يتم استخدام كل صورة مصنفة كمدخلات ل 11 نموذج مصنف ومدرب مسبقا لوصف الصور، بحيث يتم إنشاء جملة التسمية التوضيحية النهائية للصورة. أظهرت التجارب أن إضافة خطوة التصنيف المسبق قبل مرحلة توليد التسميات التوضيحية للصورة تحسن الأداء بشكل ملحوظ بنسبة (8.15% و 8.44%) و (12.7407% و 16.7048%) من حيث معياري Top-1وTop-5 لأنظمة الوصف التي تعتمد اللغة الإنجليزية والعربية على التوالي. حققت خطوة التصنيف معدلات تصنيف حقيقية بلغت 71.32% و73.09% للأنظمة الإنجليزية والعربية على التوالي. In this research, we introduce a novel image classification and captioning system by adding a classification layer before the image captioning models. The suggested approach consists of three main steps and inspired by the state- of- art that generating image captioning inside small sub- classes categories is better than the unclassified large dataset. In the first one, we have collected a dataset of two international datasets (MS- COCO and Flickr2k) including 10778 images in which 80% is used for training and 20% for validation. In the next step, dataset images have been classified into 11 classes (10 classes of indoor and outdoor categories and one class of "Null" category) and fed into a deep learning classifier. The classifier is re- trained again using our classes and learned to classify each image to the corresponding category. At the final step, each classified image is used as input of 11 pre-trained classified image captioning models, and the final captioning sentence is generated. The experiments show that adding the pre- classification step before the image captioning stage improves the performance significantly by (8.15% and 8.44%) and (12.7407% and 16.7048%) for Top- 1 and Top- 5 of English and Arabic systems respectively. The classification step achieves a true classification rate of 71.32% and 73.09% for English and Arabic systems respectively. |
|---|---|
| ISSN: |
2522-3321 |
عناصر مشابهة
-
Image Classification with Deep Convolutional Neural Network Using Tensorflow and Transfer of Learning
بواسطة: علي، أسيل سامي منشور: (2020) -
Multi Stages Chest Diseases Classification Using Convolutional Neural Networks
بواسطة: خنجر، رغد حسام الدين منشور: (2022) -
A Recommender System for Preducting and Improving Student’s Performance Using Educational Data Mining
بواسطة: أبو عامرية، إيلاف محمد منشور: (2017) -
Automatic Classification of Sleep Stages Using EEG Signals and Convolutional Neural Networks
بواسطة: أبو قازان، شروق نايف منشور: (2021) -
NAS-Based CNN Design for Histopathology Image Classification Using NAS Bench-101
بواسطة: ناصر، تسنيم منشور: (2021)
