دانلود مقاله بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا

اختصاصی از فی گوو دانلود مقاله بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا دانلود با لینک مستقیم و پر سرعت .

مشخصات این فایل
عنوان: بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا
فرمت فایل : word( قابل ویرایش)
تعداد صفحات: 24

این مقاله درمورد بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا می باشد.

خلاصه آنچه در مقاله بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا می خوانید :

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه  ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.
از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:
در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای  XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR
- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.
در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد،  بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.
به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در              لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد یعنی ti = 1، لیکن به خاطر انتخاب بر مقادیر اولیه، ai = -1 گردد. در این حالت خطای حداکثر را داریم در حالی که چون ai ≈ 0               می باشد تغییرات ناچیزی در پارامترهای متناظر با نرون i ام داریم. این چیزی است که بیانگر رسیدن زودتر از معمول نرونها به حد اشباع خود می باشند، جایی که پاسخ واقعی با پاسخ شبکه کاملاً فرق دارد و زمان زیادی طول خواهد کشید که نرون از این حالت خارج شود. از این رو با پیشرفت پروسه یادگیری، پارامترهای منتسب به نرورنهایی که به مرز اشباع نرسیده اند، سریعتر تنظیم می شوند، چرا که سیگنال خطار گرادیانهای محلی از مقدار از اندازه بزرگتری برخوردار می باشند. این عمل منجر به کاهش در مجموع مربعات خطای لحظه ای             می گردد و اگر در این مرحله، نرونهای به حد اشباع رسیده تغییری در وضعیت تحریکشان رخ ندهد، شبکه برای مدتی طولانی از یک شکل هموار منحنی خطا برخوردار خواهدبود.
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
- الگوریتم BP از نوع دسته ای1 (BBP)
الگوریتم استاندارد BP، بر اساس فرم الگو به الگو است، بدین ترتیب که پارامترهای شبکه پس از ارائه هریک از الگوهای یادگیری که عموماً بطور تصادفی انتخاب می شوند، تنظیم می گردند، اما در الگوریتم BBP، تنظیم پارامترهای شبکه پس از اعمال تمامی ورودی ها صورت می پذیرد. پردازش دسته ای موجب می شود که گرادیانهای محلی به گرادیان محلی واقعی نزدیکتر باشند و نهایتاً الگوریتم BP به الگوریتم بیشترین نزول نزدیکتر گردد که این خود موجب می شود همگرایی الگوریتم BP افزایش یابد.
در شکل زیر مسئله XOR با متد الگوریتم BP به فرم دسته ای پیاده شده است. به راحتی می توان دید که الگوریتم BBP از سرعت همگرایی بالاتری به الگوریتم SBP برخوردار است....

بخشی از فهرست مطالب مقاله بهبود سرعت یادگیری شبکه های عصبی چند لایه با الگوریتم پس انتشار خطا

مقدمه
خلاصه ای از الگوریتم BP
فرمول بندی الگوریتم BP
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
- الگوریتم BP از نوع دسته ای1 (BBP)
- روش ممنتم 1 برای الگوریتم BP (MBP)
1. Momentum
- نرخ یادگیری متغیر1 (VLR)
- الگوریتم پس انتشار خطا با نرخ یادگیری و ضریب ممنتم تطبیقی1 (BPALM)
2- الگوریتم پس انتشار خطا با سه ترم
آنالیز همگرایی
- الگوریتم پس انتشار خطای بهبود پذیر1 (Rprop)
نتیجه گیری
مراجع