دانلود پروسه ارزیابی یک الگوریتم ژنتیک برای بهبود شبكه پس انتشار خطا bpn در فایل ورد (word)

چکیده:

بسیاری از بررسی ها یك رشته بیت را با استفاده از الگوریتم  ژنتیك به منظور بیان ساختار شبکه نگاشت داده اند تا كارایی شبكه های پس انتشار خطا را بهبود بخشند. زیرا محدودیت ها در تكنیك های جستجوی گرادیان كه برای مسائل بهینه سازی غیر خطی پیچیده استفاده می شدند،اغلب كارایی متناقض و غیر قابل پیش بینی را نتیجه داده اند.این مقاله برروی چگونگی جمع آوری و ارزیابی مجدد ماتریس های وزن bpn تمركز دارد، در حالیكه عملگرهای الگوریتم ژنتیك در هر نسل به منظور بهینه سازی ماتریس های وزن پردازش می شوند. در این روش over fitting، یك اشكال از bpn هاست كه معمولا در طول مرحله بعد ازآموزش  شبكه عصبی با نزول خطای آموزش و افزایش خطای پیش بینی اتفاق می افتد ، قابل حذف شدن می باشد .این مقاله هم چنین، پارامترها و توپولوژی شبكه عصبی را در جهت افزایش امكان پذیری اجرای فضای جواب برای مسائل غیرخطی پیچیده  توسعه می دهد.

مقدمه:
مدل های شبكه عصبی مصنوعی (ANN ) به طور گسترده در كاربردهای متفاوتی استفاده شده اند. شبكه های پس انتشار خطا ، پركاربردترین مورد استفاده در شبكه های عصبی مصنوعی،برای حل تعداد زیادی از مسائل واقعی بكار گرفته شده است.
در سال های اخیر بسیاری از الگوریتم های  یادگیری به طور گسترده ای به منظور آموزش شبكه های عصبی برای حل مسائل پیچیده غیر خطی طراحی شده و توسعه یافته اند. یكی از نقص ها ی اساسی در شبكه های عصبی جاری این است كه تحقیق و پژوهش وابسته به طراحی شبكه عصبی می باشد.طراحی یك شبكه عصبی شامل انتخاب یك مجموعه بهینه از پارامتر ها ی طراحی می باشدنحقخ تا همگرایی سریع را در طول آموزش و دقت مورد نیاز را هنگام فراخوانی بدست آورد.
محققان به طور معمول شبكه های عصبی با   BPN را بسیار آموزش داده اند.
دقت هر تقریب آموزش بستگی به انتخاب وزن های مناسب برای شبكه عصبی دارد.متاسفانه bp یك الگوریتم جستجوی محلی است. بنابراین موجب واقع شدن در تله می نیمم محلی می شود .اگر وزن های اولیه در یك شیب محلی واقع شود ، الگوریتم احتمالا در یك بهینه محلی قرار خواهد گرفت .محققان از روش های متفاوتی استفاده می كنند تا این ویژگی ها یbp  را تنظیم كنند.
 برای مثال در یک روش الگوریتم می تواند تنظیم شود تا مومنتم را تغییر دهد به طوریكه جستجو از بهینه محلی خارج شود و به سمت راه حل عمومی حركت كند .مقادیر صحیح این پارامتر ها قیاسی و عمومی نمی باشند و اغلب برای یك مسئله خاص هستند .بنابراین برای هر مسئله داده شده تعداد زیادی از پارامترها باید آزمایش شوند تا اطمینان پیدا كنند كه بهینه عمومی پیدا شده است .

روش عمومی دیگر برای پیدا كردن بهترین راه حل (شاید بهینه عمومی ) با استفاده از bp  این است كه آموزش دوباره از بسیاری از نقاط رندم شروع شود.دوباره تعداد نقاط شروع رندم مشخص نمی باشد و عموما به طور قابل توجهی برای مسائل پیچیده متفاوت می باشد.
روش سوم این است كه ساختار شبكه عصبی بازسازی شود در چنین روشی احتمال رسیدن به بهینه عمومی بسیار زیاد می باشد .هر چند در این روش تخمین پذیرفته شده ای عمومی وجود ندارد و محققان روش های متفاوت دیگری را ترجیح می دهند .
یكی از معقول ترین روش ها ،استفاده از الگوریتم ژنتیك به منظور پیدا كردن یك ساختار بالقوه  برای استفاده از bp می باشد .هر چه ساختار شبكه ساده تر باشد و پیچیدگی كمتری داشته باشد ، الگوریتم bp با احتمال بیشتری موفق می شود.

در این رویكرد اگر چه شبكه عصبی به طور فزاینده ای شكست می خورد ولی روش توانایی مدل كردن ارتباطات پیچیده را نیز دارد .
Bpn ها در عین محدودیت داشتن،هنگامیكه از تكنیك جستجوی گرادیان استفاده می كنند مشكل سرعت پایین همگرایی در رسیدن به جواب را دارا می باشند.

بنابراین یك bpn دارای دو اشكال عمده به شرح زیر است :
1.تكنیك جستجوی گرادیان به یك جواب بهینه با كارایی متناقض و غیر قابل پیش بینی برای بعضی از كاربردها همگرا می شود.
2.هنگامیكه در بعضی نواحی در مینیمم محلی واقع می شودتكنیك جستجوی گرادیان به طور ضعیفی دربدست آوردن یك جواب بهینه عمومی عمل می كند.

عمده ترین مسئله در طول پروسه آموزش شبكه عصبی احتمال 1OF در داده های آموزش می باشد.بدین معنا كه در طول یك دوره آموزش معین شبكه ،قابلیت حل مسائل توسط آن بهتر نمی شود.OF همچنین هنگامی اتفاق می افتد كه شبكه عصبی دارای درجات آزادی بیشترنسبت به حالتی است  كه می توانست به وسیله نمونه های آموزشی تحمیل شود.OF معمولا در طول مرحله بعد از آموزش شبكه عصبی با كاهش خطای آ‌موزش وافزایش خطای پیش بینی رخ می دهد . بنابراین در توانایی عمومیت دادن یك شبكه بسیار ضعیف می باشد .OF داده های آموزش مخصوصا در شبكه هایی با یك لایه مخفی معمول می باشد .آموزش در یك مینیمم محلی متوقف می شود كه به نتایج غیر موثر منجر می شود و یك تناسب سازی ضعیف از مدل را نشان می دهد .بهترین روش برای كاهش وزن ها در Riply,1993)) پیشنهاد شده بود تا از چنین OF دوری نماید .
در بررسی (Schittenk 1997)  شبكه پس انتشار خطا روی مجموعه داده نشان داده شده موجب OF شد كه بعد از تعداد تكرار مشخصی در مرحله آموزش شروع شد .دو استراتژی ارائه شدند تا مقدار اطلاعات انتقال داده شده را به وسیله یك شبكه feed forward،رو به جلو، كه در آنالیز مولفه اصلی (PCA) استفاده شده بود محدود كنند .در 1997 zhang  و همکارانش نشان دادند كه OF همچنین هنگامیكه تقریب چند جمله ای های مرتبه بالا برای مناسب سازی تعداد كمی از نقاط استفاده شده بود اتفاق می افتد . در مقاله آنها یك شبكه عصبی بكار برده شده بود تا فلورانس داده ها را از یك سیستم تحمیلی چند مولفه ای به منظور انتخاب ساختاری بهینه مدل كند ،شبكه از یك  الگوریتم پیشنهادی هرس نود پنهان (HNPA) نیز استفاده می نمود .

با توجه به این موارد بهبود همگرایی bpn  و دوری از OF  داده ها در طی آموزش هر دو خیلی مهم هستند.

 الگوریتم ژنتیك
 
الگوریتم ژنتیك متعلق به كلاسی از الگوریتم های جستجوی تصادفی بر پایه جمعیت می باشدكه الهام گرفته از فرضیه تكامل تدریجی كه به صورت الگوریتم های تكاملی (EA) نامیده می شوند .دیگر الگوریتم های این كلاس شامل استراتژی های تكاملی (ES) و برنامه نویسی های ژنتیك (GP) می باشد.

GA یك روش جستجوی عمومی است كه از یك جمعیت از راه حل ها به دیگری جستجو می كند . برای مسائل محدود [4] و برای مسائل پیچیده ، الگوریتم ژنتیك (GA) به طور استثنائی هنگام بهینه سازی توابع غیر خطی مشكل ،در بدست آوردن راه حل عمومی به گونه ای مناسب عمل می نماید.آنها هم چنین در [5],[7] اثبات كردند كه GA نیز در بهینه سازی شبكه عصبی دارای كارایی بالاست .
به طور كلی الگوریتم با انتخاب تصادفی یك جمعیت اولیه از راه حل های ممكن آغاز می شود .این جمعیت ، نسل اول است كه الگوریتم ژنتیك در آن ،راه حل بهینه را جستجو می كند .مقدار جمعیت اولیه 50 در نظر گرفته شده است .بنابراین برای یك الگوریتم ژنتیك مورد آموزش ، 50 مجموعه از وزن ها ، در هر نسل ارزیابی می شود .بر خلاف bp  كه از یك نقطه به نقطه ای دیگر حركت می كند ،GA فضای وزن را از یك مجموعه از وزن ها به مجموعه ای دیگر ، به طور همزمان در بسیاری از جهت ها جستجو می كند .این احتمال یافتن بهینه عمومی را افزایش می دهد .برای هر یك از راه حل ها ، تابع ارزیاب محاسبه می شود .در این مقاله مجموع مربعات خطا به عنوان تابع هدف مورد استفاده قرار می گیرد كه با bp سازگار می شود .یك احتمال به هر راه حل بر پایه مقدار تابع هدف آن اختصاص داده می شود .به عنوان مثال راه حل هایی كه كمترین مقدار مجموع مربعات خطا را دارند ، بیشترین احتمال را به خود اختصاص می دهند و بدین نحونسل اول كامل می شود.نسل دوم به وسیله انتخاب تصادفی یك جمعیت جدید ایجاد می شود .50 راه حل با جایگذاری انتخاب می شوند  چنانچه راه حل های خوب ، احتمال بیشتری دارند تا در جمعیت جدید نمایش داده شوند و بر عكس راه حل های ضعیف حذف خواهند شد،این بازتولید نامیده می شود.به عبارت دیگر ویژگی های مطلوب تر در بهینه سازی تابع هدف ،دوباره ساخته خواهند شد و در نسل ها ی بعد پیشرفت می كنند در حالیكه صفات ضعیفتر حذف می شوند..این جمعیت جدید از راه حل ها به صورت رندم به دو راه حل بهتر با مقدار تابع ارزیاب كمتر ، میزان خطای كمتر انتخاب می شوند و با توجه به احتمال ادغام عمل ادغام صورت می پذیرد. دوراه حل ممكن فرزند را تولید می كنند كه هر یك با بعضی از پارامتر ها (وزن ها) را  از راه حل های والد دارا هستند . سر انجام هر راه حل یك احتمال كوچك دارد هر یك از وزن ها های آن ممكن  است به طور یكنواخت  با یك مقدار انتخاب شده از محدوده پارامتر جایگزین شود (جهش).این مجموعه نتایج از راه حل ها اكنون یك جمعیت جدید یا نسل بعدی می باشد و پروسه تكرار می شود .این پروسه ادامه می یابد تا هنگامیكه جمعیت اولیه به صورت نسلی  رشد كند كه بهترین مسئله بهینه سازی ,بهینه مطلوب , را تولید كند.

الگوریتم ژنتیک به طور گسترده در شبکه های  عصبی مصنوعی استفاده شده است . كاربرد الگوریتم های ژنتیك برای شبكه های عصبی در دو گروه مجزا تقسیم می شوند .
اول - الگوریتم های ژنتیك برای پیدا كردن معماری بهینه شبكه برای اهداف خاص استفاده می شود .در این روش معماری های متفاوت شبكه به صورت ماتریس های اتصال نمایش داده می شوند كه مستقیما در یك رشته بیت نگاشت یافته اند .آنگاه عملگرهای استاندارد ژنتیك استفاده می شوند تا روی جمعیتی از این رشته بیت ها عمل كنند تا پی در پی سطوح ارزیابی بالاتری را تولید نمایند .
دوم – دیدگاه دوم بهینه سازی شبكه عصبی با استفاده از الگوریتم  ژنتیك برای جستجو می باشد .این پژوهش نیز بر پایه این دیدگاه می باشد .این روش از نمایش باینری وزن ها استفاده می كند .در مقاله جاری ،همه وزن ها به صورت اعداد اعشاری در الگوریتم ژنتیك نمایش داده می شوندو به طور متوسط در دستیابی به راه حل های بهینه موفق شناخته شده است .الگوریتم های ژنتیک بهینه سازی کارایی bpn ، پارامتر ها و توپولوژی شبكه را تنظیم و تایید می كنند .چندین مقاله كارایی بهینه سازی bpn  بدست آمده مبتنی بر GA را با bpn  متداول مقایسه نموده اند .
در مطالعاتی دیگر (Arena, Capponetto,Fortuna 1992 , maniezzo 1994  ,sexton 1998)
  GA ها استفاده می شوند تا ساختار شبكه بهینه را برای هدف مشخصی پیدا كنند .
بیشتر این مطالعات بر پایه تكنیك جستجوی گرادیان می باشند تا اتصال مقادیر وزن را در مدل دست آورند .هر چند ضررهای قرار گرفتن در یك می نیمم محلی و كارایی نامتناقض و غیر قابل پیش بینی نمی تواند حذف شود .بسیاری از مطالعات قبلی صحت پیش بینی برجسته ای راایجاد نمی كردند كه این مورد تا حدی به دلیل ناتوانی پیدا نمودن نتایج سازگار بوده است .دلیل دیگر ممكن است همگرایی محلی در تكنیك جستجوی گرادیان باشد.
در 1998 sextone  و همكارانش, یكی از امید بخش ترین راه حل های استفاده از یك الگوریتم جستجوی عمومی را ارائه دادند تا مقادیر وزن راه حل ها را ازساختار یك شبكه عصبی ثابت به طور مستقیم پیدا كنند.آنها از الگوریتم ها ی ژنتیك برای پیدا كردن مقایر وزن به طور مستقیم استفاده كردند و نشان دادند كه این راه حل ها از روش های معمول مورد استفاده بهتر است  .این مطالعات به طور مستقیم روی مقادیر وزن تمركز داشته تا كارایی نتایج را تشخیص دهد .البته آنها bpn ها را با یك مدل توپولوژی ثابت شبكه ارزیابی كردند.اگر چه توانایی تنظیم پارامتر ها و توپولوژی bpn در طول پروسه بهینه سازی بسیار مهم است ,یك ساختار ثابت ممكن است فضای جستجو را برای راه حل های ممكن محدود كند .

 به منظور بررسی كامل خاصیت مقادیر باید دانست هنگامیكه الگوریتم های ژنتیك اعمال می شود ،همانند مطالعه sextone و همكارانش ، آنگاه نیاز به بیت هایی در یك زیر رشته به طور چشمگیری افزایش می یابد زیرا مقادیر وزن توپولوژی به صورت اعداد اعشاری نمایش داده می شوند .هر ارتباط بین نرون ها در لایه های مختلف از شبكه یك زیر  رشته را نیاز دارد .بنابراین زیر رشته ای طولانی, كه به یك رشته الگوریتم ژنتیك باینری (كروموزوم) برای نگاشت ساختار شبكه عصبی توسعه داده شده نیازمند است, به وجود خواهد آمد، كه این رشته طولانی موجب ایجاد مشكلاتی می گردد.
دراین مطالعه تاثیرات نامناسب و اشكالات OF در bpn بررسی شده اند .یك پروسه ارزیابی الگوریتم ژنتیك استفاده می شود تا تاثیرات آن را اندازه گیری كند و طرحی قوی از آزمایشات را بهبود بخشد.هر نسل GA ارزیابی شده و غربال می شوند تا دو روش بهتر bpn  را با استفاده از ماتریس های وزن توپولوژی bpn  تولید كند .بنابراین این مجموعه ماتریس های وزن غربال شده دوباره ارزیابی می شوند و با داده های آموزش دیگر  مقایسه می شوند . مقاله حاضر ,مقالات قبلی را بر پایه تنظیم پویا پارامتر ها تكمیل نموده و توپولوژی bpn  را گسترش می دهد تا فضا ی جستجوی راه حل های امكان پذیر را در جهت بهبود احتمال فرار از تله محلی توسعه دهد . بعضی فاكتورها مانند محدوده وزن های اولیه ،نرخ یادگیری و مومنتم می توانند شدیدا روی توانایی جستجوی راه حل یك bpn  تاثیر گذاشته و بهینه سازی آنها می تواند موجب بهبود احتمال یافتن راه حل بهینه عمومی گردد.برای مثال اگر به صورت رندم مقادیر وزن رسم شده روی یك شی سراسری قرار گرفته باشند،الگوریتم از واقع شدن در بهینه محلی اجتناب می ورزد . در نتیجه این فاكتورها ، متغیرهای تصمیم در مقاله جاری ،با هدف بهینه سازی bpn  خواهند بود.

فضای راه حل به وسیله تنظیم فاكتور های مهم bpn مانند محدوده وزن های اولیه ،تعداد نرون ها در لایه اول ، تعداد نرون ها در لایه دوم و تعداد نرون ها در لایه سوم به صورت پویا جستجو می شود.

مراجع

[1]  David, J., Montana Neural Network Weight Selection Using Genetic Algorithm. Bolt Beranek and Newman Inc.70      Fawcett Street, Cambridge, MA 02138
[2]  Randall S. Sexton, Robert E. Dorsey, and John D. Johnson, optimization of neural networks:Acomparison of the genetic algorithm and backpropagation. Decision Support Systems,1998, 22, 171–185.
[3]   David, W. Coit and  Alice, E. Smith,Using a Neural Network as a Function Evaluator During GA Search for Reliability Optimization.  Department of Industrial Engineering, University of Pittsburgh, Pittsburgh, PA 15261.
[4]  H. Altun and T. Yalcinoz, Comparison of Genetic Algorithm, Hopfield and Mlp Neural Network Techniques for a Constrained Optimization Problem. Dept of Electrical & Electronic Eng., Nigde University, Nigde 51100.[5]  Zhengjun, L., Changyao, W., Aixia, L. and  Zheng, N., Evolving Neural Network Using Real Coded Genetic Algorithm(GA) for Multispectral Image Classification.LARSIS, the Institute of Remote Sensing Applications, Chinese Academy of Sciences, Beijing 100101, China.
[6]  Chien-Yu, H., Long-Hui Ch., Yueh-Li Ch., Fengming M. Ch., Evaluating the process of a genetic algorithm to improve
the back-propagation network:A Monte Carlo study. in Expert Systems with Applications. 2008.
 
[7]  Dale Addison, J. F., Stefan Wermter, Garen Z. A., A Comparison of Feature Extraction and Selection Techniques. 2005.
[8]  Shujuan, L.,Yan, L., Yong, L., Yuefei, X., A GA-based NN approach for makespan estimation. Applied Mathematics and Computation. 2007.
[9]  Chang, P.C., and Wang, Y.W., Fuzzy Delphi and back-propagation model for sales forecasting in PCB industry. Expert Systems with Applications, 2006, 30, 715–726.

[10]  Gracia, J. D., Saravia, M. L. M. F. S., Araujo, A. N., Lima, J. L. F. C., Valle, M. D., and Poch, M., Evaluation of natural computation techniques in the modeling and optimization of a sequential injection flow system for colorimetric iron (III) determination. Analytica Chimica Acta, 2006, 348, 143–150....