المحاضرة السادسة عشر
الثلاثاء، كانون الأول 2, 2014
11:07 AM
Feed forward ANN Training using error back propagation algorithm:
For layer L=4-1=4
(مداخلة: عندما يكون لدينا هذه الشبكة، احسب تغير الوزن لعصبون الطبقة الأولى:
انتهت المداخلة.)
- كل ما اقتربنا من طبقة الخرج يكون الحد أصغر وأسهل، وكلما اقتربنا من طبقة الدخل يصبح الحد أطول وأصعب.
- طريقة السؤال: ما هي علاقة ضبط الوزن للعصبون __؟
- أهم الشي القوانين في هذه الطريقة.
المدالاين هي حالة خاصة من feed forward
فكرة: لماذا لا ينصح باستخدام توابع تفعيل من النوع ستيب أو ساين step, sign في هذه الشبكة، لأنه عند الاشتقاق بالنسبة لتابع الدخل سنصادف مشكلة ولن تتعدل الأوزان. بينما يمكن استخدام التابع الخطي لأن مشتقه ثابت. (يمكن استخدام الخطي فقط في طبقة الخرج!؟)
يمكن استخدام تابع خطي ميله كبير جدا، بحيث يقترب من شكل تابع الـ step لكن يكون له قيمة عند الاشتقاق.
توابع التفعيل اللاخطية تعمل processing للمعلومات، أما التوابع الخطية فلا تفعل ذلك.
مثال:
أصعب وزن يمكن حسابه هو w_11 الذي يربط بين شعاع الدخل الأول والعصبون الأول في الطبقة m.شعاعين للدخل وثلاث أشعة للخرج.
نبدأ الحل:
But:
Also:
L=3
Provided Linear Activation Function
(مداخلة: في بداية التدريب نفرض قيم ابتدائية عشوائية للأوزان في كل الطبقات، لكن في العادة يعطينا الدكتور بعض القيم الصحيحة للأوزان المدربة وذلك للسهولة.)
نتابع التمرين:
L=2
L=1
نلاحظ أن:
وبالنسبة لبقية المداخل ستكون العلاقة نفسها لكن باختلاف x_1، أي كالتالي:
وهكذا..
رامي قباني 