רשתות שיורית בראיית מחשבים

יישום למידה עמוקה באמצעות Tensorflow ו- Keras

1. הקדמה

רשתות עצביות מתפתחות עמוקות שינו את נוף המחקר באופן משמעותי לסיווג תמונות [1] . ככל שהתווספו רמות נוספות, אקספרסיביות המודל גדלה; הוא הצליח ללמוד ייצוגים מורכבים יותר. בשלב כלשהו, נראה שיש מתאם חיובי בין עומק הרשת לבין דיוק המודל. בדרך הייתה בעיית השיפוע הנעלמת/מתפוצצת שהוחמרה ככל שהרשתות הולכות ומעמיקות. שכבות האתחול והנורמליזציה הבינוניות פתרו בסופו של דבר את הבעיה, והרשתות העמוקות מתחילות להתכנס. עם זאת, במקום ההנמקה האינטואיטיבית לפני הניסויים שאחריהם, הדיוק של הדגמים עם עומק גובר החל להרוות ואז למעשה להתדרדר במהירות. זה לא נבע מהתאמת יתר אלא ממגבלות הפותרים הנוכחיים המשמשים לייעול הדגמים [2] .

תכנון יכולת בג'ירה

בעיית ההתדרדרות נפתרה חלקית על ידי הכנסת רשתות שיורית [2] . הוא הציג גישה שיטתית לשימוש חיבורי קיצור דרך , חיבורים שמדלגים על שכבה אחת או יותר. אלה קשרים קצרים הם פשוט מבצעים מיפוי זהות, והתפוקות שלהם מתווספות לתפוקות השכבות המוערמות (מה שלא מוסיף פרמטרים נוספים או מורכבות חישובית). הרעיון מאחורי זה היה שאם מספר רבדים לא ליניאריים יכולים להשוות אסימפטוטיים פונקציות מסובכות (עדיין נלמדות תיאורטית אך מיסודות ללמידה עמוקה), הדבר יכול לקרות עם פונקציה שיורית. היתרון הוא, שבמקביל, העבודה של הפותרים פשוטה יותר. סוגים אחרים של קשרים נחקרו ב [3] , כגון דילוג על חיבורי קנה מידה, gating ו- 1x1 התפתלויות; עם זאת, מיפוי הזהויות ממשיך להניב את אובדן האימונים הנמוך ביותר.

המשימה שלנו היא לסווג סדרה של תמונות המסומנות. אנו רוצים להשוות את הדיוק של שתי גישות שונות; הראשונה היא רשת עצבית קונבולוציונית קלאסית והשנייה היא רשת שיורית. המטרה שלנו היא להראות את העוצמה של רשתות השימור גם בהגדרות לא כל כך עמוקות. זוהי דרך טובה לעזור לתהליך האופטימיזציה תוך פתרון הבעיה של ההתדרדרות. בדקנו אמפירית את רשת השיורית, והיא הייתה מועדת יותר להתאמת יתר. כדי לפתור בעיה זו, ניפחנו באופן סינטטי את מערך הנתונים שלנו באמצעות אסטרטגיה של הגדלת נתונים.

שוב אנו משתמשים במערך הנתונים של סימפסון [4] . סיננו את מערך הנתונים רק כדי להכיל מחלקות (תווים) שהכילו יותר ממאה תמונות. לאחר הפיצול בין מערכי הנתונים של הרכבת, האימות והבדיקה, גודל הנתונים המתקבל הוא כדלקמן: 12411 תמונות לאימון, 3091 תמונות לאימות ו- 950 לבדיקה.

הקוד והנתונים זמינים גם ב- my GitHub כרגיל.

#למידה עמוקה #ראיית מחשב #רשת שיורית #הגדלת נתונים #tensor

לכיוון dataascience.com