היפרפרמטרים בלמידת מכונה הם אותם פרמטרים המוגדרים במפורש על ידי המשתמש כדי לשלוט בתהליך הלמידה. היפרפרמטרים אלו משמשים לשיפור הלמידה של המודל, והערכים שלהם נקבעים לפני תחילת תהליך הלמידה של המודל.
בנושא זה, אנו הולכים לדון באחד המושגים החשובים ביותר של למידת מכונה, כלומר היפרפרמטרים, הדוגמאות שלהם, כוונון היפרפרמטרים, קטגוריות של היפרפרמטרים, במה ההיפרפרמטר שונה מפרמטר בלמידת מכונה? אבל לפני שמתחילים, בואו נבין תחילה את ההיפרפרמטר.
מהם היפרפרמטרים?
ב- Machine Learning/Deep Learning, מודל מיוצג על ידי הפרמטרים שלו. לעומת זאת, תהליך אימון כרוך בבחירת ההיפרפרמטרים הטובים/אופטימליים המשמשים על ידי לימוד אלגוריתמים כדי לספק את התוצאה הטובה ביותר. אז מה הם ההיפרפרמטרים האלה? התשובה היא, ' היפרפרמטרים מוגדרים כפרמטרים המוגדרים במפורש על ידי המשתמש כדי לשלוט בתהליך הלמידה.'
כאן הקידומת 'היפר' מרמזת שהפרמטרים הם פרמטרים ברמה העליונה המשמשים בשליטה על תהליך הלמידה. הערך של ההיפרפרמטר נבחר ונקבע על ידי מהנדס למידת מכונה לפני שאלגוריתם הלמידה מתחיל לאמן את המודל. לפיכך, אלה חיצוניים למודל, ולא ניתן לשנות את ערכיהם במהלך תהליך האימון .
מספר ראשוני java
כמה דוגמאות של היפרפרמטרים בלמידת מכונה
- ה-k באלגוריתם kNN או K-Nearest Neighbor
- קצב למידה לאימון רשת עצבית
- יחס פיצול רכבת-מבחן
- גודל אצווה
- מספר תקופות
- סניפים בעץ ההחלטה
- מספר אשכולות באלגוריתם אשכולות
ההבדל בין פרמטר להיפרפרמטר?
תמיד יש בלבול גדול בין פרמטרים להיפרפרמטרים או היפרפרמטרים של מודל. אז, כדי לנקות את הבלבול הזה, בואו נבין את ההבדל בין שניהם וכיצד הם קשורים זה לזה.
פרמטרים של דגם:
פרמטרים של מודל הם משתני תצורה שהם פנימיים למודל, ומודל לומד אותם בעצמו. לדוגמה , W משקלים או מקדמים של משתנים בלתי תלויים במודל הרגרסיה הלינארית . אוֹ משקלים או מקדמים של משתנים בלתי תלויים ב-SVM, משקל והטיות של רשת עצבית, מרכז אשכול ב-Clustering. כמה נקודות מפתח לפרמטרים של המודל הן כדלקמן:
- הם משמשים את המודל לביצוע תחזיות.
- הם נלמדים על ידי המודל מהנתונים עצמם
- אלה בדרך כלל אינם מוגדרים ידנית.
- אלו הם החלק של המודל והמפתח לאלגוריתם למידת מכונה.
היפרפרמטרים של דגם:
היפרפרמטרים הם אותם פרמטרים המוגדרים במפורש על ידי המשתמש כדי לשלוט בתהליך הלמידה. כמה נקודות מפתח לפרמטרים של המודל הן כדלקמן:
- אלה מוגדרים בדרך כלל באופן ידני על ידי מהנדס למידת מכונה.
- לא ניתן לדעת את הערך הטוב ביותר עבור הפרמטרים המדויקים עבור הבעיה הנתונה. הערך הטוב ביותר יכול להיקבע על ידי כלל האצבע או על ידי ניסוי וטעייה.
- כמה דוגמאות של היפרפרמטרים הם קצב הלמידה לאימון רשת עצבית, K באלגוריתם KNN,
קטגוריות של היפרפרמטרים
באופן כללי ניתן לחלק היפרפרמטרים לשתי קטגוריות, המפורטות להלן:
היפרפרמטר לאופטימיזציה
תהליך בחירת הפרמטרים הטובים ביותר לשימוש מכונה כוונון היפרפרמטרים, ותהליך הכוונון ידוע גם כאופטימיזציה של היפרפרמטרים. פרמטרי אופטימיזציה משמשים לאופטימיזציה של המודל.
כמה מפרמטרי האופטימיזציה הפופולריים ניתנים להלן:
הערה: קצב למידה הוא היפרפרמטר קריטי לאופטימיזציה של המודל, כך שאם ישנה דרישה לכוונון היפרפרמטר בודד בלבד, מומלץ לכוון את קצב הלמידה.
היפרפרמטר לדגמים ספציפיים
היפרפרמטרים המעורבים במבנה המודל ידועים כהיפרפרמטרים עבור מודלים ספציפיים. אלה ניתנים להלן:
חשוב לציין את מספר היפרפרמטר היחידות הנסתרות עבור הרשת העצבית. זה צריך להיות בין גודל שכבת הקלט לגודל שכבת הפלט. ליתר דיוק, מספר היחידות הנסתרות צריך להיות 2/3 מגודל שכבת הקלט, בתוספת גודל שכבת הפלט.
עבור פונקציות מורכבות, יש צורך לציין את מספר היחידות הנסתרות, אבל זה לא צריך להתאים את המודל.
סיכום
היפרפרמטרים הם הפרמטרים המוגדרים במפורש לשלוט בתהליך הלמידה לפני החלת אלגוריתם למידת מכונה על מערך נתונים. אלה משמשים לציון יכולת הלמידה והמורכבות של המודל. חלק מפרמטרי ההיפר משמשים לאופטימיזציה של המודלים, כמו גודל אצווה, קצב למידה וכו', וחלקם ספציפיים למודלים, כמו מספר שכבות נסתרות וכו'.