מבוא

למידת מכונה שינתה רפורמה באופן שבו אנו מעבדים ובוחנים נתונים, ואלגוריתמי עץ ההחלטות הם החלטה מפורסמת למשימות סיווג ורגרסיה. מדד ג'יני, הנקרא אחרת טומאת ג'יני או מקדם ג'יני, הוא מדד טומאה משמעותי המשמש באלגוריתמים של עצי החלטות. במאמר זה, נחקור את הרעיון של אינדקס ג'יני באופן ממצה, את הנוסחה המספרית שלו ואת היישומים שלו בלמידת מכונה. כמו כן, נעמיד את מדד ג'יני ומדדי טומאה אחרים, נדבר על מגבלותיו ויתרונותיו, ונבדוק ניתוחי הקשר של היישומים שלו בעולם האמיתי. סוף סוף, נציג את המיסבים העתידיים למחקר כאן.

מהו מדד ג'יני?

מדד ג'יני הוא חלק של טומאה או אי שוויון בהגדרות סטטיסטיות ומוניטריות. בלמידת מכונה, הוא משמש כמדד טומאה באלגוריתמים של עצי החלטות עבור משימות סיווג. מדד ג'יני מודד את ההסתברות שמבחן שנבחר באקראי יסווגו בצורה שגויה על ידי אלגוריתם עץ החלטות, והערך שלו עובר מ-0 (טהור לחלוטין) ל-1 (לא טהור לחלוטין).

נוסחת אינדקס ג'יני

מדד ג'יני הוא חלק מהטומאה או אי השוויון של מחזור הדם, המשמש באופן קבוע כמדד טומאה באלגוריתמים של עצי החלטה. לגבי עצי החלטה, מדד ג'יני משמש כדי לקבוע את התכונה הטובה ביותר לפצל את הנתונים בכל צומת של העץ.

הנוסחה עבור מדד ג'יני היא לפי הדברים הבאים:

כאשר pi הוא ההסתברות שלדבר יש מקום עם מחלקה מסוימת.

לדוגמה, עלינו לשקול סוגיית סיווג בינארי עם שתי מחלקות An ו-B. אם אין סיכוי שההסתברות של מחלקה An היא p וההסתברות של מחלקה B היא (1-p), אז ניתן לחשב את מדד ג'יני כ :

הערך של מדד ג'יני עובר מ-0.0 ל-0.5 עבור בעיות סיווג בינארי, כאשר 0.0 מדגים צומת טהור לחלוטין (לכל הדוגמאות יש מקום עם מחלקה דומה) ו-0.5 מציג צומת לא טהור לחלוטין (הבדיקות מחולקות באופן שווה בין שתי המחלקות ).

שימוש באינדקס ג'יני בבעיות סיווג

מדד ג'יני משמש בדרך כלל כמדד טומאה באלגוריתמים של עצי החלטות לבעיות סיווג. בעצי החלטה, כל צומת מתייחס לאלמנט, והמטרה היא לפצל את הנתונים לתת-קבוצות שהן בעצם טהורות כפי שניתן לצפות. מדד הטומאה (כמו מדד ג'יני) משמש כדי להחליט על הפיצול הטוב ביותר בכל צומת.

כדי להמחיש זאת, עלינו לשקול דוגמה של עץ החלטות עבור סוגיית סיווג בינארי. לעץ יש שני אלמנטים: גיל והכנסה, והמטרה היא לחזות ללא קשר לשאלה אם אדם כנראה הולך לרכוש פריט. העץ נבנה תוך שימוש במדד ג'יני כמדד הטומאה.

בצומת השורש, מדד ג'יני מחושב בהתחשב בהסתברות שהדוגמאות יקבלו מקום עם מחלקה 0 או מחלקה 1. הצומת מפוצל לאור הרכיב שמגיע לירידה הגבוהה ביותר במדד ג'יני. מחזור זה עובר גיבוב רקורסיבי עבור כל תת-קבוצה עד לעמידה במדד עצירה.

עצי החלטה

עץ החלטות הוא אלגוריתם למידת מכונה ידוע המשמש הן למשימות סיווג והן למשימות רגרסיה. מודל עובד על ידי פיצול רקורסיבי של מערך הנתונים לתת-קבוצות צנועות יותר לאור הערכים של הדגשות המידע, שנקבעו להגביל את הטומאה של קבוצות המשנה הבאות.

בכל צומת של העץ, מתקבלת החלטה בהתחשב בערכים של אחד מדגישי המידע, כשהמטרה הסופית היא שקבוצות המשנה הבאות הן בעצם טהורות כפי שניתן היה לצפות באמת. הטוהר של תת-קבוצה מוערך באופן קבוע על ידי מדד טומאה, למשל, מדד ג'יני או אנטרופיה.

ניתן להשתמש באלגוריתם עץ ההחלטות הן עבור משימות סיווג בינאריות והן עבור משימות סיווג רב-מעמדיות, כמו גם עבור משימות רגרסיה. במשימות סיווג בינארי, עץ ההחלטות מפצל את מערך הנתונים לשתי תת-קבוצות לאור הערך של תכונה בינארית, כמו כן או לא. במשימות סיווג מרובות מחלקות, עץ ההחלטות מפצל את מערך הנתונים למספר קבוצות משנה לאור הערכים של תכונה ישר החוצה, כמו אדום, ירוק או כחול.

מדד ג'יני לעומת מדדי טומאה אחרים

מלבד מדד ג'יני, ישנם מדדי טומאה אחרים המשמשים בדרך כלל באלגוריתמים של עצי החלטה, למשל, אנטרופיה ורווח מידע.

אנטרופיה:

בלמידת מכונה, אנטרופיה היא חלק מהאי-סדירות או הפגיעות בחבורה של נתונים. הוא משמש בדרך כלל כמדד טומאה באלגוריתמים של עצי החלטות, לצד מדד ג'יני.

באלגוריתמים של עץ החלטות, נעשה שימוש באנטרופיה כדי להחליט על הרכיב הטוב ביותר לפצל את הנתונים בכל צומת של העץ. המטרה היא למצוא את האלמנט שמגיע לירידה הגדולה ביותר באנטרופיה, המתייחס לרכיב שנותן הכי הרבה מידע על נושא הסיווג.

בעוד אנטרופיה ומדד ג'יני משמשים שניהם בדרך כלל כמדדי טומאה באלגוריתמים של עצי החלטה, יש להם מאפיינים שונים. האנטרופיה עדינה יותר להפצת שמות המעמדות ובאופן כללי תספק עצים מותאמים יותר, בעוד שמדד ג'יני פחות נוגע לניכוס סימני כיתות ובאופן כללי יצור עצים מוגבלים יותר עם פחות פיצולים. ההחלטה על מידת הטומאה מסתמכת על הנושא המסוים ועל תכונות הנתונים.

רווחי מידע:

רווח מידע הוא פעולה המשמשת להערכת אופי הפיצול בזמן בניית עץ החלטות. המטרה של עץ החלטות היא לפצל את הנתונים לתת-קבוצות שהן בעצם הומוגניות ככל שניתן להעלות על הדעת כמו עבור משתנה המטרה, כך שניתן להשתמש בעץ הבא כדי ליצור ציפיות מדויקות על נתונים חדשים. רווח מידע מודד את הירידה באנטרופיה או בטומאה המושגת על ידי פיצול. התכונה עם רווח המידע הבולט ביותר נבחרה כתכונה הטובה ביותר להתפצל בה בכל צומת של עץ ההחלטות.

רווח מידע הוא מדד המעורב בדרך כלל להערכת אופי הפיצולים בעצי החלטה, אך הוא אינו המדד שבו יש להתמקד. כמו כן, ניתן להשתמש במדדים שונים, למשל, מדד ג'יני או שיעור סיווג שגוי. ההחלטה על פיצול בסיס מסתמכת על הנושא העיקרי ועל התכונות של מערך הנתונים בשימוש.

דוגמה לאינדקס ג'יני

עלינו לשקול סוגיית סיווג בינארי שבה יש לנו מערך נתונים של 10 דוגמאות עם שתי מחלקות: 'חיובי' ו'שלילי'. מתוך 10 הדוגמאות, ל-6 יש מקום עם הכיתה 'חיובית' ול-4 יש מקום עם הכיתה 'שלילית'.

כדי לחשב את מדד Gini של מערך הנתונים, אנו מחשבים תחילה את ההסתברות של כל מחלקה:

p_1 = 6/10 = 0.6 (חיובי)

p_2 = 4/10 = 0.4 (שלילי)

לאחר מכן, בשלב זה, אנו משתמשים בנוסחת אינדקס ג'יני כדי לחשב את הטומאה של מערך הנתונים:

Gini(S) = 1 - (p_1^2 + p_2^2)

= 1 - (0.6^2 + 0.4^2)

= 0.48

אז, מדד ג'יני של מערך הנתונים הוא 0.48.

כעת נניח שעלינו לפצל את מערך הנתונים על אלמנט 'X' שיש לו שני ערכים פוטנציאליים: 'A' ו-'B'. אנו מחלקים את מערך הנתונים לשתי קבוצות משנה לאור הרכיב:

תת-קבוצה 1 (X = A): 4 חיובי, 1 שלילי

תת-קבוצה 2 (X = B): 2 חיובי, 3 שלילי

כדי לחשב את הירידה במדד ג'יני עבור פיצול זה, אנו מחשבים תחילה את מדד הג'יני של כל תת-קבוצה:

Gini(S_1) = 1 - (4/5)^2 - (1/5)^2 = 0.32

Gini(S_2) = 1 - (2/5)^2 - (3/5)^2 = 0.48

לאחר מכן, אנו משתמשים בנוסחת רווח המידע כדי לחשב את הירידה במדד ג'יני:

IG(S, X) = Gini(S) - ((5/10 * Gini(S_1)) + (5/10 * Gini(S_2)))

= 0.48 - ((0.5 * 0.32) + (0.5 * 0.48))

= 0.08

אז, רווח המידע (כלומר, ירידה במדד ג'יני) עבור פיצול מערך הנתונים על סימון 'X' הוא 0.08.

במצב זה, במקרה שנחשב את רווח המידע עבור כל האלמנטים ונבחר את זה עם רווח המידע הבולט ביותר, רכיב זה ייבחר כרכיב הטוב ביותר להתפצל עליו בצומת השורש של עץ ההחלטות.

יתרונות:

מדד ג'יני הוא מדד המעורב באופן נרחב להערכת אופי הפיצולים בעצי החלטה, והוא נהנה מכמה ידיים על מדדים שונים, למשל, אנטרופיה או שיעור סיווג שגוי. להלן חלק מהיתרונות העיקריים של השימוש במדד ג'יני:

שור מול שור

יעיל מבחינה חישובית: מדד ג'יני הוא מדד פחות מורכב ומהיר יותר מבחינה חישובית לעומת מדדים שונים, למשל, אנטרופיה, הכוללת חישוב לוגריתמים.

פרשנות אינטואיטיבית: מדד ג'יני הוא פשוט ומפרש. הוא מודד את ההסתברות לכך שדוגמה שנבחרה באופן אקראי מקבוצה תסווג באופן שגוי במקרה שהיא סומנה באופן אקראי בהתאם להעברת הכיתה בקבוצה.

טוב לסיווג בינארי: מדד Gini חזק במיוחד עבור בעיות סיווג בינארי, כאשר למשתנה האובייקטיבי יש רק שתי מחלקות. במקרים כאלה, ידוע כי מדד ג'יני יציב יותר ממדדים שונים.

חוסר איזון חזק למעמד: מדד ג'יני פחות עדין לחוסר איזון כיתתי לעומת מדדים שונים, למשל, דיוק או שיעור סיווג שגוי. זאת בטענה שמדד ג'יני תלוי בהיקפים הכלליים של דוגמאות בכל מחלקה בניגוד למספרים הגמורים.

פחות נוטה להתאמת יתר: מדד ג'יני יעשה באופן כללי עצי החלטה צנועים יותר לעומת מדדים שונים, מה שהופך אותו לפחות נוטה להתאמות יתר. זאת בטענה שמדד ג'יני יעדיף באופן כללי מאפיינים שמרכיבים חבילות צנועות יותר של הנתונים, מה שמפחית את האפשרויות להתאים יתר על המידה.

חסרונות:

בעוד שמדד ג'יני נהנה מכמה יתרונות כמדד פיצול לעצי החלטה, יש לו גם כמה חסרונות. להלן חלק מהחסרונות העיקריים של השימוש באינדקס ג'יני:

הטיה לתכונות עם קטגוריות רבות: אינדקס ג'יני יפנה באופן כללי לתכונות עם קטגוריות או ערכים רבים, מכיוון שהם יכולים לבצע יותר פיצולים וחבילות של הנתונים. זה יכול לעורר התאמת יתר ועץ החלטות מסובך יותר.

לא טוב למשתנים מתמשכים: אינדקס ג'יני אינו מתאים למשתנים רציפים, מכיוון שהוא מצריך דיסקרטציה של המשתנה לקטגוריות או פחים, מה שעלול לגרום לאובדן מידע ודיוק מופחת.

מתעלם מאינטראקציות של תכונה: מדד ג'יני רק חושב על הכוח הנחוש של כל תכונה ומתעלם מאינטראקציות בין תכונות. זה יכול לעורר פיצולים גרועים ותחזיות פחות מדויקות.

לא אידיאלי עבור מערכי נתונים מסוימים: לפעמים, ייתכן שמדד ג'יני אינו המדד האידיאלי להערכת אופי הפיצולים בעץ ההחלטות. לדוגמה, במקרה שהמשתנה האובייקטיבי נוטה בצורה יוצאת דופן או לא מאוזן, מדדים שונים, למשל, רווח מידע או פרופורציית רווח עשויים להיות מתאימים יותר.

נוטה להטיה בנוכחות ערכים חסרים: מדד ג'יני יכול להיות מוטה בנוכחות ערכים חסרים, מכיוון שהוא בדרך כלל ייטה לתכונות עם פחות ערכים חסרים, ללא קשר לשאלה אם הם לא הכי אינפורמטיביים.

יישומים בעולם האמיתי של אינדקס ג'יני

מדד ג'יני נוצל ביישומים שונים בלמידת מכונה, למשל, מיקום סחיטה, ניקוד אשראי וחלוקת לקוחות. לדוגמה, בגילוי סחיטה, ניתן להשתמש במדד ג'יני כדי להבחין בין עיצובים בהחלפת נתונים ולזהות דרך התנהגות מוזרה. בניקוד האשראי, ניתן להשתמש במדד ג'יני כדי לחזות את ההסתברות למחדל בהתחשב במשתנים כמו הכנסה, הקשר בין החוב הקיים לתשלום הבית, ורישום החזר ההלוואה. בחלוקת לקוחות ניתן לנצל את מדד ג'יני לצרור לקוחות לאור דרך ההתנהגות והנטיות שלהם.

מחקר עתידי

למרות השימוש הבלתי מוגבל שלו באלגוריתמים של עצי החלטות, עדיין יש תואר למחקר על מדד ג'יני. תחום מחקר אחד הוא קידום אמצעי טומאה חדשים שיכולים לתת מענה למגבלות של מדד ג'יני, כמו נטייתו לגורמים בעלי רמות רבות. תחום מחקר אחד נוסף הוא ייעול האלגוריתמים של עצי החלטה תוך שימוש במדד ג'יני, למשל, ניצול טכניקות תלבושות לעבודה על דיוק עצי החלטה.

סיכום

מדד ג'יני הוא מדד טומאה משמעותי המשמש באלגוריתמים של עצי החלטות עבור משימות סיווג. הוא מודד את ההסתברות שמבחן שנבחר באקראי יסווגו בצורה שגויה על ידי אלגוריתם עץ החלטות, והערך שלו עובר מ-0 (טהור לחלוטין) ל-1 (לא טהור לחלוטין). מדד ג'יני הוא פשוט וביצועי, פרודוקטיבי מבחינה חישובית, ועוצמתי עד חריגים. הוא נוצל ביישומים שונים בלמידת מכונה, למשל, גילוי מצג שווא, ניקוד אשראי וחלוקת לקוחות. בעוד שלמדד ג'יני יש כמה מגבלות, עדיין יש מידה למחקר על שיפורו ושיפורו של אמצעי טומאה חדשים.