רגרסיה לינארית ורגרסיה לוגיסטית הם שני האלגוריתמים המפורסמים של למידת מכונה הנמצאים תחת טכניקת למידה מפוקחת. מכיוון ששני האלגוריתמים הם בעלי אופי מפוקח, לכן אלגוריתמים אלה משתמשים במערך נתונים מסומן כדי לבצע את התחזיות. אבל ההבדל העיקרי ביניהם הוא אופן השימוש בהם. הרגרסיה הליניארית משמשת לפתרון בעיות רגרסיה ואילו רגרסיה לוגיסטית משמשת לפתרון בעיות הסיווג. התיאור של שני האלגוריתמים ניתן להלן יחד עם טבלת הבדלים.

רגרסיה לינארית:

• רגרסיה לינארית הוא אחד מאלגוריתמים הפשוטים ביותר של למידה חישובית שנמצאים תחת טכניקת למידה מפוקחת ומשמש לפתרון בעיות רגרסיה.
• הוא משמש לניבוי המשתנה התלוי הרציף בעזרת משתנים בלתי תלויים.
• המטרה של הרגרסיה הליניארית היא למצוא את קו ההתאמה הטוב ביותר שיכול לחזות במדויק את הפלט עבור המשתנה התלוי הרציף.
• אם נעשה שימוש במשתנה בלתי תלוי בודד לחיזוי אז הוא נקרא Simple Linear Regression ואם יש יותר משני משתנים בלתי תלויים אז רגרסיה כזו נקראת Multiple Linear Regression.
• על ידי מציאת קו ההתאמה הטוב ביותר, האלגוריתם קובע את הקשר בין המשתנה התלוי למשתנה הבלתי תלוי. והקשר צריך להיות בעל אופי ליניארי.
• הפלט עבור רגרסיה לינארית צריך להיות רק הערכים הרציפים כגון מחיר, גיל, משכורת וכו'. ניתן להציג את הקשר בין המשתנה התלוי למשתנה הבלתי תלוי בתמונה למטה:

בתמונה למעלה המשתנה התלוי נמצא על ציר Y (שכר) והמשתנה הבלתי תלוי נמצא על ציר x (ניסיון). ניתן לכתוב את קו הרגרסיה כך:

 y= a<sub>0</sub>+a<sub>1</sub>x+ &#x3B5; 

היכן ש₀וכן א₁הם המקדמים ו-ε הוא מונח השגיאה.

רגרסיה לוגיסטית:

• רגרסיה לוגיסטית היא אחד מאלגוריתמים הפופולריים ביותר של למידת מכונה שמגיעים תחת טכניקות למידה מפוקחת.
• זה יכול לשמש עבור סיווג כמו גם עבור בעיות רגרסיה, אך משמש בעיקר עבור בעיות סיווג.
• רגרסיה לוגיסטית משמשת לניבוי המשתנה התלוי הקטגורי בעזרת משתנים בלתי תלויים.
• הפלט של בעיית רגרסיה לוגיסטית יכול להיות רק בין 0 ל-1.
• ניתן להשתמש ברגרסיה לוגיסטית כאשר ההסתברויות בין שני מחלקות נדרשות. כמו אם יירד גשם היום או לא, או 0 או 1, נכון או לא נכון וכו'.
• רגרסיה לוגיסטית מבוססת על הרעיון של הערכת סבירות מקסימלית. לפי הערכה זו, הנתונים הנצפים צריכים להיות סבירים ביותר.
• ברגרסיה לוגיסטית, אנו מעבירים את הסכום המשוקלל של התשומות דרך פונקציית הפעלה שיכולה למפות ערכים בין 0 ל-1. פונקציית הפעלה כזו ידועה בשם פונקציה סיגמואידית והעקומה המתקבלת נקראת כ- sigmoid curve או S-curve. שקול את התמונה הבאה:

• המשוואה לרגרסיה לוגיסטית היא:

ההבדל בין רגרסיה לינארית ורגרסיה לוגיסטית: