PyTorch מספק את מודול torch.nn כדי לעזור לנו ביצירה והדרכה של הרשת העצבית. תחילה נאמן את הרשת העצבית הבסיסית במערך הנתונים של MNIST מבלי להשתמש בתכונות כלשהן מהמודלים הללו. נשתמש רק בפונקציונליות הטנזור הבסיסית של PyTorch ואז נוסיף בהדרגה תכונה אחת מ-torch.nn בכל פעם.

torch.nn מספקים לנו עוד שיעורים ומודולים רבים ליישום והדרכה של הרשת העצבית.

חבילת nn מכילה את המודולים והמחלקות הבאים:

כן לא	מחלקה ומודול	תיאור
1.	לפיד.nn.פרמטר	זהו סוג של טנזור שיש להתייחס אליו כפרמטר מודול.
2.	מיכלים
1) לפיד.nn.מודול	זהו מחלקה בסיסית לכל מודול הרשתות העצבית.
2) torch.nn.Sequential	זהו מיכל רציף שבו מודולים יתווספו באותו סדר כפי שהם מועברים בבנאי.
3) torch.nn.ModuleList	זה יכיל תת-מודולים ברשימה.
4) torch.nn.ModuleDict	זה יכיל תת-מודולים בספרייה.
5) torch.nn.ParameterList	זה יחזיק את הפרמטרים ברשימה.
6) torch.nn.parameterDict	זה יחזיק את הפרמטרים בספרייה.
3.	שכבות קונבולציה
1) torch.nn.Conv1d	חבילה זו תשמש להחלת פיתול 1D על אות כניסה המורכב מכמה מישורי כניסה.
2) torch.nn.Conv2d	חבילה זו תשמש להחלת פיתול דו-ממדי על אות כניסה המורכב מכמה מישורי כניסה.
3) torch.nn.Conv3d	חבילה זו תשמש להחלת פיתול תלת מימד על אות כניסה המורכב מכמה מישורי כניסה.
4) torch.nn.ConvTranspose1d	חבילה זו תשמש להחלת אופרטור קונבולוציית 1D בטרנספוזיציה על תמונת קלט המורכבת מכמה מישורי קלט.
5) torch.nn.ConvTranspose2d	חבילה זו תשמש להחלת אופרטור קונבולוציון דו-ממדי על תמונת קלט המורכבת מכמה מישורי קלט.
6) torch.nn.ConvTranspose3d	חבילה זו תשמש להחלת אופרטור קונבולציה תלת מימדית על תמונת קלט המורכבת מכמה מישורי קלט.
7) לפיד.nn.נפרש	הוא משמש לחילוץ בלוקים מקומיים מחליקים מטנזור קלט אצווה.
8) לפיד.nn.קיפול	הוא משמש לשילוב מערך של בלוקים מקומיים הזזה לתוך טנזור גדול המכיל.
4.	איגום שכבות
1) torch.nn.MaxPool1d	הוא משמש להחלת 1D max pooling על אות קלט המורכב מכמה מישורי קלט.
2) torch.nn.MaxPool2d	הוא משמש להחלת 2D max pooling על אות קלט המורכב מכמה מישורי קלט.
3) torch.nn.MaxPool3d	הוא משמש להחלת 3D max pooling על אות קלט המורכב מכמה מישורי קלט.
4) torch.nn.MaxUnpool1d	הוא משמש לחישוב היפוך החלקי של MaxPool1d.
5) torch.nn.MaxUnpool2d	הוא משמש לחישוב היפוך החלקי של MaxPool2d.
6) torch.nn.MaxUnpool3d	הוא משמש לחישוב ההיפוך החלקי של MaxPool3d.
7) torch.nn.AvgPool1d	הוא משמש להחלת איגוד ממוצע 1D על אות קלט המורכב מכמה מישורי קלט.
8) torch.nn.AvgPool2d	הוא משמש להחלת איגוד ממוצע דו-ממדי על אות כניסה המורכב מכמה מישורי כניסה.
9) torch.nn.AvgPool3d	הוא משמש להחלת איגום ממוצע תלת מימדי על אות קלט המורכב מכמה מישורי קלט.
10) torch.nn.FractionalMaxPool2d	הוא משמש להחלת איסוף מקסימלי חלקי דו-ממדי על אות כניסה המורכב מכמה מישורי כניסה.
11) torch.nn.LPPool1d	הוא משמש להחלת איגוד ממוצע הספק 1D על אות כניסה המורכב מכמה מישורי כניסה.
12) torch.nn.LPPool2d	הוא משמש להחלת איגוד ממוצע הספק דו-ממדי על אות כניסה המורכב מכמה מישורי כניסה.
13) torch.nn.AdavtiveMaxPool1d	הוא משמש להחלת איגוד מקסימלי אדפטיבי 1D על אות כניסה המורכב מכמה מישורי כניסה.
14) torch.nn.AdavtiveMaxPool2d	הוא משמש להחלת איגום מקסימלי אדפטיבי דו-ממדי על אות כניסה המורכב מכמה מישורי כניסה.
15) torch.nn.AdavtiveMaxPool3d	הוא משמש להחלת איסוף מקסימלי אדפטיבי בתלת מימד על אות כניסה המורכב מכמה מישורי כניסה.
16) torch.nn.AdavtiveAvgPool1d	הוא משמש להחלת איגום ממוצע אדפטיבי 1D על פני אות כניסה המורכב מכמה מישורי כניסה.
17) torch.nn.AdavtiveAvgPool2d	הוא משמש להחלת איגום ממוצע אדפטיבי דו-ממדי על פני אות כניסה המורכב מכמה מישורי כניסה.
18) torch.nn.AdavtiveAvgPool3d	הוא משמש להחלת איגום ממוצע אדפטיבי בתלת מימד על פני אות כניסה המורכב מכמה מישורי כניסה.
5.	שכבות ריפוד
1) torch.nn.ReflectionPad1d	זה ירפד את טנזור הקלט באמצעות השתקפות של גבול הקלט.
2) torch.nn.ReflactionPad2d	זה ירפד את טנזור הקלט באמצעות השתקפות של גבול הקלט.
3) torch.nn.ReplicationPad1	זה ירפד את טנזור הקלט באמצעות שכפול של גבול הקלט.
4) torch.nn.ReplicationPad2d	זה ירפד את טנזור הקלט באמצעות שכפול של גבול הקלט.
5) torch.nn.ReplicationPad3d	זה ירפד את טנזור הקלט באמצעות שכפול של גבול הקלט.
6) torch.nn.ZeroPad2d	זה ירפד את גבולות טנזור הקלט באפס.
7) torch.nn.ConstantPad1d	זה ירפד את גבולות טנזור הקלט עם ערך קבוע.
8) torch.nn.ConstantPad2d	זה ירפד את גבולות טנזור הקלט עם ערך קבוע.
9) torch.nn.ConstantPad3d	זה ירפד את גבולות טנזור הקלט עם ערך קבוע.
6.	הפעלות לא ליניאריות (סכום משוקלל, לא ליניאריות)
1) לפיד.nn.ELU	זה ישתמש כדי להחיל את הפונקציה מבחינה אלמנט: ELU(x)=max(0,x)+min(0,α*(exp(x)-1))
2) לפיד.nn.Hardshrink	זה ישתמש כדי להחיל את פונקציית הצטמקות קשה מבחינה אלמנטית:
3) torch.nn.LeakyReLU	זה ישתמש כדי להחיל את הפונקציה מבחינה אלמנט: LeakyReLu(x)=max(0,x) +slope_negative*min(0,x)
4) torch.nn.LogSigmoid	זה ישתמש כדי להחיל את הפונקציה מבחינה אלמנט:
5) לפיד.nn.MultiheadAttention	הוא משמש כדי לאפשר למודל לטפל במידע מתתי מרחבי ייצוג שונים
6) torch.nn.PReLU	הוא ישמש ליישום הפונקציה מבחינת האלמנט: PReLU(x)=max(0,x)+a*min(0,x)
7) torch.nn.ReLU	זה ישתמש כדי להחיל את פונקציית היחידה הליניארית המתוקנת מבחינה אלמנטית: ReLU(x)=max(0,x)
8) torch.nn.ReLU6	הוא ישמש ליישום הפונקציה מבחינת האלמנט: ReLU6(x)=min(max(0,x),6)
9) לפיד.nn.RReLU	זה ישמש כדי ליישם את פונקציית היחידה הלינארית המתוקנת הדולפת באקראי, מבחינה אלמנטית, כמתואר במאמר:
10) לפיד.nn.SELU	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ: SELU(x)=scale*(max(0,x)+ min(0,a*(exp(x)-1))) כאן α= 1.6732632423543772848170429916717 וקנה מידה = 1.0507009873554804934193349852946.
11) torch.nn.TARGET	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ:
12) לפיד.nn.סיגמואיד	זה ישתמש כדי להחיל את הפונקציה מבחינה אלמנטית כ:
13) torch.nn.Softplus	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ:
14) לפיד.nn.Softshrink	זה ישתמש כדי להחיל את פונקציית הצטמקות רכה באופן יסודי כמו:
15) לפיד.nn.Softsign	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ:
16) torch.nn.Tanh	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ:
17) torch.nn.Tanhhrink	זה ישתמש כדי ליישם את הפונקציה מבחינה אלמנטית כ: Tanhhrink(x)=x-Tanh(x)
18) לפיד.nn.סף	זה ישתמש בסף סף של כל רכיב של Tensor הקלט. סף מוגדר כ:
7.	הפעלות לא ליניאריות (אחר)
1) torch.nn.Softmin	הוא משמש להחלת הפונקציה softmin על קלט n-ממדי Tensor כדי לשנות את קנה המידה שלהם. לאחר מכן, האלמנטים של הפלט ה-n-ממדי Tensor נמצאים בטווח 0, 1 וסכום ל-1. Softmin מוגדר כ:
2) לפיד.nn.Softmax	הוא משמש להחלת הפונקציה softmax על קלט n-ממדי Tensor כדי לשנות את קנה המידה שלהם. לאחר מכן, האלמנטים של הפלט ה-n-ממדי Tensor נמצאים בטווח 0, 1 וסכום עד 1. Softmax מוגדר כ:
3) torch.nn.Softmax2d	הוא משמש להחלת SoftMax על תכונות על כל מיקום מרחבי.
4) torch.nn.LogSoftmax	הוא משמש להחלת פונקציית LogSoftmax על Tensor קלט n-ממדי. ניתן להגדיר את הפונקציה LofSoftmax כ:
5) torch.nn.AdaptiveLogSoftmaxWithLoss	זוהי אסטרטגיה לאימון מודלים עם חללי פלט גדולים. זה יעיל מאוד כאשר חלוקת התווית מאוד לא מאוזנת
8.	שכבות נורמליזציה
1) torch.nn.BatchNorm1d	הוא משמש להחלת נורמליזציה של אצווה על כניסות דו-ממדיות או תלת-ממדיות.
2) torch.nn.BatchNorm2d	הוא משמש להחלת נורמליזציה של אצווה על פני 4D.
3) torch.nn.BatchNorm3d	הוא משמש להחלת נורמליזציה של אצווה על כניסות 5D.
4) torch.nn.GroupNorm	הוא משמש להחלת נורמליזציה קבוצתית על מיני-אצט של תשומות.
5) torch.nn.SyncBatchNorm	הוא משמש להחלת נורמליזציה של אצווה על כניסות N-ממדיות.
6) torch.nn.InstanceNorm1d	הוא משמש להחלת נרמול מופע על פני קלט תלת מימד.
7) torch.nn.InstanceNorm2d	הוא משמש להחלת נרמול מופע על פני קלט 4D.
8) torch.nn.InstanceNorm3d	הוא משמש להחלת נורמליזציה של מופע על פני קלט 5D.
9) torch.nn.LayerNorm	הוא משמש להחלת נורמליזציה של שכבות על מיני-אצט של כניסות.
10) torch.nn.LocalResponseNorm	הוא משמש להחלת נורמליזציה של תגובה מקומית על פני אות כניסה המורכב מכמה מישורי כניסה, כאשר הערוץ תופס את הממד השני.
9.	שכבות חוזרות
1) לפיד.nn.RNN	הוא משמש להחלת Elman RNN רב שכבתי עם tanh או ReLU לא ליניאריות על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט: חט=tanh(Wאוֹתָםאיקסט+באוֹתָם+Wחחטt-1+בחח)
2) torch.nn.LSTM	הוא משמש להחלת זיכרון רב-שכבתי לטווח קצר ארוך (LSTM) RNN על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט:
3) torch.nn.GRU	הוא משמש להחלת RNN של יחידה משוגרת רב-שכבתית (GRU) על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט:
4) torch.nn.RNNCell	הוא משמש להחלת תא Elman RNN עם tanh או ReLU לא-לינאריות על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט: h'=tanh(Wאוֹתָםx+bאוֹתָם+Wחחh+bחח) ReLU משמש במקום tanh
5) torch.nn.LSTMcell	הוא משמש להחלת תא זיכרון לטווח קצר (LSTM) על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט: כאשר σ הוא הפונקציה הסיגמואידית, ו-* הוא המוצר של Hadamard.
6) torch.nn.GRUCell	הוא משמש להחלת תא יחידה חוזרת (GRU) על רצף קלט. כל שכבה מחשבת את הפונקציה הבאה עבור כל אלמנט ברצף הקלט:
10.	שכבות ליניאריות
1) לפיד.nn.זהות	זהו אופרטור זהות מציין מיקום שאינו רגיש לטיעונים.
2) לפיד.nn.לינארית	הוא משמש להחלת טרנספורמציה ליניארית על הנתונים הנכנסים: y=xAט+ב
3) לפיד.nn.ביליניארי	הוא משמש להחלת טרנספורמציה בילינארית על הנתונים הנכנסים: y=x1גַרזֶן2+ב
אחד עשר.	שכבות נשירה
1) לפיד.nn.נשירה	הוא משמש להסדרה ומניעה של הסתגלות משותפת של נוירונים. גורם של במהלך האימון מקדים את התפוקה. זה אומר שהמודול מחשב פונקציית זהות במהלך ההערכה.
2) torch.nn.Dropout2d	אם פיקסלים סמוכים בתוך מפות תכונות מתואמים, אז torch.nn.Dropout לא יסדיר את ההפעלות, וזה יקטין את קצב הלמידה האפקטיבי. במקרה זה, torch.nn.Dropout2d() משמש לקידום עצמאות בין מפות תכונה.
3) torch.nn.Dropout3d	אם פיקסלים סמוכים בתוך מפות תכונות מתואמים, אז torch.nn.Dropout לא יסדיר את ההפעלות, וזה יקטין את קצב הלמידה האפקטיבי. במקרה זה, torch.nn.Dropout2d () משמש לקידום עצמאות בין מפות תכונה.
4) torch.nn.AlphaDropout	הוא משמש להחלת Alpha Dropout על הקלט. Alpha Dropout הוא סוג של Dropout ששומר על תכונת הנרמול העצמי.
12.	שכבות דלילות
1) לפיד.nn.הטבעה	הוא משמש לאחסון הטמעת מילים ולאחזר אותן באמצעות מדדים. הקלט למודול הוא רשימה של מדדים, והפלט הוא הטבעת המילה המתאימה.
2) torch.nn.EmbeddingBag	הוא משמש לחישוב סכומים או ממוצע של 'שקיות' של הטבעה מבלי להפעיל את הטבעת הביניים.
13.	פונקציית מרחק
1) לפיד.nn.CosineSimilarity	זה יחזיר את הדמיון הקוסינוס בין x1 ל-x2, מחושב לאורך עמום.
2) torch.nn.PairwiseDistance	הוא מחשב את המרחק הזוגי של אצווה בין וקטורים v1, v2 באמצעות נורמת p:
14.	פונקציית הפסד
1) לפיד.nn.L1Loss	הוא משמש לקריטריון המודד את השגיאה המוחלטת הממוצעת בין כל אלמנט בקלט x לבין היעד y. ניתן לתאר את ההפסד הבלתי מופחת כך: l(x,y)=L={l1,...,לנ},לנ=|xנ-ונ|, כאשר N הוא גודל האצווה.
2) torch.nn.MSEloss	הוא משמש לקריטריון המודד את השגיאה הממוצעת בריבוע בין כל אלמנט בקלט x לבין היעד y. ניתן לתאר את ההפסד הבלתי מופחת כך: l(x,y)=L={l1,...,לנ},לנ=(xנ-ונ)2, כאשר N הוא גודל האצווה.
3) torch.nn.CrossEntropyLoss	קריטריון זה משלב את nn.LogSoftmax() ו-nn.NLLLoss() במחלקה אחת. זה מועיל כאשר אנו מאמנים בעיית סיווג עם שיעורי C.
4) torch.nn.CTCLoss	אובדן הסיווג הזמני של החיבור מחשב הפסד בין סדרת זמן רציפה לרצף מטרה.
5) torch.nn.NLLLoss	הפסד היומן-הסבירות השלילי משמש לאימון בעיית סיווג עם מחלקות C.
6) torch.nn.PoissonNLLLoss	אובדן סבירות הלוג השלילי עם התפלגות Poisson של t target~Poisson(input)loss(input,target)=input-target*log(target!)היעד.
7) torch.nn.KLDivLoss	זהו מדד שימושי למרחק להתפלגות רציפה, והוא שימושי גם כאשר אנו מבצעים רגרסיה ישירה על פני המרחב של התפלגות פלט רציפה.
8) torch.nn.BCELoss	הוא משמש ליצירת קריטריון המודד את האנטרופיית הצלב הבינארי בין המטרה לפלט. ניתן לתאר את ההפסד הבלתי מופחת כך: l(x,y)=L={l1,...,לנ},לנ=-vנ[ונ*logxנ+ (שנה אחתנ)*log(1-xנ)], כאשר N הוא גודל האצווה.
9) torch.nn.BCEWithLogitsLoss	הוא משלב שכבת Sigmoid וה-BCELoss במחלקה אחת. אנחנו יכולים לנצל את הטריק של log-sum-exp ליציבות מספרית על ידי שילוב הפעולה לשכבה אחת.
10) torch.nn.MarginRankingLoss	זה יוצר קריטריון שמודד את אובדן הקלט הנתון x1, x2, שני טנסור מיני-אצווה 1D ותווית 1D מיני-אצווה טנסור y המכילים 1 או -1. פונקציית ההפסד עבור כל דגימה במיני-אצווה היא כדלקמן: loss(x,y)=max(0,-y*(x1-איקס2)+שוליים
11) torch.nn.HingeEmbeddingLoss	HingeEmbeddingLoss מודד את האובדן של טנסור קלט נתון x ומתווית טנסור y המכילים 1 או -1. הוא משמש למדידה אם שתי כניסות דומות או שונות. פונקציית ההפסד מוגדרת כך:
12) torch.nn.MultiLabelMarginLoss	הוא משמש ליצירת קריטריון אשר מייעל אובדן ציר רב-סיווג רב-מעמדי בין הקלט x לפלט y.
13) torch.nn.SmoothL1Loss	הוא משמש ליצירת קריטריון שמשתמש במונח בריבוע אם השגיאה המוחלטת מבחינת האלמנטים יורדת מתחת ל-1 ומונח L1 אחרת. זה ידוע גם בשם אובדן הובר:
14) torch.nn.SoftMarginLoss	הוא משמש ליצירת קריטריון המייעל את האובדן הלוגיסטי של הסיווג הדו-מחלקות בין טנסור הקלט x לטנסור היעד y המכילים 1 או -1.
15) torch.nn.MultiLabelSoftMarginLoss	הוא משמש ליצירת קריטריון המייעל את האובדן הרב-תווית אחד מול כולם בהתבסס על אנטרופיה מקסימלית בין הקלט x לבין היעד y בגודל (N, C).
16) torch.nn.CosineEmbeddingLoss	הוא משמש ליצירת קריטריון המודד את אובדן טנסור הקלט x1, x2 ותווית טנזור y עם ערכים 1 או -1. הוא משמש למדידה אם שתי כניסות דומות או שונות, באמצעות מרחק הקוסינוס.
17) torch.nn.MultiMarginLoss	הוא משמש ליצירת קריטריון המייעל אובדן ציר סיווג רב-מעמדי בין קלט x למוצא y.
18) torch.nn.TripletMarginLoss	הוא משמש ליצירת קריטריון המודד את אובדן הטריפלט של טנסור קלט נתון x1, x2, x3 ומרווח עם ערך גדול מ-0. הוא משמש למדידת דמיון יחסי בין דגימות. שלישייה מורכבת מעוגן, דוגמה חיובית ודוגמה שלילית. L(a,p,n)=max{d(aאני,עמ'אני)-ד(אאני,נאני)+שוליים,0}
חֲמֵשׁ עֶשׂרֵה.	שכבות ראייה
1) torch.nn.PixelShuffle	הוא משמש כדי לארגן מחדש את האלמנטים בטנזור של צורה(*,C×r2,H,W) לטנזור של צורה (*,C,H×r,W,r)
2) לפיד.nn.Upsample	הוא משמש כדי לדגום נתונים רב-ערוציים נתונים 1D, 2D או 3D.
3) torch.nn.upsamplingNearest2d	הוא משמש להחלת דגימת 2D של השכן הקרוב ביותר לאות קלט המורכב עם ערוצי קלט מרובים.
4) torch.nn.UpsamplingBilinear2d	הוא משמש להחלת דגימה בילינארית דו-ממדית על אות קלט המורכב עם ערוצי קלט מרובים.
16.	שכבות נתונים מקבילות (רב-GPU, מבוזרת)
1) torch.nn.DataParallel	הוא משמש ליישום מקביליות נתונים ברמת המודול.
2) torch.nn.DistributedDataParallel	הוא משמש ליישום מקביליות נתונים מבוזרת, המבוססת על החבילה torch.distributed ברמת המודול.
3) torch.nn.DistributedDataParallelCPU	הוא משמש ליישום מקביליות נתונים מבוזרת עבור ה-CPU ברמת המודול.
17.	כלי עזר
1) torch.nn.clip_grad_norm_	הוא משמש כדי לחתוך את נורמת השיפוע של מספר פרמטרים שניתן לחזור עליו.
2) torch.nn.clip_grad_value_	הוא משמש כדי לחתוך את נורמת השיפוע של מספר פרמטרים שניתן לחזור על הערך שצוין.
3) torch.nn.parameters_to_vector	הוא משמש להמרת פרמטרים לוקטור אחד.
4) torch.nn.vector_to_parameters	הוא משמש להמרת וקטור אחד לפרמטרים.
5) torch.nn.weight_norm	הוא משמש להחלת נורמליזציה של משקל על פרמטר במודול הנתון.
6) torch.nn.remove_weight_norm	הוא משמש להסרת נורמליזציה של משקל ופרמטריזציה מחדש ממודול.
7) torch.nn.spectral_norm	הוא משמש להחלת נורמליזציה ספקטרלית על פרמטר במודול הנתון.
8) torch.nn.PackedSequence	זה ישתמש כדי להחזיק את הנתונים ואת רשימת ה-batch_sizes של רצף ארוז.
9) torch.nn.pack_padded_sequence	הוא משמש לאריזת Tensor המכיל רצפים מרופדים באורך משתנה.
10) torch.nn.pad_packed_sequence	הוא משמש לרפידות אצווה ארוזה של רצפים באורך משתנה.
11) torch.nn.pad_sequence	הוא משמש לרפד רשימה של Tensors באורך משתנה עם ערך ריפוד.
12) torch.nn.pack_sequence	הוא משמש לאריזת רשימה של Tensors באורך משתנה
13) torch.nn.remove_spectral_norm	הוא משמש להסרת הנורמליזציה הספקטרלית והפרמטריזציה מחדש ממודול.

התייחסות:

https://pytorch.org/docs/stable/nn.html