מדריך SSIS מספק מושגים בסיסיים ומתקדמים של שירותי אינטגרציה של SQL Server. הדרכה SSIS שלנו מיועדת למתחילים ולמקצוענים.
שירות אינטגרציה של SQL Server הוא כלי מהיר וגמיש לאחסון נתונים המשמש לחילוץ נתונים, טרנספורמציה וטעינת נתונים. זה מקל על טעינת הנתונים ממסד נתונים אחד למסד נתונים אחר כגון SQL Server, Oracle, Excel, וכו'.
במדריך זה, נדון בנושאים הבאים:
- מה זה SSIS
- מהי אינטגרציית נתונים
- למה SSIS
- איך SSIS עובד
- דרישות עבור שירות אינטגרציה של SQL Server
- מהי חבילת SSIS
- משימות SSIS
- דוגמה למשימת זרימת נתונים
- דוגמה לביצוע משימת SQL
מה זה SSIS?
- SSIS ראשי תיבות של SQL Server Integration Services.
- זהו רכיב זמין בתוכנת מסד הנתונים של Microsoft SQL Server המשמשת לביצוע מגוון רחב של משימות אינטגרציה.
- זהו כלי אחסון נתונים המשמש לחילוץ נתונים, טעינת הנתונים למסד נתונים אחר, טרנספורמציות כגון ניקוי, צבירה, מיזוג נתונים וכו'.
- כלי SSIS מכיל גם את הכלים הגרפיים ואת פונקציות זרימת העבודה של אשפי החלונות כגון שליחת הודעות דואר אלקטרוני, פעולות ftp, מקורות נתונים.
- SSIS משמש לביצוע מגוון רחב של משימות טרנספורמציה ואינטגרציה. ככלל, כלי SSIS משמש בהעברת נתונים.
SSIS הוא כלי המשמש בעיקר לביצוע שתי פונקציות:
SSIS מבצעת אינטגרציה של נתונים על ידי שילוב הנתונים ממספר מקורות ומספקת נתונים מאוחדים למשתמשים.
ניתן להשתמש בזרימת עבודה לביצוע מספר דברים. לפעמים אנחנו צריכים לבצע כמה שלבים ספציפיים או נתיב מסוים שמבוסס על פרק הזמן או הפרמטר המועבר לחבילה או הנתונים שנשאלו ממסד הנתונים. זה יכול לשמש כדי להפוך את התחזוקה של מסדי נתונים של SQL Server לאוטומטי ומספק את העדכון לנתונים האנליטיים הרב-ממדיים.
מהו שילוב נתונים?
שילוב נתונים הוא תהליך שאתה עוקב אחריו כדי לשלב את הנתונים ממקורות מרובים. הנתונים יכולים להיות נתונים הטרוגניים או נתונים הומוגניים. הנתונים יכולים להיות מובנים, חצי מובנים או לא מובנים. בשילוב נתונים, הנתונים ממקורות נתונים שונים שונים משתלבים ויוצרים כמה נתונים משמעותיים.
כמה שיטות משמשות להשגת שילוב נתונים:
היתרונות של שילוב נתונים:
זה מפחית את מורכבות הנתונים מה שאומר שניתן להעביר את הנתונים לכל מערכת. שילוב נתונים שומר על המורכבות, חיבורים יעילים ומקל על אספקת הנתונים לכל מערכת.
שלמות הנתונים ממלאת תפקיד מרכזי באינטגרציה של נתונים. הוא עוסק בניקוי ואימות הנתונים. כולם רוצים נתונים איכותיים וחזקים, אז כדי להשיג את זה נעשה שימוש בקונספט של שילוב נתונים. שילוב נתונים מועיל בהסרת שגיאות, חוסר עקביות וכפילות.
נגישות באה תחת שיתוף פעולה נתונים. נגישות פירושה שניתן לשנות בקלות את הנתונים, ואנשים יכולים בקלות לשלב את הנתונים בפרויקטים, לשתף את התוצאות שלהם ולשמור את הנתונים מעודכנים.
זה גם מספק לך לקבל החלטות חכמות יותר. נתונים משולבים מתייחסים לתהליך השידור בתוך חברה כדי שנוכל להבין את המידע ביתר קלות. נתונים משולבים הוא הרבה יותר קל ואינפורמטיבי.
למה SSIS?
נעשה שימוש ב-SSIS בגלל הסיבות הבאות:
SSIS משמש לשילוב הנתונים ממקורות נתונים מרובים כדי ליצור מבנה יחיד בתצוגה אחידה. בעיקרון, היא אחראית לאיסוף הנתונים, חילוץ הנתונים ממספר מקורות נתונים ומיזוג למקור נתונים אחד.
SSSIS היא פלטפורמה בעלת יכולת לטעון כמות גדולה של נתונים מאקסל למסד נתונים של SQL Server.
כלי SSSIS מספק אינטגרציה הדוקה עם מוצרים אחרים של מיקרוסופט.
כלי SSSIS זול יותר מרוב הכלים האחרים. זה יכול להתנגד עם מוצרי בסיס אחרים, יכולת הניהול שלהם, בינה עסקית וכו'.
SSSIS מאפשר לך לטפל בשגיאה המורכבת בתוך זרימת נתונים. אתה יכול להתחיל ולהפסיק את זרימת הנתונים על סמך חומרת השגיאה. אתה יכול אפילו לשלוח אימייל למנהל כאשר מתרחשת שגיאה כלשהי. כאשר שגיאה נפתרת, תוכל לבחור את הנתיב בין זרימת העבודה.
איך SSIS עובד?
אנו יודעים ש-SSIS היא פלטפורמה לשתי פונקציות, כלומר שילוב נתונים וזרימת עבודה. שתי המשימות טרנספורמציות נתונים ויצירת זרימת עבודה מתבצעות באמצעות חבילת SSIS. חבילת SSIS מורכבת משלושה מרכיבים:
נתונים תפעוליים
נתונים תפעוליים הם מסד נתונים המשמש לשילוב הנתונים ממקורות נתונים מרובים לביצוע פעולות נוספות בנתונים. זהו המקום שבו הנתונים מאוחסנים לצורך פעולה שוטפת לפני שליחתם למחסן הנתונים לאחסון, דיווח או ארכיון.
הם זמרים
ETL
- ETL הוא התהליך החשוב ביותר בכלי SSIS. ETL משמש לחילוץ, טרנספורמציה וטעינה של הנתונים למחסן נתונים.
- ETL הוא תהליך שאחראי על שליפת הנתונים ממקורות נתונים מרובים, הפיכת הנתונים לנתונים שימושיים ולאחר מכן אחסון הנתונים במחסן נתונים. הנתונים יכולים להיות בכל פורמט של קובץ xml, קובץ שטוח או כל קובץ מסד נתונים.
- זה גם מבטיח שהנתונים המאוחסנים במחסן הנתונים רלוונטיים, מדויקים, איכותיים ושימושיים למשתמשים העסקיים.
- ניתן לגשת אליו בקלות כך שניתן יהיה להשתמש במחסן הנתונים ביעילות וביעילות.
- זה גם עוזר לארגון לקבל החלטות מונעות נתונים על ידי שליפת הנתונים המובנים והלא מובנים ממקורות נתונים מרובים.
ETL הוא מושג בן שלוש מילים, אך הוא מחולק לארבעה שלבים:
לִלְכּוֹד: שלב הלכידה ידוע גם כשלב החילוץ. בשלב זה, הוא בוחר את נתוני המקור או המטא נתונים, והנתונים יכולים להיות בכל פורמט כגון קובץ xml, קובץ שטוח או כל קובץ מסד נתונים.
לְשַׁפשֵׁף: בשלב זה נבדקים הנתונים המקוריים. הוא בודק את הנתונים, בין אם הם מורכבים משגיאות או לא. הוא בודק את השגיאות או חוסר העקביות של הנתונים באמצעות כמה טכניקות של בינה מלאכותית. בקיצור, הוא מוודא אם איכות המוצר עומדת או לא.
שינוי צורה: זהו השלב השלישי ב-ETL. טרנספורמציה היא התהליך שבו הפורמט המקורי מומר לפורמט נדרש הרצוי. טרנספורמציה היא מודלים או שינוי של הנתונים בהתאם לדרישות המשתמש. השינויים יכולים להיות שינויים במספר העמודות או השורות.
טען ואינדקס: השלב הרביעי הוא עומס ואינדקס. הוא טוען את הנתונים ומאמת את מספר השורות שעובדו. לאחר השלמת טעינת הנתונים, נעשה שימוש באינדקס. יצירת אינדקס עוזרת לך לעקוב אחר מספר השורות שנטענות במחסן הנתונים. אינדקס גם עוזר לזהות את הנתונים, בין אם הם בפורמט הנכון או לא.
מחסן נתונים
מחסן נתונים הוא מאגר יחיד, שלם ועקבי של נתונים אשר מנוסח על ידי שילוב הנתונים ממספר מקורות נתונים.
ההבדל בין מסד נתונים למחסן נתונים
התשובה יכולה להיות כן וגם לא. גם למסד הנתונים וגם למחסן הנתונים יש יחידת נתונים גדולה וייצוג פיזי דומה, אך זמן התגובה של שאילתות מורכבות במחסן נתונים מהיר יותר מבסיס הנתונים.
דרישות עבור שירותי אינטגרציה של SQL Server
להלן הדרישות להתקנת שירותי אינטגרציה של SQL Server:
- התקן את שרת SQL
- התקן את SQL Server Data Tools
בצע את השלבים שלהלן כדי להתקין את כלי SQL Server Data:
שלב 1: לחץ על הקישור https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 כדי להוריד את כלי הנתונים של SQL Server.
שלב 2: כאשר אתה לוחץ על הקישור שלמעלה, המסך מופיע להלן:
במסך למעלה, בחר את גרסת ה-SSDT שברצונך להתקין.
שלב 3: לאחר השלמת ההורדה, הפעל את הקובץ שהורדת. כאשר אתה מפעיל את הקובץ שהורדת, מופיע המסך שמוצג להלן:
שלב 4: לחץ על הכפתור הבא.
שלב 5: בחר את מופע ה- Visual Studio ואת הכלים שברצונך להתקין ב- Visual Studio 2017.
שלב 6: הקלק על ה להתקין לַחְצָן.
מהי חבילת SSIS?
החבילה היא בלוק בסיסי שבו אתה מקודד ב-SSIS. כאן, קוד לא אומר שאתה מקודד בשפת תכנות כלשהי; זה אומר הפיתוח שאתה עושה. הפיתוח נעשה בחבילת SSIS. SSIS משמש בעיקר לתהליך ETL, ותהליך ETL מבוצע בתוך חבילת SSIS.
חבילת SSIS מורכבת משלושה חלקים:
לחבילת SSIS יהיו כמה חיבורים, וחיבורים אלה משמשים לחיבור למקורות נתונים שונים.
חבילת SSIS מורכבת משני אלמנטים, כלומר, רכיבי זרימת בקרה ורכיבי זרימת נתונים. רכיבי זרימת בקרה מטפלים בתהליכי עבודה. זרימת עבודה פירושה שאנו מבצעים כמה משימות בשלבים, כך שהרצף נעשה באמצעות זרימת בקרה.
רכיבי זרימת הנתונים מבצעים טרנספורמציות.
משימות SSIS
בחבילת SSIS, נוכל להוסיף את המשימות. משימה היא יחידת עבודה ויהיה לנו סוגים שונים של משימות לביצוע סוגים שונים של עבודה. ישנם סוגים שונים של משימות, אך נדון במשימות הנפוצות ביותר בשימוש ב-SSIS:
הוא משמש לביצוע הצהרות SQL מול מסד נתונים יחסי.
הוא משמש בעיקר לקריאת הנתונים ממקור נתונים אחד או מרובים, להפוך את הנתונים ויכול גם לטעון את הנתונים ליעד אחד או יותר.
הוא משמש לעיבוד אובייקטים של קוביית SSAS או מודל טבלאי.
משימה זו משמשת לקריאה לחבילות האחרות באותו פרויקט. אתה יכול אפילו להעביר את ערכי המשתנים לחבילה שנקראת.
זה מאפשר לך להפעיל יישום או סקריפטים אצווה כשירותי אינטגרציה של שרת SQL. ניתן להשתמש בו לפתיחת האפליקציה הסטנדרטית כגון Microsoft Excel, Microsoft Word וכו'. הוא משמש גם לפתיחת הקובץ הדחוס.
ניתן להשתמש בו כדי לבצע את המניפולציות במערכת הקבצים כגון העברת קבצים, מחיקת קבצים, שינוי שם הקבצים, שינוי ספרייה וכו'.
משימות IFTP משמשות לביצוע הפעולות על קבצים ותיקיות. לדוגמה, אם ברצונך לשלוח או לקבל את הקובץ משרת ה-FTP לספרייה המקומית, נעשה שימוש במשימת SSIS FTP.
משימה זו מאפשרת לך לכתוב את קוד ה-.Net שברצונך לבצע.
משימה זו משמשת לשליחת אימייל. הוא משמש בעיקר כאשר אתה רוצה להודיע למשתמשים לגבי מצב המשימה בין אם היא במצב ריצה או שהתרחשה שגיאה כלשהי.
בואו נראה איזו דוגמה עובדת לשירות אינטגרציית נתונים.
דוגמה למשימת זרימת נתונים
שלב 1: ראשית, אנו יוצרים קובץ אקסל ב-Microsoft Excel. נניח שאני יוצר את מסד הנתונים של התלמידים ב-Microsoft Excel, ושדות בטבלת התלמידים הם student_id, student_name, סימנים ומגדר.
שלב 2: פתח את הסטודיו החזותי (SQL Server Data Tools).
שלב 3: לחץ על האפשרות קובץ ולאחר מכן עבור אל חדש->פרויקט.
שלב 4: כאשר אתה לוחץ על הפרויקט, מופיע המסך, המוצג להלן:
במסך לעיל, לחץ על שירותי השילוב המופיעים בצד השמאלי ביותר של הלוח ולאחר מכן לחץ על פרויקט שירותי השילוב.
שלב 5: לאחר לחיצה על פרויקט שירותי האינטגרציה אפשרות, המסך מופיע כמוצג להלן:
המסך שלמעלה מורכב מחמש כרטיסיות כגון זרימת בקרה, זרימת נתונים, פרמטרים, מטפל באירועים וסייר החבילות. כבר דנו בזרימת הבקרה ובזרימת הנתונים, גם זרימת הבקרה וגם זרימת הנתונים קיימים בתוך חבילת SSIS.
שלב 6: כדי לייבא את הנתונים, עלינו ליצור תחילה את מסד הנתונים בו אנו יוצרים את הטבלה במסד הנתונים של SQL Server. כפי שאנו יודעים שנתוני תלמידים זמינים בתוך קובץ האקסל, ואנו רוצים לייבא את הנתונים במסד הנתונים של SQL Server. על מנת להשיג זאת, עלינו ליצור תחילה את הטבלה ב-SQL Server. פתח את הסטודיו לניהול שרת SQL.
שלב 7: צור את סטוּדֶנט מאגר מידע. לחץ לחיצה ימנית על מסד הנתונים ולאחר מכן לחץ על מסד נתונים חדש אוֹפְּצִיָה.
שלב 8: הזן את שם מסד הנתונים בצילום המסך שלהלן:
נתתי ל- StudentWarehouse כשם מסד נתונים.
שלב 9: הקלק על ה בסדר לַחְצָן.
מחרוזות קונקט של java
שלב 10: כעת, אנו יוצרים את הטבלה ב-a מחסן סטודנטים מאגר מידע. לחץ לחיצה ימנית על הטבלאות ולאחר מכן לחץ על הטבלה החדשה.
שלב 11: כעת אנו מוסיפים את השדות בטבלה כגון student_id, student_name, סימנים ומגדר. אנחנו מגדירים את student_id כמפתח ראשי שמזהה כל שורה באופן ייחודי.
המסך שלמעלה מראה שאנו מוסיפים ארבעה שדות לטבלה. לאחר הוספת כל השדות בטבלה, אנו שומרים את הטבלה על ידי מתן שם שימושי כלשהו. נניח שסיפקתי את התלמיד כשם טבלה.
שלב 12: חזור לאולפן החזותי. זרימת הבקרה מכילה את משימת זרימת הנתונים, גרור ושחרר את משימת זרימת הנתונים בחלון הראשי.
שלב 13: כאשר אנו לוחצים פעמיים על ה-Data Flow Task, הפקד עובר אוטומטית ל-Data Flow מ-Control Flow, כך שאנו יכולים לומר ש-Control Flow הוא מיכל של זרימת נתונים.
שלב 14: כעת, אנו יכולים לבצע את השינויים ב-Data Flow. אנו רוצים לחלץ את הנתונים מקובץ Excel שיצרנו קודם לכן, אז גרור ושחרר את מקור ה-Excel משאר המקורות המופיעים בצד השמאלי ביותר של החלונית.
מהמסך לעיל, אנו רואים שהצלב האדום מופיע בתוך מקור Excel, זה אומר שהרכיב מוגדר עם מקור Excel.
שלב 15: כדי להגדיר את הרכיב, לחץ לחיצה ימנית על מקור Excel ולחץ על האפשרות ערוך כפי שמוצג בצילום המסך שלהלן:
שלב 16: מלא את הפרטים המוצגים בצילום המסך שלהלן:
שלב 17: לאחר הזנת כל הפרטים, המסך מופיע כמפורט להלן:
שלב 18: לחץ על המקור של Excel.
המסך שלמעלה מציג שני חצים, חץ אדום וכחול. החץ הכחול מגדיר את הנתונים בפועל שאנו מקבלים מקובץ האקסל, והחץ האדום מציין את השגיאות שיש לנו. כעת עלינו לבצע את הטרנספורמציות, ולפני ביצוע הטרנספורמציות, עלינו לטעון את בסיס הנתונים.
שלב 19: כדי לטעון את מסד הנתונים, לחץ על היעדים האחרים ולאחר מכן לחץ על היעד.
שלב 20: לאחר הוספת היעד, חבר את המקור ליעד.
שלב 21: בשלב שלמעלה שמנו לב לצלב האדום ב-ADO NET Destination, מה שאומר שהוא לא מוגדר עם רכיב. לחץ לחיצה ימנית על יעד ADO NET ולאחר מכן לחץ על האפשרות ערוך כפי שמוצג בצילום המסך שלהלן:
שלב 22: עליך לציין את מנהל התצורה.
שלב 23: הקלק על ה חָדָשׁ לחצן כדי להוסיף את מנהל החיבורים. כאשר אתה לוחץ על חָדָשׁ לחצן, המסך מופיע להלן:
שלב 24: הוסף את שם השרת ובחר את שם מסד הנתונים משרת SQL.
שלב 25: לחץ על כפתור אישור.
שלב 26: הוסף את שם הטבלה שבה ברצונך לטעון את הנתונים.
שלב 27: במסך למטה, מפה את שדה מקור הקלט לשדה של מקור היעד.
Java היפוך מיתר
שלב 28: לאחר הוספת מיפוי, המקור מחובר אל היעד, כפי שמוצג בצילום המסך שלהלן:
שלב 29: הקלק על ה הַתחָלָה לחצן להפעלת פרויקט שירותי השילוב. כאשר אתה מפעיל את הפרויקט, הנתונים נטענים ליעד, כלומר, SQL Server .
דוגמה לביצוע משימת SQL
- בצע את השלבים משלב 2 עד שלב 5 בדוגמה הקודמת.
- גרור ושחרר את בצע משימת SQL המופיע בחלונית השמאלית ביותר לחלון הראשי.
במסך לעיל, אנו רואים שהצלב האדום מופיע ב-Execute SQL Task, כלומר מנהל חיבורים אינו מוגדר עם בצע משימת SQL . כדי להגדיר אותו, עלינו להוסיף את מנהל החיבורים.
- כדי להוסיף את מנהל החיבורים, לחץ לחיצה ימנית על מנהל החיבורים ולאחר מכן לחץ על מנהל החיבורים החדש כפי שמוצג בצילום המסך שלהלן:
- בחר את OLEDB כסוג מנהל החיבורים ולאחר מכן לחץ על לְהוֹסִיף כפתור כפי שמוצג בצילום המסך שלהלן:
- לאחר לחיצה על לְהוֹסִיף כפתור, המסך מופיע בצילום המסך שלהלן:
במסך לעיל, אנו רואים כי חיבור הנתונים של מחסן סטודנטים מסד הנתונים כבר זמין כפי שיצרנו בשלב הקודם. הקלק על ה בסדר לַחְצָן.
- כאשר אתה לוחץ על כפתור אישור, המסך מופיע כפי שמוצג להלן:
במסך למעלה, עליך להזין את הפרטים כגון שם המשימה שלך, תיאור, משפט SQL (מטלת SQL שאתה צריך לבצע בטבלה).
- הכנסתי את הפרטים הבאים בצילום המסך למעלה:
במקרה שלעיל, סיפקתי את פקודת ה-insert ב-SQLStatement.
- הקלק על ה בסדר לַחְצָן.
- כאשר אתה מגדיר את הרכיב עם ביצוע משימת SQL, הצלב האדום נעלם כפי שמוצג בצילום המסך שלהלן:
- הפעל את הפרויקט על ידי לחיצה על הַתחָלָה .
- כאשר אתה לוחץ על הַתחָלָה , המסך מופיע כמוצג להלן:
במסך למעלה, הסימון מראה שמשימת SQL שלך הושלמה בהצלחה. משפט ה-insert שהוספנו בשלבים הקודמים בוצע, והנתונים מתווספים בטבלה. כלומר, סטודנט1.
- הפלט של משימה זו מוצג להלן
תְנַאִי מוּקדָם
לפני לימוד SSIS, עליך להיות בעל ידע בסיסי ב-SQL Server.
קהל
המדריך שלנו ל-SSIS נועד לעזור למתחילים ולמקצוענים.
בְּעָיָה
אנו מבטיחים שלא תמצא שום בעיה במדריך SSIS זה. אבל אם יש טעות או שגיאה כלשהי, אנא פרסם את השגיאה בטופס יצירת הקשר.