TechCodeview

הנתונים עשויים להידחס באמצעות טכניקת ה-Huffman Coding כדי להצטמצם מבלי לאבד מידע כלשהו. אחרי דיוויד האפמן, מי יצר אותו בהתחלה? נתונים המכילים תווים שחוזרים על עצמם לעתים קרובות נדחסים בדרך כלל באמצעות קידוד Huffman.

אלגוריתם Greedy ידוע הוא Huffman Coding. גודל הקוד המוקצה לתו מסתמך על התדירות של התו, וזו הסיבה שהוא מכונה אלגוריתם חמדני. הקוד המשתנה באורך קצר מוקצה לתו בעל התדר הגבוה ביותר, ולהיפך לתווים בעלי תדרים נמוכים יותר. הוא משתמש בקידוד באורך משתנה, מה שאומר שהוא נותן לכל תו בזרם הנתונים המסופק קוד שונה באורך משתנה.

כלל קידומת

בעיקרו של דבר, כלל זה קובע שהקוד שמוקצה לתו לא יהיה קידומת של קוד אחר. אם הכלל הזה נשבר, אי בהירות שונות עשויות להופיע בעת פענוח עץ ההאפמן שנוצר.

הבה נסתכל על המחשה של כלל זה כדי להבין אותו טוב יותר: עבור כל תו מסופק קוד, כגון:

 a - 0 b - 1 c - 01 

בהנחה שזרם הסיביות המופק הוא 001, הקוד עשוי להתבטא באופן הבא בעת פענוח:

המרת תאריך מחרוזת

 0 0 1 = aab 0 01 = ac 

מהו תהליך קידוד האפמן?

קוד האפמן מתקבל עבור כל דמות נפרדת בעיקר בשני שלבים:

• צור תחילה עץ האפמן באמצעות התווים הייחודיים בזרם הנתונים שסופק.
• שנית, עלינו לעבור דרך האפמן עץ הבנוי, להקצות קודים לתווים, ולאחר מכן להשתמש בקודים האלה כדי לפענח את הטקסט שסופק.

צעדים שיש לנקוט בקידוד האפמן

סימון חוצה

השלבים המשמשים לבניית עץ האפמן באמצעות התווים שסופקו

 Input: string str = 'abbcdbccdaabbeeebeab' 

אם האפמן קידוד משמש במקרה זה לדחיסת נתונים, יש לקבוע את המידע הבא לפענוח:

• לכל דמות, קוד האפמן
• אורך הודעה מקודדת האפמן (בסיביות), אורך קוד ממוצע
• תוך שימוש בנוסחאות המכוסות להלן, מתגלות השתיים האחרונות מהן.

כיצד ניתן לבנות עץ האפמן מתווי קלט?

תחילה יש לקבוע את התדירות של כל תו במחרוזת המסופקת.

1. מיין את התווים לפי תדירות, עולה. אלה נשמרים בתור עדיפות Q/min-heap.
2. עבור כל תו נבדל והתדירות שלו בזרם הנתונים, צור צומת עלים.
3. הסר את שני הצמתים עם שני התדרים הנמוכים ביותר מהצמתים, והשורש החדש של העץ נוצר באמצעות סכום התדרים הללו.
   • הפוך את הצומת שחולץ הראשון לילד השמאלי שלו ואת הצומת שחולץ השני לילד הימני שלו תוך חילוץ הצמתים עם התדירות הנמוכה ביותר מה-Min-heap.
   • ל-Min-heap, הוסף את הצומת הזה.
   • מאז הצד השמאלי של השורש צריך תמיד להכיל את התדר המינימלי.
4. חזור על שלבים 3 ו-4 עד שנשאר רק צומת אחד בערימה, או שכל התווים מיוצגים על ידי צמתים בעץ. העץ מסתיים כאשר נותר רק צומת השורש.

דוגמאות לקידוד האפמן

בוא נשתמש באיור כדי להסביר את האלגוריתם:

אלגוריתם עבור קידוד האפמן

שלב 1: בנו ערימה קטנה שבה כל צומת מייצג את השורש של עץ עם צומת בודד ומכיל 5 (מספר התווים הייחודיים מזרם הנתונים שסופק).

שלב 2: השג שני צמתים בתדר מינימלי מערימת המינימום בשלב השני. הוסף צומת פנימי שלישי, תדר 2 + 3 = 5, שנוצר על ידי חיבור שני הצמתים שחולצו.

• כעת, ישנם 4 צמתים בערימה המינימלית, 3 מהם הם שורשי עצים עם אלמנט בודד כל אחד, ואחד מהם הוא שורש של עץ עם שני אלמנטים.

שלב 3: קבל את שני צמתי התדר המינימלי מהערימה באופן דומה בשלב השלישי. בנוסף, הוסף צומת פנימי חדש שנוצר על ידי צירוף שני הצמתים שחולצו; התדירות שלו בעץ צריכה להיות 4 + 4 = 8.

פיתון חיפוש בינארי

• כעת, כשהערימה המינימלית כוללת שלושה צמתים, צומת אחד משמש כשורש של עצים עם אלמנט בודד ושני צמתים ערימה משמשים כשורש של עצים עם מספר צמתים.

שלב 4: קבל את שני צמתי התדר המינימלי בשלב הרביעי. בנוסף, הוסף צומת פנימי חדש שנוצר על ידי צירוף שני הצמתים שחולצו; התדירות שלו בעץ צריכה להיות 5 + 7 = 12.

• בעת יצירת עץ האפמן, עלינו לוודא שהערך המינימלי יהיה תמיד בצד שמאל ושהערך השני תמיד בצד ימין. נכון לעכשיו, התמונה למטה מציגה את העץ שנוצר:

שלב 5: קבל את שני צמתי התדר המינימלי הבאים בשלב 5. בנוסף, הוסף צומת פנימי חדש שנוצר על ידי חיבור שני הצמתים שחולצו; התדירות שלו בעץ צריכה להיות 12 + 8 = 20.

מחיקה מעץ חיפוש בינארי

המשך עד שכל התווים הנבדלים נוספו לעץ. עץ האפמן שנוצר עבור צוות הדמויות שצוין מוצג בתמונה למעלה.

כעת, עבור כל צומת שאינו עלה, הקצה 0 לקצה השמאלי ו-1 לקצה הימני כדי ליצור את הקוד עבור כל אות.

כללים שיש לפעול לקביעת משקלי קצה:

• אנחנו צריכים לתת לקצוות הימניים משקל 1 אם אתה נותן לקצוות השמאליים משקל 0.
• אם הקצוות השמאליים מקבלים משקל 1, יש לתת משקל 0 לקצוות הימניים.
• ניתן להשתמש בכל אחת משתי המוסכמות שהוזכרו לעיל.
• עם זאת, עקוב אחר אותו פרוטוקול גם בעת פענוח העץ.

לאחר השקלול, העץ שהשתנה מוצג באופן הבא:

מערך בתים של java למחרוזת

הבנת הקוד

• עלינו לעבור דרך עץ ההפמן עד שנגיע לצומת העלים, בו האלמנט קיים, על מנת לפענח את קוד ההפמן עבור כל תו מעץ ההפמן שנוצר.
• יש לרשום את המשקולות על פני הצמתים במהלך המעבר ולהקצות אותם לפריטים הממוקמים בצמת העלה הספציפי.
• הדוגמה הבאה תעזור להמחיש עוד יותר למה אנחנו מתכוונים:
• כדי לקבל את הקוד עבור כל תו בתמונה למעלה, עלינו ללכת על כל העץ (עד שכל צמתי העלים מכוסים).
• כתוצאה מכך, העץ שנוצר משמש לפענוח הקודים עבור כל צומת. להלן רשימה של הקודים לכל תו:

להלן יישום בתכנות C:

 // C program for Huffman Coding #include #include // This constant can be avoided by explicitly // calculating height of Huffman Tree #define MAX_TREE_HT 100 // A Huffman tree node struct MinHeapNode { // One of the input characters char data; // Frequency of the character unsigned freq; // Left and right child of this node struct MinHeapNode *left, *right; }; // A Min Heap: Collection of // min-heap (or Huffman tree) nodes struct MinHeap { // Current size of min heap unsigned size; // capacity of min heap unsigned capacity; // Array of minheap node pointers struct MinHeapNode** array; }; // A utility function allocate a new // min heap node with given character // and frequency of the character struct MinHeapNode* newNode(char data, unsigned freq) { struct MinHeapNode* temp = (struct MinHeapNode*)malloc( sizeof(struct MinHeapNode)); temp->left = temp->right = NULL; temp->data = data; temp->freq = freq; return temp; } // A utility function to create // a min heap of given capacity struct MinHeap* createMinHeap(unsigned capacity) { struct MinHeap* minHeap = (struct MinHeap*)malloc(sizeof(struct MinHeap)); // current size is 0 minHeap->size = 0; minHeap->capacity = capacity; minHeap->array = (struct MinHeapNode**)malloc( minHeap->capacity * sizeof(struct MinHeapNode*)); return minHeap; } // A utility function to // swap two min heap nodes void swapMinHeapNode(struct MinHeapNode** a, struct MinHeapNode** b) { struct MinHeapNode* t = *a; *a = *b; *b = t; } // The standard minHeapify function. void minHeapify(struct MinHeap* minHeap, int idx) { int smallest = idx; int left = 2 * idx + 1; int right = 2 * idx + 2; if (left size && minHeap->array[left]->freq array[smallest]->freq) smallest = left; if (right size && minHeap->array[right]->freq array[smallest]->freq) smallest = right; if (smallest != idx) { swapMinHeapNode(&minHeap->array[smallest], &minHeap->array[idx]); minHeapify(minHeap, smallest); } } // A utility function to check // if size of heap is 1 or not int isSizeOne(struct MinHeap* minHeap) { return (minHeap->size == 1); } // A standard function to extract // minimum value node from heap struct MinHeapNode* extractMin(struct MinHeap* minHeap) { struct MinHeapNode* temp = minHeap->array[0]; minHeap->array[0] = minHeap->array[minHeap->size - 1]; --minHeap->size; minHeapify(minHeap, 0); return temp; } // A utility function to insert // a new node to Min Heap void insertMinHeap(struct MinHeap* minHeap, struct MinHeapNode* minHeapNode) { ++minHeap->size; int i = minHeap->size - 1; while (i && minHeapNode->freq array[(i - 1) / 2]->freq) { minHeap->array[i] = minHeap->array[(i - 1) / 2]; i = (i - 1) / 2; } minHeap->array[i] = minHeapNode; } // A standard function to build min heap void buildMinHeap(struct MinHeap* minHeap) { int n = minHeap->size - 1; int i; for (i = (n - 1) / 2; i >= 0; --i) minHeapify(minHeap, i); } // A utility function to print an array of size n void printArr(int arr[], int n) { int i; for (i = 0; i left) && !(root->right); } // Creates a min heap of capacity // equal to size and inserts all character of // data[] in min heap. Initially size of // min heap is equal to capacity struct MinHeap* createAndBuildMinHeap(char data[], int freq[], int size) { struct MinHeap* minHeap = createMinHeap(size); for (int i = 0; i array[i] = newNode(data[i], freq[i]); minHeap->size = size; buildMinHeap(minHeap); return minHeap; } // The main function that builds Huffman tree struct MinHeapNode* buildHuffmanTree(char data[], int freq[], int size) { struct MinHeapNode *left, *right, *top; // Step 1: Create a min heap of capacity // equal to size. Initially, there are // modes equal to size. struct MinHeap* minHeap = createAndBuildMinHeap(data, freq, size); // Iterate while size of heap doesn't become 1 while (!isSizeOne(minHeap)) { // Step 2: Extract the two minimum // freq items from min heap left = extractMin(minHeap); right = extractMin(minHeap); // Step 3: Create a new internal // node with frequency equal to the // sum of the two nodes frequencies. // Make the two extracted node as // left and right children of this new node. // Add this node to the min heap // '$' is a special value for internal nodes, not // used top = newNode('$', left->freq + right->freq); top->left = left; top->right = right; insertMinHeap(minHeap, top); } // Step 4: The remaining node is the // root node and the tree is complete. return extractMin(minHeap); } // Prints huffman codes from the root of Huffman Tree. // It uses arr[] to store codes void printCodes(struct MinHeapNode* root, int arr[], int top) { // Assign 0 to left edge and recur if (root->left) { arr[top] = 0; printCodes(root->left, arr, top + 1); } // Assign 1 to right edge and recur if (root->right) { arr[top] = 1; printCodes(root->right, arr, top + 1); } // If this is a leaf node, then // it contains one of the input // characters, print the character // and its code from arr[] if (isLeaf(root)) { printf('%c: ', root->data); printArr(arr, top); } } // The main function that builds a // Huffman Tree and print codes by traversing // the built Huffman Tree void HuffmanCodes(char data[], int freq[], int size) { // Construct Huffman Tree struct MinHeapNode* root = buildHuffmanTree(data, freq, size); // Print Huffman codes using // the Huffman tree built above int arr[MAX_TREE_HT], top = 0; printCodes(root, arr, top); } // Driver code int main() { char arr[] = { 'a', 'b', 'c', 'd', 'e', 'f' }; int freq[] = { 5, 9, 12, 13, 16, 45 }; int size = sizeof(arr) / sizeof(arr[0]); HuffmanCodes(arr, freq, size); return 0; } 

תְפוּקָה

 f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 …………… Process executed in 1.11 seconds Press any key to continue. 

יישום Java של הקוד לעיל:

 import java.util.Comparator; import java.util.PriorityQueue; import java.util.Scanner; class Huffman { // recursive function to print the // huffman-code through the tree traversal. // Here s is the huffman - code generated. public static void printCode(HuffmanNode root, String s) { // base case; if the left and right are null // then its a leaf node and we print // the code s generated by traversing the tree. if (root.left == null &amp;&amp; root.right == null &amp;&amp; Character.isLetter(root.c)) { // c is the character in the node System.out.println(root.c + &apos;:&apos; + s); return; } // if we go to left then add &apos;0&apos; to the code. // if we go to the right add&apos;1&apos; to the code. // recursive calls for left and // right sub-tree of the generated tree. printCode(root.left, s + &apos;0&apos;); printCode(root.right, s + &apos;1&apos;); } // main function public static void main(String[] args) { Scanner s = new Scanner(System.in); // number of characters. int n = 6; char[] charArray = { &apos;a&apos;, &apos;b&apos;, &apos;c&apos;, &apos;d&apos;, &apos;e&apos;, &apos;f&apos; }; int[] charfreq = { 5, 9, 12, 13, 16, 45 }; // creating a priority queue q. // makes a min-priority queue(min-heap). PriorityQueue q = new PriorityQueue( n, new MyComparator()); for (int i = 0; i <n; i++) { creating a huffman node object and add it to the priority queue. huffmannode hn="new" huffmannode(); hn.c="charArray[i];" hn.data="charfreq[i];" hn.left="null;" hn.right="null;" functions adds q.add(hn); } create root here we will extract two minimum value from heap each time until its size reduces 1, all nodes are extracted. while (q.size()> 1) { // first min extract. HuffmanNode x = q.peek(); q.poll(); // second min extract. HuffmanNode y = q.peek(); q.poll(); // new node f which is equal HuffmanNode f = new HuffmanNode(); // to the sum of the frequency of the two nodes // assigning values to the f node. f.data = x.data + y.data; f.c = &apos;-&apos;; // first extracted node as left child. f.left = x; // second extracted node as the right child. f.right = y; // marking the f node as the root node. root = f; // add this node to the priority-queue. q.add(f); } // print the codes by traversing the tree printCode(root, &apos;&apos;); } } // node class is the basic structure // of each node present in the Huffman - tree. class HuffmanNode { int data; char c; HuffmanNode left; HuffmanNode right; } // comparator class helps to compare the node // on the basis of one of its attribute. // Here we will be compared // on the basis of data values of the nodes. class MyComparator implements Comparator { public int compare(HuffmanNode x, HuffmanNode y) { return x.data - y.data; } } </n;>

תְפוּקָה

 f: 0 c: 100 d: 101 a: 1100 b: 1101 e: 111 ………………. Process executed in 1.11 seconds Press any key to continue. 

הֶסבֵּר:

על ידי מעבר, עץ ההאפמן נוצר ומפענח. לאחר מכן יש להחיל את הערכים שנאספו במהלך המעבר על התו הממוקם בצומת העלה. כל תו ייחודי בזרם הנתונים שסופק עשוי להיות מזוהה באמצעות קוד Huffman באופן זה. O (nlogn), כאשר n הוא המספר הכולל של התווים, הוא מורכבות הזמן. ExtractMin() נקרא 2*(n - 1) פעמים אם יש n צמתים. מכיוון ש-extractMin() קורא ל-minHeapify(), זמן הביצוע שלו הוא O (logn). המורכבות הכוללת היא אפוא O (nlogn). קיים אלגוריתם זמן ליניארי אם מערך הקלט ממוין. זה יסוקר ביתר פירוט ביצירה הקרובה שלנו.

בעיות עם קידוד האפמן

בואו נדבר על החסרונות של קידוד האפמן בחלק זה ומדוע זה לא תמיד האפשרות הטובה ביותר:

• אם לא כל ההסתברויות או התדרים של הדמויות הן חזקות שליליות של 2, זה לא נחשב לאידיאלי.
• למרות שניתן להתקרב לאידיאל על ידי קיבוץ סמלים והרחבת האלפבית, שיטת החסימה מחייבת טיפול באלפבית גדול יותר. לכן, קידוד האפמן לא תמיד יהיה יעיל במיוחד.
• למרות שישנן דרכים יעילות רבות לספור את התדירות של כל סמל או דמות, שחזור העץ כולו עבור כל אחד יכול להיות מאוד גוזל זמן. כאשר האלפבית גדול והתפלגויות ההסתברות משתנות במהירות עם כל סמל, זה בדרך כלל המקרה.

אלגוריתם בניית קוד האפמן החמדני

• האפמן פיתח טכניקה חמדנית המייצרת קוד Huffman, קוד קידומת אידיאלי, עבור כל תו נפרד בזרם נתוני הקלט.
• הגישה משתמשת בכמה שפחות צמתים בכל פעם כדי ליצור את עץ האפמן מלמטה למעלה.
• מכיוון שכל תו מקבל אורך קוד על סמך התדירות שבה הוא מופיע בזרם הנתונים הנתון, שיטה זו ידועה כגישה חמדנית. זהו רכיב נפוץ בנתונים אם גודל הקוד שאוחזר קטן יותר.

השימוש ב-Huffman Coding

• כאן, נדבר על כמה שימושים מעשיים לקידוד האפמן:
• פורמטי דחיסה קונבנציונליים כמו PKZIP, GZIP וכו' משתמשים בדרך כלל בקידוד האפמן.
• Huffman Coding משמש להעברת נתונים בפקס וטקסט מכיוון שהוא ממזער את גודל הקובץ ומגביר את מהירות השידור.
• קידוד האפמן (במיוחד קודי הקידומת) משמש במספר פורמטי אחסון מולטימדיה, כולל JPEG, PNG ו-MP3, כדי לדחוס את הקבצים.
• האפמן קידוד משמש בעיקר לדחיסת תמונה.
• כאשר יש לשלוח מחרוזת של תווים שחוזרים על עצמם לעתים קרובות, זה יכול להיות מועיל יותר.

סיכום

• באופן כללי, Huffman Coding מועיל לדחיסת נתונים המכילים תווים המתרחשים לעתים קרובות.
• אנו יכולים לראות שלתו המופיע בתדירות הגבוהה ביותר יש את הקוד הקצר ביותר, ואילו לתו המופיע בתדירות הגבוהה ביותר יש את הקוד הגדול ביותר.
• טכניקת הדחיסה של Huffman Code משמשת ליצירת קידוד באורך משתנה, המשתמש בכמות מגוונת של ביטים עבור כל אות או סמל. שיטה זו עדיפה על קידוד באורך קבוע מכיוון שהיא משתמשת בפחות זיכרון ומשדרת נתונים מהר יותר.
• עיין במאמר זה כדי להכיר טוב יותר את האלגוריתם החמדן.