המושג של אנטרופיה מידע מרמז על הלוגריתם השלילי של פונקציית מסת ההסתברות עבור ערך. לפיכך, כאשר למקור הנתונים יש ערך עם הסתברות נמוכה יותר (כלומר, כאשר מתרחש אירוע עם הסתברות נמוכה), האירוע נושא יותר "מידע" ("הפתעה") מאשר כאשר לנתוני המקור יש ערך עם הסתברות גבוהה יותר.
כמות המידע שמועברת על ידי כל אירוע המוגדר בצורה זו הופכת למשתנה אקראי שהערך הצפוי שלו הוא אנטרופיית המידע. באופן כללי, אנטרופיה מתייחסת לאי-סדר או אי-ודאות, והגדרתה המשמשת בתורת המידע מקבילה ישירות לזו המשמשת בתרמודינמיקה סטטיסטית. המושג IE הוצג על ידי קלוד שאנון במאמרו משנת 1948 "תיאוריה מתמטית של תקשורת". מכאן הגיע המונח "אנטרופיית המידע של שאנון".
הגדרה ומערכת
המודל הבסיסי של מערכת העברת נתונים מורכב משלושה אלמנטים: מקור נתונים, ערוץ תקשורת ומקלט,וכפי שאנון מגדירה זאת, "בעיית התקשורת הבסיסית" היא שהמקלט יוכל לזהות אילו נתונים נוצרו על ידי המקור על סמך האות שהוא מקבל בערוץ. אנטרופיה מספקת מגבלה מוחלטת על אורך הקידוד הממוצע ללא הפסדים הקצר ביותר של נתוני מקור דחוסים. אם האנטרופיה של המקור קטנה מרוחב הפס של ערוץ התקשורת, ניתן להעביר את הנתונים שהוא מייצר בצורה מהימנה למקלט (לפחות בתיאוריה, אולי תוך התעלמות מכמה שיקולים מעשיים כמו מורכבות המערכת הנדרשת להעברת הנתונים ומשך הזמן שעשוי לקחת להעברת נתונים).
אנטרופיית מידע נמדדת בדרך כלל בסיביות (לחלופין נקראות "שאנונים") או לפעמים ב"יחידות טבעיות" (נטים) או במקומות עשרוניים (הנקראים "dits", "bans" או "hartleys"). יחידת המדידה תלויה בבסיס הלוגריתם, המשמש לקביעת האנטרופיה.
מאפיינים ולוגריתם
התפלגות ההסתברות ביומן שימושית כמדד לאנטרופיה מכיוון שהיא מתווספת למקורות בלתי תלויים. לדוגמה, האנטרופיה של הימור הוגן של מטבע היא 1 סיביות, בעוד האנטרופיה של m-נפחים היא m סיביות. בייצוג פשוט, יש צורך בסיביות log2(n) כדי לייצג משתנה שיכול לקבל אחד מ-n ערכים אם n הוא חזקת 2. אם ערכים אלו סבירים באותה מידה, האנטרופיה (בסיביות) היא שווה למספר הזה. אם אחד הערכים סביר יותר מהאחרים, התצפית שכןהמשמעות מתרחשת, היא פחות אינפורמטיבית מאשר אם תתרחש תוצאה פחות כללית כלשהי. לעומת זאת, אירועים נדירים יותר מספקים מידע מעקב נוסף.
מכיוון שהצפייה באירועים פחות סבירים היא תכופה פחותה, אין שום דבר משותף לכך שהאנטרופיה (הנחשבת למידע ממוצע) המתקבלת מנתונים בחלוקה לא אחידה תמיד קטנה או שווה ל-log2(n). האנטרופיה היא אפס כאשר תוצאה אחת מוגדרת.
אנטרופיית המידע של שאנון מכמתת את השיקולים הללו כאשר התפלגות ההסתברות של הנתונים הבסיסיים ידועה. המשמעות של אירועים נצפים (משמעות מסרים) אינה רלוונטית בהגדרת אנטרופיה. זה האחרון לוקח בחשבון רק את ההסתברות לראות אירוע מסוים, כך שהמידע שהוא עוטף הוא נתונים על ההתפלגות הבסיסית של האפשרויות, לא על המשמעות של האירועים עצמם. המאפיינים של אנטרופיית מידע נשארים זהים כמתואר לעיל.
תורת המידע
הרעיון הבסיסי של תורת המידע הוא שככל שאדם יודע יותר על נושא, כך ניתן לקבל פחות מידע עליו. אם אירוע סביר מאוד, זה לא מפתיע כשהוא מתרחש ולכן מספק מעט מידע חדש. לעומת זאת, אם האירוע היה בלתי סביר, זה היה הרבה יותר אינפורמטיבי שהאירוע התרחש. לכן, המטען הוא פונקציה גוברת של ההסתברות ההפוכה של האירוע (1 / p).
עכשיו אם עוד אירועים יקרו, אנטרופיהמודד את תוכן המידע הממוצע שאתה יכול לצפות לו אם אחד מהאירועים מתרחש. משמעות הדבר היא שלהטלת קובייה יש יותר אנטרופיה מאשר הטלת מטבע, כי לכל תוצאת גביש יש סבירות נמוכה יותר מכל תוצאת מטבע.
תכונות
לכן, אנטרופיה היא מדד לאי-חיזוי של מדינה או, שזה אותו הדבר, לתוכן המידע הממוצע שלה. כדי לקבל הבנה אינטואיטיבית של מונחים אלה, שקול את הדוגמה של סקר פוליטי. בדרך כלל סקרים כאלה קורים כי התוצאות של, למשל, בחירות עדיין לא ידועות.
במילים אחרות, תוצאות הסקר אינן צפויות יחסית, ולמעשה עריכתו ובחינת הנתונים מספקות מידע חדש; הן רק דרכים שונות לומר שהאנטרופיה הקודמת של תוצאות הסקר היא גדולה.
עכשיו שקול את המקרה שבו אותו סקר מבוצע פעם שנייה זמן קצר לאחר הראשון. מכיוון שתוצאת הסקר הראשון כבר ידועה, ניתן לחזות היטב את תוצאות הסקר השני והתוצאות לא אמורות להכיל מידע חדש רב; במקרה זה, האנטרופיה האפריורית של תוצאת הסקר השנייה קטנה בהשוואה לראשונה.
הטלת מטבע
עכשיו שקול את הדוגמה של הטלת מטבע. בהנחה שההסתברות של זנבות זהה להסתברות של ראשים, האנטרופיה של הטלת מטבע היא גבוהה מאוד, מכיוון שהיא דוגמה מוזרה לאנטרופיה אינפורמטיבית של מערכת.
זה בגללשאי אפשר לחזות שתוצאה של מטבע נזרקת מבעוד מועד: אם אנחנו צריכים לבחור, הכי טוב שאנחנו יכולים לעשות זה לחזות שהמטבע ינחת על זנבות, ותחזית זו תהיה נכונה בסבירות של 1 / 2. להטלת מטבע כזו יש אנטרופיה של ביט אחד, מכיוון שיש שתי תוצאות אפשריות שמתרחשות בהסתברות שווה, וחקר התוצאה בפועל מכיל סיביות אחת של מידע.
להפך, להטלת מטבע באמצעות שני הצדדים עם זנבות וללא ראשים יש אפס אנטרופיה שכן המטבע תמיד ינחת על השלט הזה וניתן לחזות את התוצאה בצורה מושלמת.
מסקנה
אם סכימת הדחיסה היא ללא אובדן, כלומר תמיד תוכל לשחזר את כל ההודעה המקורית על ידי ביטול דחיסה, אזי ההודעה הדחוסה מכילה את אותה כמות מידע כמו במקור, אך היא מועברת בפחות תווים. כלומר, יש לו יותר מידע או אנטרופיה גבוהה יותר לכל תו. המשמעות היא שלהודעה הדחוסה יש פחות יתירות.
באופן גס, משפט הקוד המקור של שאנון קובע שסכימת דחיסה ללא אובדן לא יכולה לצמצם הודעות בממוצע כדי שיהיו יותר מסיבית מידע אחת לסיבית הודעה, אך ניתן להשיג כל ערך של פחות מסיבית מידע אחת לכל סיביות. הודעות באמצעות ערכת הקידוד המתאימה. האנטרופיה של הודעה בסיביות כפול אורכה היא מדד לכמות המידע הכללי שהיא מכילה.
