Інформаційна ентропія: визначення поняття, властивості, система
Опубликованно 19.11.2018 01:14
Поняття інформаційної ентропії передбачає негативний логарифм функції маси імовірності значення. Таким чином, коли джерело даних має значення з меншою ймовірністю (тобто, коли відбувається подія з низькою ймовірністю), подія переносить більше «інформації» («сюрприз»), ніж, коли вихідні дані мають значення з більш високою ймовірністю.
Обсяг інформації, що передається кожним подією, визначеним таким чином, стає випадковою величиною, очікуваним значенням якої є інформаційна ентропія. Як правило, ентропія відноситься до безладу або невизначеності, а її визначення, що використовується в теорії інформації, безпосередньо аналогічно визначенню, використовуваному в статистичної термодинаміки. Концепція ИЭ була введена Клодом Шенноном в його статті 1948 року «Математична теорія комунікації». Звідси і виник термін "інформаційна ентропія Шеннона".
Визначення і система
Базова модель системи передачі даних складається з трьох елементів: джерела даних, каналу зв'язку і приймача, і, як виражається Шеннон, «основна проблема зв'язку» полягає в тому, щоб одержувач міг ідентифікувати дані, які були згенеровані джерелом, на основі сигналу, який він отримує по каналу. Ентропія забезпечує абсолютне обмеження на найкоротшу можливу середню довжину кодування без втрат стислих даних з джерела. Якщо ентропія джерела менше пропускної здатності каналу зв'язку, дані, генеровані ним, можуть бути надійно передані приймача (принаймні теоретично, можливо, нехтуючи деякими практичними міркуваннями, такими як складність системи, необхідної для передачі даних і кількості часу, що може знадобитися для передачі даних).
Інформаційна ентропія зазвичай вимірюється в бітах (альтернативно званих «шэннонами») або іноді в «природних одиницях» (nats) або десяткових розрядах (званих «dits», «bans» або «hartleys»). Одиниця виміру залежить від бази логарифма, яка використовується для визначення ентропії.
Властивості і логарифм
Логарифм розподілу ймовірностей корисний як міра ентропії, тому що він аддитивен для незалежних джерел. Наприклад, ентропія справедливої ставки монети складає 1 біт, а ентропія m-томів - це m біт. У простому уявленні біти log2 (n) необхідні для представлення змінної, яка може приймати одне з n значень, якщо n не є ступенем 2. Якщо ці значення однаково вірогідні, ентропія (в бітах) дорівнює цьому числу. Якщо одне із значень більш ймовірно, ніж інші, спостереження, що відбувається, менш інформативно, ніж якби стався якийсь менш загальний результат. І навпаки, більш рідкісні події надають додаткову інформацію при спостереженні.
Оскільки спостереження менш ймовірних подій відбувається рідше, немає нічого спільного, що ентропія (вважається середньої інформацією), отримана з нерівномірно розподілених даних, завжди менше або дорівнює log2 (n). Ентропія дорівнює нулю, коли один результат визначений.
Інформаційна ентропія Шеннона кількісно визначає ці міркування, коли відомо розподіл ймовірностей вихідних даних. Зміст спостережуваних подій (зміст повідомлень) не має значення у визначенні ентропії. Остання враховує тільки ймовірність спостереження певної події, тому інформація, яку воно інкапсулює, являє собою дані про які лежать в основі розподілу можливостях, а не про значення самих подій. Властивості інформаційної ентропії при цьому залишаються тими ж, що були описані вище.
Теорія інформації
Основна ідея теорії інформації полягає в тому, що чим більше людина знає про теми, тим менше інформації про неї можна отримати. Якщо подія дуже ймовірно, це не дивно, коли це відбувається і, отже, дає мало нової інформації. І навпаки, якщо подія було неймовірним, набагато більш інформативним було те, що сталося подія. Отже, інформаційне наповнення є зростаючою функцією зворотного ймовірності події (1 / p).
Тепер, якщо відбудеться більше подій, ентропія вимірює середній інформаційний контент, який ви можете очікувати, якщо відбудеться одна з подій. Це означає, що лиття штампа має більше ентропії, ніж кидання монети, тому що кожен результат кристала має меншу ймовірність, що кожен результат монети.
Особливості
Таким чином, ентропія є мірою непередбачуваності стану або, що теж саме, його середнього вмісту. Щоб отримати інтуїтивне розуміння цих термінів, розгляньте приклад політичного опитування. Зазвичай такі опитування трапляються, тому що результати, наприклад, виборів ще не відомі.
Іншими словами, результати опитування щодо непередбачувані, і насправді його проведення та вивчення даних дають деяку нову інформацію; це просто різні способи сказати, що апріорна ентропія результатів опитування велика.
Тепер розглянемо випадок, коли один і той же опитування виконується другий раз незабаром після першого. Оскільки результат першого опитування вже відомий, показники другого опитування можуть бути добре передбачені, і результати не повинні містити багато нової інформації; у цьому випадку апріорна ентропія другого результату опитування мала в порівнянні з першою.
Кидок монети
Тепер розглянемо приклад кидка монети. Припускаючи, що ймовірність решки збігається з ймовірністю орла, ентропія кидка монети має дуже високе значення, оскільки є своєрідним прикладом інформаційної ентропії системи.
Це пов'язано з тим, що неможливо передбачити, що результат монети закидається достроково: якщо нам потрібно буде вибирати, найкраще, що ми можемо зробити, - це передбачити, що монета впаде решкою, і цей прогноз буде правильним з ймовірністю 1 / 2. Такий кидок монети має один біт ентропії, так як є два можливих результату, які відбуваються з однаковою ймовірністю, а вивчення фактичного результату містить один біт інформації.
Навпаки, кидок монети, що використовує обидві сторони з решками і без орлов, має нульову ентропію, так як монета завжди впаде на цей знак, і результат можна передбачити відмінно.
Висновок
Якщо схема стиснення не має втрат, тобто ви завжди можете відновити всі вихідне повідомлення, розпаковуючи, тоді стисле повідомлення має таку ж кількість інформації, що і оригінал, але передається меншою кількістю символів. Тобто він має більше інформації або більш високу ентропію на кожен символ. Це означає, що стисле повідомлення має меншу надмірність.
Грубо кажучи, теорема про кодування вихідного коду Шеннона говорить: схема стиснення без втрат не може скорочувати повідомлення у середньому, щоб мати більше одного біта інформації на біт повідомлення, але може бути досягнуто будь-яке значення, менше одного біта інформації на біт повідомлення, використовуючи відповідну схему кодування. Ентропія повідомлення в бітах, помножена на його довжину, є мірою того, скільки загальної інформації міститься в ньому. Автор: Ольгерд Семенов 15 Жовтня, 2018
Категория: Студентам