Conceptul de entropie informațională implică logaritmul negativ al funcției de masă de probabilitate pentru o valoare. Astfel, atunci când sursa de date are o valoare cu o probabilitate mai mică (adică când are loc un eveniment cu o probabilitate scăzută), evenimentul poartă mai multe „informații” („surpriză”) decât atunci când datele sursă au o valoare cu o probabilitate mai mare..
Cantitatea de informație transmisă de fiecare eveniment definit în acest fel devine o variabilă aleatoare a cărei valoare așteptată este entropia informației. În general, entropia se referă la dezordine sau incertitudine, iar definiția sa folosită în teoria informației este direct analogă cu cea folosită în termodinamica statistică. Conceptul de IE a fost introdus de Claude Shannon în lucrarea sa din 1948 „A Mathematical Theory of Communication”. De aici provine termenul „entropia informațională a lui Shannon”.
Definiție și sistem
Modelul de bază al unui sistem de transmisie a datelor constă din trei elemente: o sursă de date, un canal de comunicație și un receptor,și, după cum spune Shannon, „problema de comunicare de bază” este ca receptorul să poată identifica ce date au fost generate de sursă pe baza semnalului pe care îl primește pe canal. Entropia oferă o constrângere absolută pentru cea mai scurtă lungime de codare fără pierderi posibilă a datelor sursă comprimate. Dacă entropia sursei este mai mică decât lățimea de bandă a canalului de comunicație, datele pe care le generează pot fi transmise în mod fiabil către receptor (cel puțin în teorie, neglijând poate unele considerații practice precum complexitatea sistemului necesar pentru transmiterea datelor). și timpul necesar pentru transmiterea datelor).
Entropia informației este de obicei măsurată în biți (numiți alternativ „shannons”) sau uneori în „unități naturale” (nats) sau zecimale (numite „dits”, „bans” sau „hartleys”). Unitatea de măsură depinde de baza logaritmului, care este folosită pentru a determina entropia.
Proprietăți și logaritm
Distribuția log-probabilității este utilă ca măsură a entropiei deoarece este aditivă pentru sursele independente. De exemplu, entropia unui pariu corect al unei monede este de 1 bit, în timp ce entropia m-volumelor este de m biți. Într-o reprezentare simplă, log2(n) biți sunt necesari pentru a reprezenta o variabilă care poate lua una dintre n valori dacă n este o putere de 2. Dacă aceste valori sunt la fel de probabile, entropia (în biți) este egal cu acel număr. Dacă una dintre valori este mai probabilă decât celel alte, observația că estesemnificația apare, este mai puțin informativ decât dacă ar avea loc un rezultat mai puțin general. În schimb, evenimentele mai rare oferă informații suplimentare de urmărire.
Deoarece observarea unor evenimente mai puțin probabile este mai puțin frecventă, nu există nimic în comun că entropia (considerată a fi informație medie) obținută din date distribuite neuniform este întotdeauna mai mică sau egală cu log2(n). Entropia este zero atunci când este definit un rezultat.
Entropia informațională a lui Shannon cuantifică aceste considerații atunci când distribuția probabilității datelor de bază este cunoscută. Sensul evenimentelor observate (sensul mesajelor) este irelevant în definiția entropiei. Acesta din urmă ia în considerare doar probabilitatea de a vedea un anumit eveniment, astfel încât informațiile pe care le încapsulează sunt date despre distribuția de bază a posibilităților, nu despre semnificația evenimentelor în sine. Proprietățile entropiei informațiilor rămân aceleași ca cele descrise mai sus.
Teoria informației
Ideea de bază a teoriei informației este că, cu cât știi mai multe despre un subiect, cu atât poți obține mai puține informații despre el. Dacă un eveniment este foarte probabil, nu este surprinzător când are loc și, prin urmare, oferă puține informații noi. În schimb, dacă evenimentul a fost improbabil, a fost mult mai informativ faptul că evenimentul s-a întâmplat. Prin urmare, sarcina utilă este o funcție crescătoare a probabilității inverse a evenimentului (1 / p).
Acum, dacă au loc mai multe evenimente, entropiemăsoară conținutul mediu de informații la care vă puteți aștepta dacă are loc unul dintre evenimente. Aceasta înseamnă că aruncarea unui zar are mai multă entropie decât aruncarea unei monede, deoarece fiecare rezultat din cristal are o probabilitate mai mică decât rezultatul fiecărei monede.
Funcții
Astfel, entropia este o măsură a impredictibilității unei stări sau, ceea ce este același lucru, a conținutului său mediu de informații. Pentru a obține o înțelegere intuitivă a acestor termeni, luați în considerare exemplul unui sondaj politic. De obicei, astfel de sondaje au loc deoarece rezultatele, de exemplu, ale alegerilor nu sunt încă cunoscute.
Cu alte cuvinte, rezultatele sondajului sunt relativ imprevizibile și, de fapt, efectuarea acestuia și examinarea datelor oferă câteva informații noi; sunt doar moduri diferite de a spune că entropia anterioară a rezultatelor sondajului este mare.
Acum luați în considerare cazul în care același sondaj este efectuat a doua oară, la scurt timp după primul. Deoarece rezultatul primului sondaj este deja cunoscut, rezultatele celui de-al doilea sondaj pot fi bine prezise și rezultatele nu trebuie să conțină multe informații noi; în acest caz, entropia a priori a celui de-al doilea rezultat al sondajului este mică în comparație cu primul.
Coin Toss
Acum luați în considerare exemplul aruncării unei monede. Presupunând că probabilitatea cozilor este aceeași cu probabilitatea capetelor, entropia aruncării unei monede este foarte mare, deoarece este un exemplu deosebit de entropia informațională a unui sistem.
Aceasta se datorează faptului căcă este imposibil de prezis că rezultatul unei monede este aruncat înainte de timp: dacă trebuie să alegem, cel mai bine putem face este să prezicem că moneda va ateriza pe cozi și această predicție va fi corectă cu o probabilitate de 1 / 2. O astfel de aruncare a unei monede are un bit de entropie, deoarece există două rezultate posibile care se întâmplă cu probabilitate egală, iar studierea rezultatului real conține un bit de informație.
Dimpotrivă, aruncarea unei monede folosind ambele părți cu cozi și fără capete are entropie zero, deoarece moneda va ateriza întotdeauna pe acest semn și rezultatul poate fi prezis perfect.
Concluzie
Dacă schema de compresie este fără pierderi, adică puteți recupera oricând întregul mesaj original prin decomprimare, atunci mesajul comprimat are aceeași cantitate de informații ca și originalul, dar este transmis în mai puține caractere. Adică are mai multe informații sau entropie mai mare pe caracter. Aceasta înseamnă că mesajul comprimat are mai puțină redundanță.
Aproximativ vorbind, teorema de codificare a codului sursă a lui Shannon afirmă că o schemă de compresie fără pierderi nu poate reduce mesajele în medie pentru a avea mai mult de un bit de informație pe bit de mesaj, dar poate fi obținută orice valoare mai mică de un bit de informație pe bit. mesaje folosind schema de codificare adecvată. Entropia unui mesaj în biți ori lungimea sa este o măsură a câte informații generale conține.
