Teoria informației
From Wikipedia, the free encyclopedia
Teoria informației este o ramură a matematicii aplicate și a ingineriei electrice care se ocupă cu studierea cuantificării, stocării și comunicării informației. Aceasta a fost propusă inițial de Claude E. Shannon în anul 1948, pentru a găsi limitele fundamentale ale procesării semnalelor și ale operațiilor din telecomunicații, precum compresia datelor, într-un articol remarcabil, intitulat „O teorie matematică a comunicației”. Apoi, cu timpul, teoria informației a fost extinsă, fiind aplicată în multe alte domenii, inclusiv în neurobiologie [1], evoluție [2], genetică [3], ecologie [4], termodinamică [5], calculatoare cuantice, detecția plagiatelor [6] și alte discipline care implică analiza datelor și exploatare de date (data mining) [7].
O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.
Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor telecomunicaționale (codurile detectoare și corectoare de erori).
Acest sector științific se află la intersecția mai multor domenii de studiu tradiționale : matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesul misiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne în lingvistică și psihologia cognitivă (percepția senzorială umană), înțelegerii găurilor negre, genomică și multor altor domenii .