資訊理論(粵拼:zi1 seon3 lei5 leon6;英文:information theory)係一套數學理論,專研究資訊要點量化、儲起同傳達。呢套理論嘅核心概念係所謂嘅熵[註 1]-資訊熵係個指標,用嚟度一個有隨機性質嘅變數或者過程帶有幾多不確定喺入面[1][2]。舉個簡化例子,想像家吓掟一個銀仔同擲一粒六面嘅骰仔,假設個銀仔同粒骰仔都係冇出千嘅[註 2]:
- 掟銀仔( 表示掟銀仔結果;0 代表公、1 代表字)[1][3]:
- 擲骰仔( 表示擲到嘅數字):
掟一個銀仔有兩個可能結果,而擲一粒六面骰有 6 個可能結果。擲骰仔當中有更多可能性喺度,所以不確定程度亦都更大-有更高嘅資訊熵;一個人知道咗一次掟銀仔或者擲骰仔嘅結果嗰陣,佢會清楚知道結果-資訊熵變成 0。對比兩個情況,「話俾人知掟銀仔嘅結果」俾到嘅資訊(消除嘅資訊熵)少過「話俾人知擲骰仔嘅結果」所俾嘅。由呢個例子睇得出,資訊理論做到將資訊呢個概念量化,令資訊成為喺科學上可以攞嚟研究嘅對象[4]。
資訊理論自從廿世紀中以嚟就一路都有影響力:資訊理論係由美國電機工程師克勞迪山農喺 1948 年諗出嚟嘅,嗰陣時山農喺度研究訊號處理,跟手出咗佢篇著名論文《通訊嘅數學理論》,喺篇文當中提出咗資訊理論嘅諗頭[5];自從嗰時開始,資訊理論就俾人廣泛噉用落去好多領域度,好似係「啲數據要點壓縮」同頻道容量等嘅研究課題都會用到資訊理論,包括 CD、手機、互聯網、語言研究同埋對黑洞嘅理解... 等嘅多種技術同理論都係有資訊理論先至搞得成嘅[6][7]。
到咗廿一世紀初,資訊理論經已有龐大嘅概念體系,企正喺數學、統計學、電腦科學、物理學[8][9]、電子工程、神經科學[10]同人工智能[11]等領域嘅交界,亦都有俾人應用落去做推論統計、自然語言處理[12]同密碼學等嘅工作[13]。