Teoriya ng impormasyon

Basic concepts ng teorya ipinakilala sa forties ng ikadalawampu siglo, Shannon. teoriya ng impormasyon - ang agham ng proseso ng paglilipat, pag-iimbak at pagbawi ng data sa natural, teknikal at panlipunang sistema. Sa maraming mga application ng siyentipikong mga patlang tulad ng computer science, lingguwistika, cryptography, control teorya, image processing, genetics, sikolohiya, ekonomiya, organisasyon ng mga pamamaraan ng produksyon ay ginagamit na ito science.

Sa modernong mga kondisyon na may impormasyon teorya napaka-mahigpit na naka-link sa isang coding teorya, tinatalakay ang pinaka-karaniwang mga problema ng pag-alinsunod sa pagitan ng isang signal at ang isang mensahe, at ang teorya ng signal processing, kung saan ang quantization aral at pagbawi signal at parang multo at ugnayan pagtatasa hinggil doon.

teoriya ng impormasyon ay isinasaalang-alang ang mga pangunahing konsepto ng "impormasyon" para sa pinaka-bahagi quantitatively, nang hindi isinasaalang-alang ang halaga nito, at kung minsan walang kahulugan. Sa ganitong paraan, ang isang pahina ng teksto ay naglalaman ng humigit-kumulang sa parehong halaga ng data natutukoy sa pamamagitan ng isang bilang ng mga palatandaan at mga simbolo, at hindi umaasa sa ang katunayan na, mahigpit na nagsasalita, may naka-print, kahit na ito ay ganap na walang saysay at magulong hanay ng ilang mga simbolo.

diskarte na ito ay nabigyang-katarungan, ngunit lamang para sa mga simulation ng sistema ng komunikasyon, dahil mayroon silang upang tumpak na ihatid ang impormasyon sa mga channel ng komunikasyon, na kung saan ay maaaring maging anumang hanay ng mga character at mga simbolo. Pagkatapos, kapag ito ay kinakailangan upang isaalang-alang ang halaga at kahulugan ng data, nabibilang na diskarte ay hindi katanggap-tanggap. Ang mga pangyayari magpataw ng makabuluhang mga paghihigpit sa patlang ng mga posibleng aplikasyon ng teorya na ito.

Fundamentals ng impormasyon teorya nagsasangkot ng pagsasaalang-alang ng iba't-ibang mga isyu, kabilang ang direktang kaugnay sa pagpapadala at pagtanggap ng data. Ang pangunahing komunikasyon scheme, na kung saan ay isinasaalang-alang sa ang pagtuturo ay ang mga sumusunod. Impormasyon Teorya at coding Isinasaalang-alang niya na ito ay ang pinagmulan ng mga mensahe, na kung saan ay isang salita o grupo ng mga salitang nakasulat ng ilang letra ng alpabeto. Ang pinagmulan ng mga mensahe ay maaaring maging teksto sa anumang natural o artipisyal na wika, wika ng tao, database at ang ilang mga matematikal na mga modelo, ang paglikha ng isang pagkakasunod-sunod ng mga titik. Transmiter ay nag-convert ang mensahe sa isang senyas naaayon sa pisikal na katangian ng channel ng komunikasyon - medium para sa signal transmission. Sa panahon ng pagpasa ng naturang ito ay napapailalim sa pagkagambala, na ipakilala distortions sa ang halaga ng mga parameter na impormasyon. Ang receiver ay recovers ang orihinal na mensahe mula sa mga natanggap na pangit signal. Mensahe sa isang pinababang form na pagdating sa destination - ang isang tiyak na tao o isang teknikal na aparato.

message source ay statistical sa kalikasan, hal ang hitsura ng bawat mensahe ay natutukoy sa pamamagitan ng isang tiyak na bagay na maaaring mangyari. ni Shannon teoriya ng impormasyon ay naniniwala na kung ang probabilidad ng mensahe ay katumbas ng pagkakaisa, iyon ay, ng kanyang hitsura nang malaki-laki at uncertainties hindi naniniwala na ito ay hindi dalhin ang anumang impormasyon.

Isa sa mga mahalagang mga problema ng impormasyon teorya ay isinasaalang-alang ang koordinasyon ng ang channel ng komunikasyon at impormasyon ari-arian ng source mensahe. Bandwidth ay tinutukoy ng mga yunit ng 1 bit sa bawat segundo.

Isang problema sa mga sistema ng komunikasyon ay panghihimasok sa nais na landas signal. Shannon, sa kasamaang palad, ay hindi magbigay sa amin ng mga tiyak na mga pamamaraan para sa pagharap sa mga iyon. Ang pinakamadaling paraan ng pag-alis na paulit-ulit na maraming beses na mensahe ay hindi masyadong epektibo dahil ito ay tumatagal ng higit pang mga gastos na oras para sa pagpapadala ng impormasyon. Mas higit na kahusayan ay nagbibigay-daan sa paggamit ng code na nagbibigay-daan sa iyo upang matagpuan at iwasto ang mga error ng data paghahatid.