Posted By: Lumo (http://www.motl.org/) on 'CZscience'
Title: Informace a entropie
Date: Wed Nov 26 00:33:47 1997
Ahoj lidi!
Literatury o statistice apod. je hodne, ale pokusim se byt uceleny a
sobestacny. Pokud mate v pocitaci pamet N bitu, celkove tyto bity mohou
nabyvat 2^N (cti dve na entou) hodnot. Pocet bitu se tedy da psat jako
logaritmus poctu moznosti o zakladu dva.
Fyzici vetsinou nepouzivaji dvojkovy logaritmus, ale prirozeny logaritmus (o
zakladu e=2.71828...), ktery je jednoduse 1/ln(2) krat mensi nez logaritmus o
zakladu dva.
Co je to informace? Predpokladejme napriklad, ze v narode je polovina zen a
polovina muzu a mezi volici CSSD je 10% lidi s vlastni inteligenci. Mezi
volici SPR-RSC je 1% lidi, kteri maji vlastni sekundarni mozkovou cinnost
(prosim vas, nepranyrujte me za chyby na tretim desetinnem cisle, je to jen
priklad). Volicu CSSD budiz 30%.
Nyni nam nekdo rekne o nezname osobe, ze je to zena. Diky tomu, ze zen a muzu
je stejne, dostali jste informaci o hodnote jednoho bitu. Dale se dozvite, ze
voli CSSD, coz je prece jenom jeste trochu presnejsi a hodnotnejsi informace,
protoze volicu CSSD je mene nez 1/2.
Pak se dozvite, ze ta zena ma vlastni sekundarni mozkovou cinnost. To je
zjevne mnohem cennejsi informace, protoze je velmi neocekavana. Muzeme
vyjadrit v bitech, kolik te informace je?
Predstavme si, ze o nejakem muzi, co ma rad Miru Beana Sladka, se dozvime, ze
ma vlastni uvazovani. To je samozrejme jeste cennejsi informace nez podobna
informace o Zemanove fanynce, protoze odhadovana pravdepodobnost teto
udalosti byla jen jedno procento.
Muzeme rici, kolikrat je takova informace hodnotnejsi nez ta prvni? Muzeme ji
vycislit v bitech? Nekdo by nadhodil, ze tato informace ma cenu jednoho bitu,
protoze je formatu ano/ne. Ale ze zkusenosti s pocitaci moc dobre vime, ze
pokud zapiseme za sebe bity 1 (vlastni mozek) a 0 (obvykly volic) vsech
fanosku dr. Sladka, ziskame soubor, v nemz prevladaji razantne nuly, a pokud
na takovy soubor posleme dostatecne rozumny pakovaci program, tak nam ho
zpakuje na mnohem mene bitu.
Cili informace o tom, zda ma volic SPR-RSC vlastni mozek, ma hodnotu
prumerne mensi nez jeden bit! Kdyz se dozvime o dvou volickach CSSD, ze maji
mozek, ziskame tim znalost, jejiz pravdepodobnost jsme odhadovali na 0.1 krat
0.1 = 0.01, tj. jedno procento. To je stejna pravdepodobnost, jako kdyz se to
dozvime o jednom volici SPR-RSC. To jest informace schovana v tvrzeni o tom,
ze volic CSSD ma mozek, je jaksi polovicni proti podobne informaci o SPR-RSC
silenci.
Vime, ze pravdepodobnosti nezavislych jevu se nasobi. Diky elementarnim
vlastnostem logaritmu to znamena, ze logaritmy pravdepodobnosti nezavislych
jevu se scitaji. To nas vede k tomu, abychom definovali mnozstvi informace
schovane ve vyroku o pravdepodobnosti P (v bitech) jako dvojkovy logaritmus
1/P (neboli -log_2(P)). Informace o nekolika nezavislych jevech je pak proste
souctem informaci dilcich jevu.
Muzeme se take ptat na stredni hodnotu informace, Necht existuje N variant,
jejichz pravdepodobnosti jsou P_i, i=1...N, suma P_i=1. Pak lze jednoduse
rici, ze s pravdepodobnosti P_1 padne prvni varianta, tj. s pravdepodobnosti
P_1 je informace -log_2(P_1). Podobne s pravdepodobnosti P_2 je hodnota
informace rovna -log_2(P_2)... az s pravdepodobnosti P_N je informace
-log_2(P_N).
Prostym souctem ziskame stredni hodnotu informace jako
S = suma_{i=1...N} -P_i.log_2(P_i) bitu,
ktera se nazyva entropii (matematicky chapanou). Je to tataz entropie, kterou
zname z termodynamiky a statisticke fyziky, kde meri miru neusporadanosti
systemu, tj. stredni informaci, kterou se dozvime, kdyz nam nekdo rekne, v
jakem mikroskopickem stavu se system nachazi. Ve fyzice obvykle uzivame
prirozeny logaritmus (ktery je log_2(e)=1/ln(2) krat vetsi) a jeste nekdy
pridame faktor k, tzv. Boltzmannovu konstantu, prepocet mezi energii a
teplotou.
Lehce muzeme dokazat, ze stredni informace ve dvou nezavislych jevech je
stale dana souctem dilcich entropii. Maximalizaci entropie lze ziskat
kanonicke rozdeleni ve statisticke fyzice, at uz klasicke nebo kvantove.
Tak napriklad, pokud mame N variant, nejvetsi entropie je v pripade, ze
pravdepodobnost kazde z variant je stejna a rovna 1/N. Pokud jsou vsechny
pravdepodobnosti krome jedne nulove a ta jedna je rovna jedne, je entropie
zjevne nula. To jest, pokud vam nekdo oznami vetu, ktera je samozrejma a nema
realnou protivariantu, rekl vam nulovou informaci. Vidite, ze vzorce funguji
prirozene.
///// Superstring/M-theory is the language in which God wrote the world.
/// O __ Your Lumidek. mailto:motl@physics.rutgers.edu, motl@usa.net
/// ---------------------------------------------------
///_______/ http://www.kolej.mff.cuni.cz/~lumo/, http://www.motl.org/
Mazte zbytecne casti replikovanych postu. Uzijte hmat CTRL/K pro smazani radky!
-------------------------------------------------------------------------------