Il giorno giovedì 24 ottobre 2019 10:24:02 UTC+2, Soviet_Mario ha scritto:
> ti ringrazio per gli spunti ... ma non credo di avere le
> spalle matematicamente abbastanza larghe da poter affrontare
> autonomamente le letture proposte cavandone qualcosa :(
Ho cercato di introdurre la definizione di Shannon in un esempio su un foglio dinamico, di cui dirò in seguito.
Ho quattro colori, il messaggio è un particolare colore scelto (mettiamo il "blu").
Quale sarà?
Posso fare solo domande la cui risposta sia "sì" o "no", ad esempio "è verde ovvero blu?"
Non posso dire che debba per forza fare quattro domande del tipo "è rosso?", "è blu?": ne bastano due: "è rosso o blu?" se la risposta è positiva, domando "è rosso?" alla risposa negativa so che è il "blu".
La misura dell'informazione è 2 bit, due domande binarie.
Mettiamo di avere n colori, con n pari, e che tutti i colori siano equiprobabili, allora il numero di colori e di domande binarie necessarie sono legate dalla legge:
2^(numero - massimo - di domande necessarie) = numero di colori
ovvero
Numero di domande binarie = logaritmo in base due del numero di colori.
Qualcuno preferisce vedere il logaritmo in base due della probabilità di uscita di ogni singolo colore, che in questo caso è log2(1/4)=-2 e cambiare di segno.
Ma se i colori non sono equiprobabili allora non tutte le domande avranno lo stesso peso: ogni "logaritmo" andrà pesato con la probabilità che la domanda corrispondente colga nel segno.
Questi "pesi", nel foglio dinamico
Entropia e informazione
https://www.geogebra.org/m/Rng5BcBF
possono essere cambiati.
Se tutti valgono 0.25 ricadiamo nel caso della equiprobabilità, ma se vale ad esempio il caso iniziale
probabilità_rosso = 1/2
probabilità_verde = 1/4
probabilità_blu = 1/8 da cui
probabilità_magenta = 1/8
Il numero medio di domande diminuisce e diventa 1.75 anziché 2: l'entropia è diminuita e il suo opposto, l'informazione, è aumentata.
1.75 bit = -somma_i (p_i * log2 (p_i))-[1/2 log2(1/2) + 1/4 log2(1/4) + 1/8 log2(1/8) + 1/8 log2(1/8)]= 7/4 = 1.75
https://www.wolframalpha.com/input/?i=-%5B1%2F2+log2%281%2F2%29+%2B+1%2F4+log2%281%2F4%29+%2B+1%2F8+log2%281%2F8%29+%2B+1%2F8+log2%281%2F8%29%5D
Vengono simulati degli esiti medi attraverso il pulsante "Ricalcola!"
Questa è la matematica necessaria, penso sia abbondantemente nelle tue spalle.
Furio
Received on Thu Oct 24 2019 - 11:08:08 CEST