Re: entropia e informazione

From: Furio Petrossi <furio.petrossi_at_gmail.com>
Date: Thu, 24 Oct 2019 00:50:26 -0700 (PDT)

Il giorno giovedì 24 ottobre 2019 02:10:03 UTC+2, Giorgio Pastore ha scritto:
> Quindi una sequenza di uscite di un dado non truccato lanciato
> onestamente sarebbe problematico considerarla casuale? Mi sembra un po'
> eccessivo, visto che in fisica quello è un esempio di fenomeno che viene
> *definito* casuale.

Penso che nella fisica questo non costituisca problema in quanto...

> Finché non definisci l'informazione è un po' difficile anche ipotizzare
una risposta.

Ti giustamente indichi un contesto e probabilmente un uso.


Ad esempio se volessi calcolare un'area con il metodo di Montecarlo il dado è sicuramente meglio che una sequenza di numeri generati nel gioco della "morra".


Nel contesto di una misura fisica possiamo accettare il termine "casuale" per l'emissione dei numeri da parte del dado, anche se c'è tutta una teoria dietro la nostra accettazione di questa sorgente come casuale.


Shannon colloca la "definizione" (in realtà la misura) di informazione all'interno di un processo comunicativo - non a caso il suo articolo ha come titolo "A Mathematical Theory of Communication" non "(...) of Information"-
processo che schematizza così

(emittente)messaggio(trasmettitore)segnale trasmesso, (sorgente di rumore), segnale ricevuto , (ricevitore)messaggio(destinatario)


Se la parte centrale è l'emissione e la ricezione (disturbata) del messaggio ecco che siamo genericamente all'interno del quadro generale in cui si situa il post che ha dato origine al thread, che parla di "utilità" come premessa al seguito del discorso.

L'informazione è collocata da Shannon inizialmente dal lato emittente.

>(...)
> In ogni caso hai implicitamente assunto uno dei possibili significati di
> informazione ma neanche tu l'hai esplicitato.


Personalmente ho solo indicato due documenti che nel tempo mi hanno fatto pensare e dubitare. Come (forse) ricordi, trovo Chaitin ostico, ed in genere contrario al mio modo di pensare: appunto per questo lo prendo in forte considerazione.


Il processo indicato da Shannon per introdurre la misura dell'informazione si basa sulla probabilità "equally likely" e "influence of the statistics of the message" nel caso di un numero finito di messaggi (il metodo di misura l'hai indicato nel tuo post precedente)


Quello di Chaitin sulla possibilità di "sintetizzare" o comprimere la codifica; nel libro, sostanzialmente speculativo, entra anche un concezione della "legge" che a volte cozza con il "fare" del fisico.

Entrambi vengono dal mondo della tecnologia (Bell uno, IBM l'altro).

Il paradosso che Chaitin attribuisce a Borel è il seguente:

0) per "casuale" intendiamo qualcosa che non sia descrivibile da una particolare legge
1) esplicitiamo una definizione di "sequenza casuale finita", ad esempio di "1" e "0", per comodità metto 10 simboli in sequenza
2) ordiniamo la sequenza
3) consideriamo la prima sequenza che corrisponda alla nostra definizione di "casuale"


Ecco che tale sequenza "casuale" è in realtà descritta dalla legge che la indica come 'prima sequenza che corrisponda alla nostra definizione di "casuale"', quindi non è "casuale"

In conclusione.


E' vero, propendo per una definizione di informazione alla Shannon, tutta via parlare di informazione significa aver già risolto la definizione di:

caso, probabilità, legge,

oltre che aver già definito l' "utilità" o il contesto di cui si parla nel post iniziale.

Furio
Received on Thu Oct 24 2019 - 09:50:26 CEST