Re: entropia e informazione

From: Paolo Russo <paolrus_at_libero.it>
Date: Fri, 25 Oct 2019 11:34:21 +0200

[Soviet_Mario:]
> Esiste qualche modo, come dire "matematico", per analizzare
> dei dati e capire quanto rumore bianco e quanta informazione
> "pregiata" contengano ?

Secondo me no. Un'informazione pregiata perfettamente
compressa sarebbe indistinguibile da un rumore casuale (per
chiunque non ne conosca la codifica).
In generale, qualunque informazione e` tale solo per chi ne
conosce la codifica. Se voglio inviare un messaggio
universale, che chiunque possa capire, devo metterci
abbastanza ridondanza da consentire di intuirne la codifica,
che dev'essere semplice.
In sostanza, devo codificare nel messaggio informazioni
sicuramente gia` note al destinatario per fargli capire
com'e` fatta la codifica. Per un messaggio diretto ad alieni
potrei trarre queste informazioni da matematica, fisica,
chimica, astronomia; serve quindi, in generale, una base
comune di conoscenza. Deve trattarsi di una base
abbastanza utile da consentire di ricondurre direttamente o
indirettamente ogni informazione presente nel messaggio a
concetti noti presi da quella base. Tanto per intenderci,
con una base di pura matematica non si andrebbe tanto
lontano da poter decodificare neanche un semplice "ho fame".

Non credo quindi che sia definibile un criterio matematico
(cioe` un algoritmo) per determinare il contenuto di
informazione "pregiata" di un messaggio senza conoscerne la
codifica. L'algoritmo dovrebbe riuscire a decodificarlo, ma
i messaggi codificati ottimamente sarebbero in generale
indecifrabili. Per decifrare almeno quelli decifrabili,
l'algoritmo dovrebbe sfruttarne la ridondanza e usare una
base comune di conoscenza; dovrebbe quindi includere
qualcosa che esula dalla pura matematica (per rispondere
alla tua domanda).

Ciao
Paolo Russo
Received on Fri Oct 25 2019 - 11:34:21 CEST