Re: Pesa più una chiavetta USB vuota o una chiavetta USB piena?

From: Michele Andreoli <luogosano_at_gmail.com>
Date: Tue, 14 Sep 2021 04:04:15 -0700 (PDT)

Il giorno martedì 14 settembre 2021 alle 08:40:03 UTC+2 Giorgio Pastore ha scritto:

> Questa però non è l'entropia di Shannon ma l'entropia algoritmica
> (Kolmogorov). La differenza fondamentale è che la prima è una proprietà
> di una distribuzione di probabilità, mentre la seconda di un microstato.

Scusa, non sono un esperto di questa roba. Grazie della precisazione.



In effetti, era meglio dare come entropia S la definizione di Shannon ( cioè S=-<ln(p)>, dove p(i) sono le probabilità a priori con cui ci aspettiamo il simbolo (i)) dato che assomiglia molto di più a quella della Termodinamica di quella di Kolmogorov, che è invece connessa all'informazione di una singola stringa (mi pare di capire).

> > Problema: ma l'entropia di Shannon può essere usata nel Primo Principio delle Termodinamica??
> Tocchi un punto delicato nell' uso disinvolto dell'entropia nella fisica
> contemporanea. Sicuramente ci sono sistemi fisici tali che la
> probabilità dei microstati non dipende dall'energia.

Ma quali sono le differenze e le analogie tra l'entropia termodinamica e quella di Shannon?

In Shannon, abbiamo dei simboli (i) e la percentuale (media) p(i) con cui vengono "occupati" dai bit della sequenza. In Termodinamica abbiamo i livelli energetici (i) e i numeri di occupazione n(i).

Sembrano definzioni molto simili, ma le domande che vengono in mente sono tante.

Ma cosa succede se se questi livelli sono degeneri in energia?


La derivata dS/dE, per esempio, è sempre positiva? In termodinamica, la derivata fa 1/T, ma con l'entropia di Shannon? Va considerata T=infinito?


Nei testi di termodinamica statistica, S viene introdotta come funzionale, e l'equilibrio cercato annullandone le derivate rispetto ai numeri di occupazione.
Perchè non potrebbe essere la stessa cosa anche per l'entropia di Shannon?

> Giorgio

ciao
Received on Tue Sep 14 2021 - 13:04:15 CEST