Re: Pesa più una chiavetta USB vuota o una chiavetta USB piena?

From: Giorgio Pastore <pastgio_at_units.it>
Date: Tue, 14 Sep 2021 22:27:16 +0200

Il 14/09/21 13:04, Michele Andreoli ha scritto:
> Il giorno martedì 14 settembre 2021 alle 08:40:03 UTC+2 Giorgio Pastore ha scritto:
>
>> Questa però non è l'entropia di Shannon ma l'entropia algoritmica
>> (Kolmogorov). La differenza fondamentale è che la prima è una proprietà
>> di una distribuzione di probabilità, mentre la seconda di un microstato.
>
> Scusa, non sono un esperto di questa roba. Grazie della precisazione.
>
>
>
> In effetti, era meglio dare come entropia S la definizione di Shannon ( cioè S=-<ln(p)>, dove p(i) sono le probabilità a priori con cui ci aspettiamo il simbolo (i)) dato che assomiglia molto di più a quella della Termodinamica di quella di Kolmogorov, che è invece connessa all'informazione di una singola stringa (mi pare di capire).

Esiste un teorema che dice che il valor medio dell'entropia di K. è ben
approssimato dall'entropia di Shannon. Sul significato delle p(i), sono
probabilità qualsiasi interpretzione si scelga.



>
>>> Problema: ma l'entropia di Shannon può essere usata nel Primo Principio delle Termodinamica??
>> Tocchi un punto delicato nell' uso disinvolto dell'entropia nella fisica
>> contemporanea. Sicuramente ci sono sistemi fisici tali che la
>> probabilità dei microstati non dipende dall'energia.
>
> Ma quali sono le differenze e le analogie tra l'entropia termodinamica e quella di Shannon?
>
> In Shannon, abbiamo dei simboli (i) e la percentuale (media) p(i) con cui vengono "occupati" dai bit della sequenza. In Termodinamica abbiamo i livelli energetici (i) e i numeri di occupazione n(i).

il confronto va fatto a 3:
1. entropia termodinamica
2. entropie della meccanica statistica (in principio ogni ensemble ne ha
almeno una)
3. entropia di Shannon

In generale non sono equivalenti. 2 => 1 solo al limite termodinamico,
se esiste. Ovvero solo per sistemi "grandi".
3 =>2 solo se le p(i) sono le probabilità dei microstati di un istema
all'equilibrio con le condizioni al controno corrispondenti ai diversi
ensemble. Ma ci sono molte più distribuzioni di probabilità di quelle
all'equilibrio.

Perciò 3 è più generale di 2 che lo è di 1.
Da notare che le entropie (2) non necessariamente garantiscono le
condizioni per la validità del II principio della termodinamica nelle
formulazioni classiche (Clausius/Kelvin).

> Sembrano definzioni molto simili, ma le domande che vengono in mente sono tante.
>
> Ma cosa succede se se questi livelli sono degeneri in energia?

Appunto. C'e' una linea di pensioero in fisica che parte dal presupposto
che qualsiasi cosa si comporti come l'entropia debba essere
*l'entropia*, dando per scontata una unicità tutta da dimostrare.

> La derivata dS/dE, per esempio, è sempre positiva? In termodinamica, la derivata fa 1/T, ma con l'entropia di Shannon? Va considerata T=infinito?

Già con la meccanica statistica vengono fuori i problemi. Per un sistema
isolato ci sono in giro 3 definizioni di entropia

S1 = k log Sigma
S2 = k log Gamma
S3 = k log omega
dove
Sigma = numero di stati fino ad energia E
Gamma = numero di stati a energia E
omega = d SIGMA / dE

Le definizioni sono ovviamente diverse ma comportano la stessa entropia
per unità di volume o per particella al limite termodinamico.
Una delle differenze è che S1 è per costruzione strettamente monotona in
energia mentre S2 no. Col risultato che S2 può descrivere sistemi finiti
con inversione di popolazione (temperature negative) meglio di S1. Per
sistemi "normali" sono invece indistinguibili.
>
>
> Nei testi di termodinamica statistica, S viene introdotta come funzionale, e l'equilibrio cercato annullandone le derivate rispetto ai numeri di occupazione.
> Perchè non potrebbe essere la stessa cosa anche per l'entropia di Shannon?

Infatti si fa anche con l'entropia di Shannon. Solo che se le p(i) non
dipendono da un'energia tutte le implicazioni energetiche cascano. E
parlare di energia (termodinamica) e calore diventa un uso improprio dei
termini.

In generale, la maggior parte delle difficoltà in questo ambito nascono
dal trascurare l'importanza del requisito di "limite termodinamico" per
ritrovare la termodinamica classica dalla meccanica statistica.
Fuorviati dagli esempi "banali" a base di gas perfetti, tendiamo a
pensare che il comportamente termodinamico corretto sia presente per
qualsiasi taglia del sistema. Non è così. Purtroppo o per fortuna.

Giorgio
Received on Tue Sep 14 2021 - 22:27:16 CEST