Entropia

Il concetto di entropia fu introdotto agli inizi del XIX secolo, nell'ambito della termodinamica, per descrivere una caratteristica (la cui generalità fu osservata per la prima volta da Sadi Carnot nel 1824) di tutti i sistemi allora conosciuti, nei quali si osservava che le trasformazioni avvenivano spontaneamente in una sola direzione, quella verso il maggior disordine.

In particolare, il termine "entropia" fu introdotto da Rudolf Clausius nel suo Abhandlungen über die mechanische Wärmetheorie (Trattato sulla teoria meccanica del calore), pubblicato nel 1864. In tedesco Entropie deriva dal greco ἐν en, "dentro", e da τροπή tropé, "cambiamento", "punto di svolta", "rivolgimento" (sul modello di Energie, "energia"): per Clausius indicava dove va a finire l'energia fornita a un sistema. Propriamente Clausius intendeva riferirsi al legame tra movimento interno (al corpo o sistema) ed energia interna o calore, legame che esplicitava la grande intuizione del secolo dei Lumi, che in qualche modo il calore dovesse riferirsi al movimento meccanico di particelle interne al corpo. Egli infatti la definì come il rapporto tra la somma dei piccoli incrementi (infinitesimi) di calore, divisa per la temperatura assoluta durante il cambiamento di stato.

Il concetto di entropia ha conosciuto grandissima popolarità nell'Ottocento e nel Novecento, grazie alla grande quantità di fenomeni che aiuta a descrivere, fino a uscire dall'ambito prettamente fisico ed essere adottato dalle scienze sociali, nella teoria dei segnali, nell'informatica teorica e nell'economia.

Il concetto di entropia è piuttosto complesso e, per comprendere appieno il suo significato, è necessaria almeno una conoscenza di base della termodinamica e della meccanica statistica; esistono infatti almeno due definizioni dell'entropia: una definizione macroscopica, fornita dalla termodinamica, e una definizione microscopica, fornita dalla meccanica quantistica.

È possibile comunque introdurre il concetto, seppur in maniera estremamente semplificata, attraverso alcuni esempi tratti dall'esperienza comune:

• Se facciamo cadere una goccia d'inchiostro in un bicchiere d'acqua, possiamo osservare che, invece di restare una goccia più o meno separata dal resto dell'ambiente (che era quindi uno stato completamente ordinato), l'inchiostro comincia a diffondere e, in un certo tempo, determina una miscela uniforme (stato completamente disordinato). È esperienza comune che, mentre questo processo avviene spontaneamente, il processo inverso, ovvero separare l'acqua e l'inchiostro, richiede energia esterna.
• Immaginiamo un profumo contenuto in una boccetta colma come un insieme di molecole puntiformi dotate di una certa velocità derivante dalla temperatura del profumo. Fino a quando la boccetta è tappata, ossia chiusa (non vi è scambio di materia) con il resto dell'universo, le molecole sono recluse all'interno e, non avendo spazio perché la boccetta è colma, esse rimangono abbastanza ordinate (stato liquido); ma nel momento in cui si stappa la boccetta, le molecole della superficie del liquido cominciano a staccarsi dalle altre e, urtando casualmente tra di loro e contro le pareti della boccetta, escono da questa disperdendosi all'esterno (evaporazione). Dopo un certo tempo, tutte le molecole saranno uscite e si saranno disperse. A quel punto, anche se casualmente qualche molecola fosse rientrata nella boccetta, il sistema complessivo è ormai disordinato e l'energia termica che ha messo in moto il fenomeno è dispersa e quindi non più recuperabile (si ha un equilibrio dinamico).

Un'altra interpretazione semplificata, ma molto popolare, dell'entropia è quella del "grado di disordine" di un sistema: un aumento del "disordine" di un sistema è associato a un aumento di entropia, mentre una diminuzione del "disordine" di un sistema è associata a una diminuzione di entropia. È necessario però chiarire che il disordine è relativo e, per questo, la spiegazione semplificata non è equivalente a quella esatta; ciò però serve a rappresentare il concetto.

Per maggiore chiarezza, nella figura seguente sono mostrate tre configurazioni dello stesso sistema, costituito da 24 oggetti, in cui si ha un aumento di disordine (cioè un aumento di entropia) andando da sinistra a destra e una diminuzione di disordine (cioè una diminuzione di entropia) andando da destra a sinistra.

Nella figura seguente è rappresentato un esempio pratico in termodinamica, in cui si assiste a un aumento di disordine (cioè un aumento di entropia). In questo caso gli "oggetti" sono delle molecole di due gas (ogni gas è contraddistinto da un colore diverso); ad esempio, si supponga che le sferette blu siano molecole di ossigeno e le sferette rosse siano molecole di azoto.

Inizialmente i gas sono situati in due compartimenti stagni; per cui in ciascun compartimento sono presenti solo molecole dello stesso tipo di gas. Se i due compartimenti sono messi in comunicazione (ad esempio aprendo una valvola), i due gas si mescolano tra di loro e si ha un aumento di disordine, ovvero un aumento di entropia (che in tal caso viene detta "variazione di entropia di miscelamento").

Nell'esempio precedente si è assistito ad un aumento di entropia "spontaneo" (è bastato infatti mettere in comunicazione i due compartimenti). Tale aumento di entropia spontaneo avviene sempre in natura, mentre non avviene una diminuzione di entropia spontanea. Tale constatazione empirica si traduce nel fatto che le configurazioni "disordinate" sono le più probabili e corrisponde al cosiddetto "Secondo principio della termodinamica".

Altri sistemi che possono assumere diversi gradi di disordine sono i materiali metallici. Essi infatti possono assumere le seguenti strutture:

• struttura cristallina (ordinata): gli atomi sono disposti in maniera ordinata; una struttura cristallina è formata da diverse "celle" tutte uguali tra loro, che si ripetono nello spazio; si parla in questo caso di "ordine a lungo raggio";
• struttura policristallina (parzialmente ordinata): si riscontrano più "cristalli" (strutture ordinate) all'interno del materiale; si parla in questo caso di "ordine a corto raggio";
• struttura amorfa (disordinata): gli atomi sono disposti in maniera completamente disordinata; non si ha né ordine a corto raggio né ordine a lungo raggio.

Il disordine delle strutture dei materiali metallici aumenta anche in presenza dei cosiddetti "difetti cristallini" (tra cui l'inclusione di atomi di altro tipo o la mancanza di un atomo in una posizione del reticolo), la cui presenza determina un aumento del contenuto entropico del materiale.

Assumendo che l'intero universo sia un sistema isolato - ovvero un sistema per il quale è impossibile scambiare materia ed energia con l'esterno - il primo e il secondo principio della termodinamica possono essere riassunti come segue:

l'energia totale dell'universo è costante e l'entropia totale è in continuo aumento, fino a raggiungere un equilibrio

affermazione valida per qualsiasi sistema isolato.

Ciò significa che non solo non si può né creare né distruggere l'energia, ma nemmeno la si può completamente trasformare da una forma in un'altra senza che una parte venga dissipata sotto forma di calore. Ovvero l'energia utilizzata si trasforma in energia sempre meno utilizzabile.

Se per esempio si brucia un pezzo di carbone, la sua energia si conserva e si converte in energia contenuta nell'anidride carbonica, nell'anidride solforosa e negli altri residui di combustione, oltre che in forma di calore. Sebbene nel processo non si sia perduta energia, non possiamo invertire il processo di combustione e ricreare dai suoi scarti il pezzo di carbone originale.

Il secondo principio della termodinamica può quindi essere così ridefinito: «È impossibile realizzare una trasformazione il cui unico risultato sia la conversione in lavoro di tutto il calore assorbito da una sorgente omogenea» (formulazione di Kelvin-Planck).

Lo stato in cui l'entropia raggiunge il massimo valore e non c'è più energia libera disponibile per compiere lavoro è detto stato di equilibrio. Per l'intero universo, concepito come sistema isolato, ciò significa che la progressiva conversione di lavoro in calore (per il principio di aumento dell'entropia totale), a fronte di una massa dell'universo finita, porterà infine a uno stato in cui l'intero universo si troverà in condizioni di temperatura uniforme; la cosiddetta morte termica dell'Universo.

L'entropia caratterizza il verso ( da bassa entropia ad alta entropia) di qualunque trasformazione reale come trasformazione irreversibile: infatti anche tornando da uno stato finale a uno identico allo stato iniziale per temperatura, volume, pressione o altri parametri, come continuamente avviene nei cicli di una macchina termica, almeno una variabile fisica differirebbe dal punto da cui si è partiti: l'entropia (che inevitabilmente è aumentata).

Ogni trasformazione reale è una trasformazione irreversibile perché l'entropia aumenta; viceversa l'ipotesi di idealità equivale all'ipotesi di una variazione d'entropia nulla.

Una proprietà fondamentale afferma che in un sistema isolato l'entropia ${\displaystyle S}$  di sistema non diminuisce mai e, durante un ordinario processo irreversibile, aumenta. La dimostrazione si basa sul secondo principio della termodinamica. Si consideri un sistema isolato sia meccanicamente sia termicamente che, a causa di una perturbazione interna, si porta da uno stato ${\displaystyle 1}$  a uno stato ${\displaystyle 2}$ . Essendo l'entropia una funzione di stato (per definizione la variazione della stessa non dipende dal percorso seguito, ma solo dallo stato iniziale e finale) è possibile concepire un processo reversibile che ci riporti da ${\displaystyle 2}$  a ${\displaystyle 1}$ . Per la disuguaglianza di Clausius si ha:

${\displaystyle \oint _{}{\frac {\delta Q}{T}}\leq 0}$ 

Ma questa circuitazione può essere spezzata nella somma dei due integrali, dallo stato ${\displaystyle 1}$  al ${\displaystyle 2}$  e viceversa:

${\displaystyle \int _{1}^{2}{\frac {\delta Q}{T}}+\int _{2}^{1}{\frac {\delta Q_{R}}{T}}\leq 0}$ 

Il primo integrale è nullo poiché il processo è adiabatico, ovvero essendo il sistema isolato durante la perturbazione interna che lo porta dallo stato 1 a quello 2, allora non subisce trasferimenti di calore con l'esterno. Il secondo integrale si può scrivere nella forma:

${\displaystyle \int _{2}^{1}{\frac {\delta Q_{R}}{T}}=\int _{2}^{1}dS\leq 0}$ 

Allora:

${\displaystyle S_{1}-S_{2}\leq 0}$ 

Ovvero:

${\displaystyle S_{2}\geq S_{1}}$ 

La variazione della funzione di stato entropia ${\displaystyle S}$  venne introdotta nel 1864 da Rudolf Clausius nell'ambito della termodinamica come:^[5]

${\displaystyle \Delta S={\frac {Q_{rev}}{T}}}$ 

dove ${\displaystyle Q_{rev}}$  è la quantità di calore assorbita o ceduta in maniera reversibile e isoterma dal sistema a temperatura ${\displaystyle T}$ .

In forma differenziale, la legge si presenta così:^[6]

${\displaystyle {\rm {d}}S={\frac {\delta Q_{rev}}{T}}}$ 

Anche se ${\displaystyle \delta Q_{rev}}$  non è un differenziale esatto, dividerlo per la temperatura ${\displaystyle T}$  lo rende tale: ${\displaystyle {\frac {1}{T}}}$  è dunque il fattore d'integrazione. Inoltre, ${\displaystyle \operatorname {d} \!S}$  è un differenziale esatto se e solo se è valido il secondo principio della termodinamica.

In una delle sue diverse formulazioni, il secondo principio della termodinamica afferma che in un sistema isolato l'entropia può solo aumentare, o al limite rimanere costante per cicli termodinamici reversibili.

Essendo per un gas ideale l'energia interna ${\displaystyle U}$  funzione della sola temperatura, in condizioni isoterme ${\displaystyle \Delta U=0}$ , quindi applicando il primo principio della termodinamica abbiamo l'eguaglianza del calore e del lavoro scambiati, ovvero:

${\displaystyle Q=W\ }$ 

ne segue che per una trasformazione tra gli stati ${\displaystyle A}$  e ${\displaystyle B}$  in assenza di lavoro isocoro, abbiamo:

${\displaystyle \Delta S=S_{B}-S_{A}={\frac {Q_{rev}}{T}}={\frac {W}{T}}=\int _{A}^{B}{\frac {p{\rm {{d}v}}}{T}}}$ ^[7]

per una mole di gas ideale, dalla equazione di stato dei gas perfetti:

${\displaystyle pv=nRT\ }$ 

ovvero:

${\displaystyle \int _{v_{A}}^{v_{B}}{\frac {pdV}{T}}{\frac {v}{v}}=\int _{v_{A}}^{v_{B}}nR{\frac {dv}{v}}=nR\cdot \ln \left({\frac {v_{B}}{v_{A}}}\right)}$ 

quindi:

${\displaystyle \Delta S|_{T}=nR\cdot \ln \left({\frac {v_{B}}{v_{A}}}\right)}$ 

Possiamo riscrivere l'equazione sopra in funzione della pressione, se consideriamo che in questo particolare caso (trasformazione isoterma reversibile di un gas ideale) ${\displaystyle pdv=-vdp}$  ^[8].

${\displaystyle pdv=-vdp=-nRT\cdot {\frac {dp}{p}}}$ 

ovvero:

${\displaystyle \int _{p_{A}}^{p_{B}}-{\frac {vdp}{T}}{\frac {p}{p}}=\int _{p_{A}}^{p_{B}}-nR{\frac {dp}{p}}=-nR\cdot \ln \left({\frac {p_{B}}{p_{A}}}\right)=nR\cdot \ln \left({\frac {p_{B}}{p_{A}}}\right)^{-1}=nR\cdot \ln \left({\frac {p_{A}}{p_{B}}}\right)}$ 

quindi:

${\displaystyle \Delta S|_{T}=nR\cdot \ln \left({\frac {p_{A}}{p_{B}}}\right)}$ 

Dalla definizione di entropia:

${\displaystyle \Delta S=\int _{A}^{B}{\frac {Q|_{V}}{T}}=\int _{A}^{B}n\,c_{v}\cdot {\frac {dT}{T}}=n\,{\bar {c}}_{v}\cdot \ln \left({\frac {T_{B}}{T_{A}}}\right)}$ 

in cui ${\displaystyle c_{v}}$  è il calore specifico molare a volume costante (funzione della temperatura) e ${\displaystyle {\bar {c}}_{v}}$  è la sua media tra le temperature ${\displaystyle T_{B}}$  e ${\displaystyle T_{A}}$ .

Per cui, per una mole di gas perfetto:

${\displaystyle \Delta S|_{v}={\bar {c}}_{v}\cdot \ln \left({\frac {T_{B}}{T_{A}}}\right)}$ 

Seguendo la stessa procedura, possiamo scrivere:

${\displaystyle \Delta S=\int _{A}^{B}{\frac {Q_{p}}{T}}=\int _{A}^{B}n\,c_{p}\cdot {\frac {dT}{T}}=n\,{\bar {c}}_{p}\cdot \ln \left({\frac {T_{B}}{T_{A}}}\right)}$ 

in cui ${\displaystyle c_{p}}$  è il calore specifico molare a pressione costante (funzione della temperatura) e ${\displaystyle {\bar {c}}_{p}}$  è la sua media tra le temperature ${\displaystyle T_{B}}$  e ${\displaystyle T_{A}}$ .

Per cui, per una mole di gas perfetto:

${\displaystyle \Delta S|_{p}={\bar {c}}_{p}\cdot \ln \left({\frac {T_{B}}{T_{A}}}\right)}$ 

Essendo l'entropia una funzione di stato, considerando una qualsiasi trasformazione reversibile da uno stato ${\displaystyle A}$  a uno ${\displaystyle B}$ , con definite pressione, temperatura e volume occupato, è possibile calcolare la variazione di entropia eseguendo l'integrale di Clausius

${\displaystyle \int _{A}^{B}{\left({\frac {\delta Q}{T}}\right)}_{\rm {rev}}}$ 

su un qualsiasi cammino reversibile, ad esempio sulla composizione di una isocora reversibile con una isoterma reversibile. Si ottiene per n moli (dipendentemente solo dagli stati ${\displaystyle A}$  e ${\displaystyle B}$ ):

${\displaystyle \Delta S=n\,c_{V}\ln {\left({\frac {T_{B}}{T_{A}}}\right)}+n\,R\ln {\left({\frac {V_{B}}{V_{A}}}\right)}}$ 

da cui, applicando la nozione di funzione di stato si ottiene una formulazione analitica per l'entropia in funzione delle variabili di stato, a meno di una costante additiva:

${\displaystyle S=n\,c_{V}\ln {T}+n\,R\ln \!{V}}$ 

Essa è equivalente, tramite l'equazione di stato dei gas perfetti, alle altre due forme, talvolta utili, definite sempre a meno di una costante additiva:

${\displaystyle S=n\,c_{V}\ln {\left(TV^{\gamma -1}\right)}\,=\,n\,c_{V}\ln {\left(pV^{\gamma }\right)}}$ 

In cui ${\displaystyle \gamma }$  è il coefficiente della politropica. Si nota così che nelle trasformazioni adiabatiche reversibili l'entropia rimane costante (sono per questo anche dette isoentropiche).

Per calcolare l'entropia associata a sistemi materiali è possibile effettuare una integrazione che tenga conto anche dei contributi dovuti ai passaggi di stato. Per una sostanza gassosa ad una temperatura ${\displaystyle T}$ , l'entropia molare si può ricavare da

${\displaystyle S=\int _{T_{0}}^{T_{fus}}\left({\frac {c_{ps}}{T}}\right)dT+{\frac {\Delta H_{fus}}{T_{fus}}}+\int _{T_{fus}}^{T_{eb}}\left({\frac {c_{pl}}{T}}\right)dT+{\frac {\Delta H_{eb}}{T_{eb}}}+\int _{T_{eb}}^{T}\left({\frac {c_{pg}}{T}}\right)dT}$ 

dove ${\displaystyle c_{ps}}$ , ${\displaystyle c_{pl}}$ , ${\displaystyle c_{pg}}$  sono rispettivamente i calori specifici della sostanza allo stato solido, liquido e gassoso mentre ${\displaystyle \Delta H_{fus}}$ , ${\displaystyle \Delta H_{eb}}$  sono rispettivamente il calore latente di fusione e il calore latente di ebollizione.

Mentre nella visione termodinamica l'entropia è sempre espressa in termini di variazione, e mai in termini assoluti, in meccanica quantistica è possibile definire l'entropia in termini assoluti, ad esempio attraverso l'entanglement.

Si considerino due sistemi ${\displaystyle A}$  e ${\displaystyle B}$ , ognuno con associato uno spazio di Hilbert ${\displaystyle H_{A}}$ , ${\displaystyle H_{B}}$ . Lo stato del sistema composito è allora:

${\displaystyle |\Psi \rangle \in H_{A}\otimes H_{B}.}$ 

In generale, non è possibile associare uno stato puro al componente ${\displaystyle A}$ . Tuttavia è comunque possibile associarvi una matrice di densità. Sia definito l'operatore proiezione

${\displaystyle \rho _{T}=|\Psi \rangle \;\langle \Psi |}$ .

Lo stato di ${\displaystyle A}$  è la traccia parziale di ${\displaystyle \rho _{T}}$  sulle basi del sistema ${\displaystyle B}$ :

${\displaystyle \rho _{A}\equiv \sum _{j}\langle j|_{B}\left(|\Psi \rangle \langle \Psi |\right)|j\rangle _{B}={\hbox{Tr}}_{B}\;\rho _{T}}$ .

Ad esempio, per lo stato entangled "classico" di ${\displaystyle A}$  e ${\displaystyle B}$ , ognuno composto da due stati puri "0" e "1"

${\displaystyle {1 \over {\sqrt {2}}}{\bigg (}|0\rangle _{A}\otimes |1\rangle _{B}-|1\rangle _{A}\otimes |0\rangle _{B}{\bigg )}}$ 

la matrice densità è

${\displaystyle \rho _{A}=(1/2){\bigg (}|0\rangle _{A}\langle 0|_{A}+|1\rangle _{A}\langle 1|_{A}{\bigg )}}$ 

e la matrice densità dello stato puro di ${\displaystyle A}$  è

${\displaystyle \rho _{A}=|\psi \rangle _{A}\langle \psi |_{A}}$ 

ossia semplicemente l'operatore proiezione di ${\displaystyle |\psi \rangle _{A}}$ . Da notare che la matrice densità del sistema composto, ${\displaystyle \rho _{T}}$ , ha la stessa forma. Ciò non sorprende, in quanto lo stato entangled classico è uno stato puro.

Data una matrice di densità qualsiasi, ${\displaystyle \rho }$ , possiamo calcolare la quantità

${\displaystyle S=-k{\hbox{Tr}}\left(\rho \ln {\rho }\right)}$ 

dove ${\displaystyle k}$  è la costante di Boltzmann, e la traccia è presa sullo spazio ${\displaystyle H}$  in cui è definita ${\displaystyle \rho }$ . Risulta che ${\displaystyle S}$  è esattamente l'entropia del sistema corrispondente a ${\displaystyle H}$ .

L'entropia di ogni stato puro è zero, in quanto non vi è indeterminazione sullo stato del sistema. L'entropia di ciascuno dei due sottosistemi ${\displaystyle A}$  e ${\displaystyle B}$  entangled è semplicemente ${\displaystyle k\ln 2}$ , il massimo ammissibile per un sistema a due stati.

Se il sistema nel suo complesso è puro, l'entropia di ogni sottosistema può essere usata per misurarne il grado di "entanglement" con gli altri sottosistemi.

Si può anche mostrare come gli operatori unitari che agiscono su uno stato, come ad esempio l'operatore di evoluzione temporale ottenuto dall'equazione di Schrödinger, lasciano invariata l'entropia. Si associa dunque la reversibilità di un processo alla sua variazione di entropia, confermando dunque la teoria termodinamica e, contemporaneamente, l'entropia di un segnale secondo la teoria dell'informazione.

In meccanica statistica lo studio sull'entropia è un tramite per ottenere informazioni macroscopiche a partire dalle configurazioni microscopiche. Intuitivamente si immagina che a una certa condizione macroscopica di equilibrio del sistema (macrostato o stato termodinamico del sistema, definito da precisi valori di grandezze come pressione e temperatura) corrispondano diverse configurazioni microscopiche (stati dinamici o microstati, definiti solo se si conoscono posizione e velocità di tutte le molecole del sistema).

Tali configurazioni microscopiche occupano un volume nello spazio delle fasi il quale viene indicato con ${\displaystyle \Gamma }$ . Allora possiamo definire l'entropia secondo il principio di Boltzmann come:^[5][9]

${\displaystyle S=k~\ln \Gamma }$ 

dove ${\displaystyle k}$  è la costante di Boltzmann.

Possiamo definire ${\displaystyle \Gamma }$  come la misura dell'insieme di tutte le possibili disposizioni (o probabilità a livello macroscopico) dei livelli molecolari: ${\displaystyle \Gamma }$  rappresenta quindi il numero di stati totali accessibili al sistema alla temperatura ${\displaystyle T}$ . Questa misura tiene conto dell'indistinguibilità tra le particelle introducendo il fattore correttivo di Gibbs.

Per capire il significato fisico di ${\displaystyle \Gamma }$  prendiamo in esempio un caso di entropia per miscelamento riferendoci a un cristallo di atomi ${\displaystyle A}$ . Supponiamo di inserire atomi ${\displaystyle B}$  (simili in dimensione e dal punto di vista elettronico) nei siti di ${\displaystyle A}$  per semplice sostituzione: in questo modo abbiamo un numero di atomi ${\displaystyle A}$  ${\displaystyle (N_{A})}$  e un numero di atomi ${\displaystyle B}$  ${\displaystyle (N_{B})}$  che si distribuiscono nei siti ${\displaystyle N}$  del cristallo. Man mano che introduciamo gli atomi ${\displaystyle B}$  nei siti di ${\displaystyle A}$  aumenta il numero delle configurazioni possibili tra gli atomi ${\displaystyle A}$  e ${\displaystyle B}$ , cioè aumenta la possibilità di ottenere distribuzioni diverse: questo fatto coincide con un aumento del grado di disordine del sistema, e quindi con un aumento di entropia. Il numero massimo di configurazioni ${\displaystyle \Gamma }$  corrisponde al numero di modi possibili di distribuire a caso ${\displaystyle N_{A}}$  e ${\displaystyle N_{B}}$  oggetti su ${\displaystyle N}$  ${\displaystyle (=N_{A}+N_{B})}$  siti e vale:

${\displaystyle \Gamma ={\frac {\left(N_{A}+N_{B}\right)!}{N_{A}!~N_{B}!}}}$ 

In generale, se nel cristallo di A vengono introdotti diversi tipi di atomi simili (${\displaystyle B}$ , ${\displaystyle C}$ , ecc.), il numero massimo di configurazioni possibili vale:

${\displaystyle \Gamma ={\frac {\left(N_{A}+N_{B}+N_{C}+...\right)!}{N_{A}!\cdot N_{B}!\cdot N_{C}!\cdot ...}}={\frac {\left(\sum _{i}N_{i}\right)!}{\prod _{i}N_{i}!}}}$ 

A temperature ordinarie, nei gas, queste disposizioni seguono la distribuzione di Maxwell-Boltzmann, ma l'approccio può opportunamente estendersi, in maniera più complessa, a liquidi e solidi dove ad esempio non vige l'indistinguibilità delle singole particelle (poiché spazialmente vincolate ad esempio al reticolo cristallino). A basse temperature, prossime allo zero assoluto, le distribuzioni, in virtù del fatto che le particelle si concentrano nei livelli di energia più bassi, seguiranno differenti distribuzioni, come quella di Fermi-Dirac o di Bose-Einstein (a seconda del fatto che ricadano o meno sotto il principio di esclusione di Pauli).

La definizione statistico-molecolare è considerata la fondamentale definizione di entropia, dato che tutte le altre possono esserne matematicamente derivate, ma non viceversa. Nelle lezioni di teoria del gas di Boltzmann, del 1896, si è dimostrata l'espressione della misura entropica per i sistemi di atomi e molecole in fase gassosa, fornendo quindi una misura per l'entropia in termodinamica classica.

Si può dimostrare che l'entropia così definita possiede tutte le caratteristiche dell'entropia termodinamica e in modo particolare si dimostra che è estensiva, ovvero gode della proprietà di additività (e differenza: per cui è calcolabile la variazione d'entropia e la funzione entropia è differenziabile, ovvero ha senso parlare di entropia in termini microscopici). La formula mostra che è estremamente improbabile, anche se non impossibile, che un sistema ritorni da una configurazione finale a una identica allo stato iniziale. La differenza fisica di significato tra entropia e temperatura è che la prima misura lo stato di disordine (fisico) del sistema, la seconda lo stato (energetico) di agitazione molecolare.

Dall'equazione ${\displaystyle S=k~\ln \Gamma }$ , con alcune considerazioni combinatorie su ${\displaystyle \Gamma }$  e dalla distribuzione di Boltzmann degli stati possibili, si giunge alla:

${\displaystyle S={\frac {E-E_{0}}{T}}+R\ln {\frac {Z}{N_{A}}}+R}$ 

dove ${\displaystyle T}$  è la temperatura, ${\displaystyle E-E_{0}}$  energia termica, ${\displaystyle R}$  costante dei gas, ${\displaystyle Z}$  la funzione di partizione, e ${\displaystyle N_{A}}$  la costante di Avogadro.
La formula torna utile per il calcolo di ${\displaystyle S}$  nei gas.

Volendo informazioni macroscopiche del sistema basta derivare l'entropia rispetto a una delle sue variabili naturali ${\displaystyle E}$ , ${\displaystyle N}$  e ${\displaystyle V}$  (energia, numero di particelle e volume) tenendo costanti le altre. È necessario tenere conto che questa trattazione riposa sull'ipotesi ergodica che postula di poter sostituire la media temporale sulle configurazioni microscopiche con la media sulle configurazioni stesse (propriamente sostituire le medie temporali con quelle sull'ensemble -Gibbs- ).

Lo stato macroscopico di un sistema è descrivibile dalla distribuzione di una serie di microstati. L'entropia di questo sistema è calcolata con la formula di Willard Gibbs.
Per un sistema della fisica classica (es. una collezione di particelle) avente un numero discreto di microstati, se indichiamo con ${\displaystyle E_{i}}$  l'energia dell'i-esimo microstato, e con ${\displaystyle p_{i}}$  la relativa probabilità che si verifichi durante le fluttuazioni del sistema, allora l'entropia di tale sistema è data da:

${\displaystyle S=-k_{\text{B}}\,\sum _{i}p_{i}\ln \,p_{i}}$ ,

dove:
la quantità ${\displaystyle k_{\text{B}}}$  è la costante di Boltzmann, che, come l'entropia, è misurata in unità di capacità termica, mentre il logaritmo è un numero adimensionale.
Questa entropia è chiamata indifferentemente anche entropia statistica, oppure entropia termodinamica. Tale formula è la versione discreta dell'Entropia di Shannon. L'entropia di von Neumann è a sua volta una estensione dell'Entropia di Gibbs al fenomeno quanto-meccanico.
È stato dimostrato^[10] che l'Entropia di Gibbs è del tutto equivalente alla definizione classica di entropia:

${\displaystyle dS={\frac {\delta Q}{T}}\!}$ 

In un sistema isolato, il secondo principio della termodinamica asserisce che l'entropia può solo aumentare. In un sistema aperto, in cui quantità come calore, energia e massa possono fluire verso e dall'esterno, l'entropia del sistema può anche scendere. In un sistema aperto è spesso utile scrivere una equazione di bilancio.

Un sistema aperto è generalmente definito da un volume di controllo, ovvero una porzione dello spazio che determina il sistema in esame. Tutto ciò che non è contenuto in questo volume è esterno al sistema. L'entropia del sistema ${\displaystyle S}$  varia nel tempo, e la sua derivata è determinata da un'equazione di bilancio del tipo

${\displaystyle {\dot {S}}=J_{S}+{\partial S \over \partial t}}$ 

dove ${\displaystyle J_{S}}$ , ${\displaystyle {\partial S \over \partial t}}$  denotano rispettivamente la corrente di entropia netta e quella generata all'interno del sistema. Tutte queste quantità sono derivate temporali. In una equazione di bilancio normalmente il secondo termine può essere negativo, qui invece no conformemente al secondo principio della termodinamica.

I termini di bilancio possono essere esplicitati nel modo seguente:

${\displaystyle {\dot {S}}=\sum _{i}\left({{\dot {Q}}_{i} \over T_{i}}+{\dot {m}}_{i}s_{i}\right)+{\partial S \over \partial t}.}$ 

In questa espressione ciascuna delle correnti di entropia ${\displaystyle S_{i}}$  è spezzata in due addendi:

• il termine conduttivo tiene conto dello scambio di calore ${\displaystyle Q}$  con una sorgente termica esterna a temperatura ${\displaystyle T}$ .
• il termine convettivo tiene conto della variazione di entropia dovuta a masse entranti o uscenti dal sistema; il termine ${\displaystyle {\dot {m}}}$  indica la variazione di massa e ${\displaystyle s}$  l'entropia per unità di massa;

In un sistema chiuso il termine convettivo è nullo, per cui la relazione diventa:

${\displaystyle {\dot {S}}=\sum _{i}{{\dot {Q}}_{i} \over T_{i}}+{\partial S \over \partial t}}$ 

In un sistema isolato si annullano anche i termini entropici legati al flusso termico, per cui:

${\displaystyle {\dot {S}}={\partial S \over \partial t}}$ 

Si deve a Claude Shannon lo studio dell'entropia nella teoria dell'informazione, il suo primo lavoro sull'argomento si trova nell'articolo Una teoria matematica della comunicazione del 1948. Nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, egli dimostrò che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media.

Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura dunque la quantità di incertezza o informazione presente in un segnale aleatorio, che può essere interpretata anche come la minima complessità descrittiva di una variabile aleatoria, ovvero il limite inferiore della compressione dei dati. La connessione con l'entropia termodinamica sta allora nel rapporto di compressione: al diminuire della temperatura corrisponde la riduzione della ridondanza del segnale, e quindi l'aumento della compressione. L'entropia dell'informazione raggiunge un minimo, che in generale è diverso da zero, al contrario dell'entropia termodinamica (vedi terzo principio della termodinamica).

Tale risultato era implicito nella definizione statistica dell'entropia di John von Neumann, anche se lo stesso Von Neumann, interrogato al riguardo da Shannon nel forse unico scambio di opinioni tra loro, non ritenne la cosa degna di attenzione. Come ricordò Shannon più tardi a proposito del risultato da lui trovato:

Georgescu-Roegen applicando il secondo principio della termodinamica all'economia, e in particolare all'economia della produzione, ha introdotto una teoria economica che discute i fondamentali della decrescita: ogni processo produttivo non diminuisce (e quindi incrementa irreversibilmente o lascia uguale) l'entropia del sistema-Terra: tanta più energia si trasforma in uno stato indisponibile, tanta più sarà sottratta alle generazioni future e tanto più disordine proporzionale sarà riversato sull'ambiente^[11].

Un'altra formulazione dell'entropia nei sistemi economici si ritrova nel moto di propagazione e diffusione dell'informazione nel mercato finanziario. Quest'ultimo, grazie alla sua funzione di formazione dei prezzi, facilita la quantificazione del processo di scambio, il quale è inestricabilmente legato all'informazione disponibile. L'informazione nel mercato si diffonde su base probabilistica, esattamente come in termodinamica, ovvero è infinitamente più probabile che la particella di informazione venga "sfruttata" per lo scambio, e dunque trasmessa al mercato e agli altri agenti, piuttosto che essa rimanga concentrata o in forma statica^[12], e il motivo risiede nella natura dell'informazione. Per informazione si intende in sostanza ogni evento del mondo capace di persuadere un movimento nel prezzo di un indice azionario, evento che è portato ad esprimersi in termini di prezzo grazie alla mediazione interpretativa degli investitori. Vista la natura del sistema, in cui l'interesse economico vige, e l'informazione è ciò che permette agli agenti di prendere decisioni, allora chiunque riceverà nuova informazione sarà motivato ad iniettarla nel mercato offrendo un prezzo, affinché il suo vantaggio informativo si converta in rendimento. Questo si traduce in una maggiore probabilità che l'informazione nuova venga sfruttata dagli investitori, e dunque incorporata nei prezzi correnti dei titoli. L'entropia è dunque utilizzata come descrizione del meccanismo per cui l'informazione tende sempre alla diffusione e poi ad omogeneizzarsi, esattamente come una goccia d'inchiostro in un bicchiere d'acqua. L'equilibrio terminale di un tale processo risiede nell'efficienza informativa, cioè quando tale informazione non potrà più essere sfruttata per ottenere extra-rendimenti. L'entropia nel mercato è un fenomeno emergente che aumenta di precisione e velocità in funzione del numero di agenti.

Ad elevata entropia è associato un maggior grado di efficienza del mercato, sia in termini di rapidità con cui lo stesso integra l'informazione, sia in termini di imprevedibilità. Questo perché se il numero di agenti "interpretativi" è maggiore, presupposto necessario per l'entropia, allora aumenterà la variabile "rumore" data dalla differenza netta di interpretazione di tale informazione. Se ogni agente possiede diverse caratteristiche in termini di avversione al rischio, dotazione di capitali, conoscenze pregresse, orizzonte temporale, ecc., allora anche il suo modo di interpretare l'informazione sarà diverso. Questa diversità si trasmette al mercato offrendo prezzi diversi anche in virtù di una stessa informazione, generando rumore, casualità nei movimenti azionari e dunque imprevedibilità. Per questo motivo l'entropia è essenziale per un mercato efficiente che sia perciò imprevedibile e informato^[12].

Le particolari implicazioni dell'entropia che pare rallentare sugli organismi viventi sono discusse da molti autori come dal celebre saggio Cos'è la vita di Erwin Schrodinger, da Ilya Prigogine nei sistemi non lineari, da Ludwig Boltzmann, da Léon Brillouin col concetto di neghentropia, da Mael Montevil^[13], da Francis Bailly^[14], da Giuseppe Longo^[15], da Luigi Fantappié con la Teoria unitaria del mondo fisico e biologico.

• Richard Feynman, La fisica di Feynman, Bologna, Zanichelli, 2001, ISBN 978-88-08-16782-8. Vol I, par. 46-5: Ordine ed entropia
• Ben-Naim Arieh, L'entropia svelata. La seconda legge della termodinamica ridotta a puro buon senso, 1ª ed., Edizioni libreriauniversitaria.it, 2009, ISBN 978-88-6292-011-7.
• (EN) J. M. Smith, H.C.Van Ness; M. M. Abbot, Introduction to Chemical Engineering Thermodynamics, 6ª ed., McGraw-Hill, 2000, ISBN 0-07-240296-2.
• (EN) Robert Perry, Don W. Green, Perry's Chemical Engineers' Handbook, 8ª ed., McGraw-Hill, 2007, ISBN 0-07-142294-3.
• Arieh Ben-Naim, Entropy Demystified, World Scientific, 2007, ISBN 981-270-055-2.
• J. S. Dugdale, Entropy and its Physical Meaning, 2nd Ed., Taylor and Francis (UK); CRC (US), 1996, ISBN 0-7484-0569-0.
• Enrico Fermi, Termodinamica, Bollati Boringhieri, 1972, ISBN 88-339-5182-0.
• Enrico Fermi, Thermodynamics, Prentice Hall, 1937, ISBN 0-486-60361-X.
• Herbert Kroemer, Charles Kittel, Thermal Physics, 2nd Ed., W. H. Freeman Company, 1980, ISBN 0-7167-1088-9.
• Roger Penrose, The Road to Reality : A Complete Guide to the Laws of the Universe, 2005, ISBN 0-679-45443-8.
• F. Reif, Fundamentals of statistical and thermal physics, McGraw-Hill, 1965, ISBN 0-07-051800-9.
• Goldstein, Martin; Inge, F, The Refrigerator and the Universe, Harvard University Press, 1993, ISBN 0-674-75325-9.
• vonBaeyer; Hans Christian, Maxwell's Demon: Why Warmth Disperses and Time Passes, Random House, 1998, ISBN 0-679-43342-2.
• Ferraro, V. (2023). Efficienza dei Mercati e analisi dell’informazione: Il Ruolo di entropia, Irrazionalità e Caso. LuissThesis - Biblioteca. https://tesi.luiss.it/37021/ Archiviato il 24 novembre 2023 in Internet Archive.

• Clausius (unità di misura)
• Diagramma entropico
• Entalpia
• Entropia di fusione
• Entropia di Tsallis
• Entropia di vaporizzazione
• Entropia (economia)
• Entropia molare standard
• Entropia residua
• Entropia (teoria dell'informazione)
• Morte termica dell'universo
• Neghentropia
• Rendimento isoentropico
• Secondo principio della termodinamica
• Struttura dissipativa
• Teorema di Clausius
• Trasformazione reversibile

•   Wikiquote contiene citazioni sull'entropia
•   Wikizionario contiene il lemma di dizionario «entropia»
•   Wikiversità contiene risorse sull'entropia
•   Wikimedia Commons contiene immagini o altri file sull'entropia

• (EN) Gordon W.F. Drake, entropy, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.  
• (EN) Entropia, su The Encyclopedia of Science Fiction.  
• Entropia (PDF) ^{[collegamento interrotto]}, su studenti.dicamp.units.it.
• Nozioni generali sulla seconda legge e l'entropia, su meccanismo.eu. URL consultato il 31 luglio 2020 (archiviato dall'url originale il 20 ottobre 2020).
• La termodinamica nei processi di trasformazione energetica, su fisicamente.net.
• L'entropia è disordine?, su chim.unifi.it. URL consultato il 4 settembre 2008 (archiviato dall'url originale il 1º febbraio 2009).
• http://www.storiologia.it/aviazione2/clausius.htm