Temporal difference learning

Questa voce sugli argomenti informatica e statistica è solo un abbozzo.

Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti dei progetti di riferimento 1, 2.

Il temporal difference (TD) learning, ovvero l'apprendimento mediante differenza temporale, indica una classe di metodi di reinforcement learning che basano il proprio apprendimento sul bootstrap dalla stima corrente della funzione obiettivo: questi metodi campionano dall'ambiente, così come il Metodo Monte Carlo, ma eseguono gli aggiornamenti della funzione di valore di stato basandosi sulle stime correnti, come avviene, invece, nella programmazione dinamica.

A differenza dei metodi Monte Carlo che modificano le loro stime solo quando il risultato finale è noto, questi metodi di distanza temporale adattano le proprie previsioni in modo dinamico, così da avere previsioni sul futuro più accurate, prima ancora che il risultato finale sia a disposizione^[1]. Questa è, appunto, una forma di bootstrap, come si evince dal seguente esempio^[1]:

"Supponi di voler prevedere il tempo per sabato e di avere un modello che prevede il tempo di sabato, avendo a disposizione il clima di ogni giorno della settimana. Di norma, aspetteresti fino a sabato e solo allora aggiusterai tutti i tuoi modelli. Tuttavia, quando è, ad esempio, venerdì, dovresti già avere una buona idea di come potrebbe essere il tempo sabato - e quindi essere in grado di cambiare, diciamo, il modello di sabato prima dell'arrivo di sabato".

I metodi di differenza temporale sono in stretta correlazione al modello di differenza temporale dell'apprendimento animale^{[2][3][4][5][6]}.

Il metodo tabulare TD(0), uno dei metodi TD più semplici, stima la funzione di valore di stato di un processo decisionale di Markov (MDP) a stati finiti in base a una policy (o politica) ${\displaystyle \pi }$. Sia ${\displaystyle V^{\pi }}$la funzione del valore di stato di un MDP che ha stati ${\displaystyle (s_{t})_{t\in \mathbb {N} }}$, ricompense ${\displaystyle (r_{t})_{t\in \mathbb {N} }}$e un fattore di sconto ${\displaystyle \gamma }$per la policy ${\displaystyle \pi }$:

${\displaystyle V^{\pi }(s)=E_{\pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}{\Bigg |}s_{0}=s\right\}}$

${\displaystyle V^{\pi }}$soddisfa l'equazione di Hamilton-Jacobi-Bellman:${\textstyle V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\}}$quindi ${\displaystyle r_{0}+\gamma V^{\pi }(s_{1})}$ è uno stimatore non condizionato (a bias nullo) per ${\displaystyle V^{\pi }(s)}$. Questa osservazione giustifica il seguente algoritmo per stimare ${\displaystyle V^{\pi }}$. L'algoritmo inizializza una tabella ${\displaystyle V(s)}$ con valori arbitrati, scegliendo un valore per ciascuno degli stati del processo markoviano: viene inoltre fissato un tasso di apprendimento ${\displaystyle \alpha }$positivo. A questo punto viene valutata la policy ${\displaystyle \pi }$, e una volta ottenuta la ricompensa ${\displaystyle r}$, viene aggiornata la funzione del valore di stato per il vecchio stato usando la seguente regola^[7]:

${\displaystyle V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{The TD target}}-V(s))}$

dove ${\displaystyle s}$e ${\displaystyle s'}$indicano, rispettivamente, il vecchio e il nuovo stato.

TD-Lambda è un algoritmo di apprendimento creato da Richard S. Sutton basato su un precedente lavoro sull'apprendimento delle differenze temporali di Arthur Samuel^[8]. Questo algoritmo è stato notoriamente applicato da Gerald Tesauro per creare TD-Gammon, un programma che ha imparato a giocare a backgammon al livello di giocatori esperti umani^[9].

Il parametro ${\displaystyle \lambda }$ può assumere valori compresi tra 0 e 1. Aumentando il valore di lambda, viene dato maggior peso alle ricompense che si ottengono in stati distanti da quello corrente.

• Q-learning
• SARSA

• Scholarpedia Differenza temporale Apprendimento
• TD-Gammon
• Gruppo di ricerca TD-Networks
• Connect Four TDGravity Applet (+ versione per cellulare) - autoappreso con il metodo TD-Leaf (combinazione di TD-Lambda con ricerca di alberi poco profondi)
• Autoapprendimento Meta-Tic-Tac-Toe Archiviato il 19 marzo 2014 in Internet Archive. Esempio di applicazione web che mostra come l'apprendimento delle differenze temporali può essere utilizzato per apprendere costanti di valutazione dello stato per un AI minimax giocando a un semplice gioco da tavolo.
• Reinforcement Learning Problem, documento che spiega come l'apprendimento delle differenze temporali può essere utilizzato per accelerare il Q-learning
• TD-Simulator Simulatore di differenze temporali per il condizionamento classico

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random fields CRF · Modello di Markov nascosto · K-nearest neighbors · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modelli grafici · Macchine a vettori di supporto
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Rete neurale a base radiale · Rete bayesiana · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Portale Informatica

Portale Matematica

Portale Statistica