La risoluzione delle dinamiche cerebrali dà origine alla macchina flessibile

Immagine precedente Immagine successiva

L’anno scorso, i ricercatori del MIT hanno annunciato di aver costruito reti neurali “liquide”, ispirate al cervello di piccole specie: una classe di modelli di apprendimento automatico flessibili e robusti che apprendono sul lavoro e possono adattarsi alle mutevoli condizioni, per la sicurezza del mondo reale. -compiti critici, come guidare e volare. La flessibilità di queste reti neurali “liquide” ha significato potenziare la linea di sangue del nostro mondo connesso, consentendo un migliore processo decisionale per molte attività che coinvolgono dati di serie temporali, come il monitoraggio del cervello e del cuore, le previsioni meteorologiche e il prezzo delle azioni.

Ma questi modelli diventano computazionalmente costosi man mano che il loro numero di neuroni e sinapsi aumenta e richiedono programmi informatici complessi per risolvere i complicati calcoli matematici sottostanti. E tutti questi calcoli, simili a molti fenomeni fisici, diventano più difficili da risolvere con le dimensioni, il che significa calcolare tanti piccoli passi per arrivare a una soluzione.

Ora, lo stesso team di scienziati ha scoperto un modo per alleviare questo collo di bottiglia risolvendo l’equazione differenziale dietro l’interazione di due neuroni attraverso le sinapsi per sbloccare un nuovo tipo di algoritmi di intelligenza artificiale veloci ed efficienti. Queste modalità hanno le stesse caratteristiche delle reti neurali liquide – flessibili, causali, robuste e spiegabili – ma sono ordini di grandezza più veloci e scalabili. Questo tipo di rete neurale potrebbe quindi essere utilizzata per qualsiasi attività che implichi ottenere informazioni dettagliate sui dati nel tempo, poiché sono compatti e adattabili anche dopo l'addestramento, mentre molti modelli tradizionali sono fissi. Non esiste una soluzione nota dal 1907, anno in cui fu introdotta l’equazione differenziale del modello neuronale.

I modelli, soprannominati reti neurali "a tempo continuo in forma chiusa" (CfC), hanno sovraperformato le loro controparti all'avanguardia in una serie di compiti, con accelerazioni e prestazioni considerevolmente più elevate nel riconoscere le attività umane dai sensori di movimento, modellando i fenomeni fisici. dinamica di un robot che cammina simulato ed elaborazione sequenziale di immagini basata su eventi. In un compito di previsione medica, ad esempio, i nuovi modelli erano 220 volte più veloci su un campione di 8.000 pazienti.

Un nuovo articolo sul lavoro è stato pubblicato oggi su Nature Machine Intelligence.

"I nuovi modelli di apprendimento automatico che chiamiamo 'CfC' sostituiscono l'equazione differenziale che definisce il calcolo del neurone con un'approssimazione in forma chiusa, preservando le meravigliose proprietà delle reti liquide senza la necessità di integrazione numerica", afferma la professoressa Daniela Rus, direttrice del MIT. del Laboratorio di Informatica e Intelligenza Artificiale (CSAIL) e autore senior del nuovo articolo. "I modelli CfC sono causali, compatti, spiegabili ed efficienti da addestrare e prevedere. Aprono la strada a un apprendimento automatico affidabile per applicazioni critiche per la sicurezza."

Mantenere le cose liquide

Le equazioni differenziali ci consentono di calcolare lo stato del mondo o un fenomeno mentre si evolve, ma non in modo completo nel tempo, ma solo passo dopo passo. Per modellare i fenomeni naturali nel tempo e comprendere il comportamento passato e futuro, come il riconoscimento dell'attività umana o il percorso di un robot, ad esempio, il team ha attinto a un sacco di trucchi matematici per trovare solo il biglietto: una soluzione a "forma chiusa" che modella il descrizione completa di un intero sistema, in un unico passaggio di calcolo.

Con i loro modelli, è possibile calcolare questa equazione in qualsiasi momento del futuro e in qualsiasi momento del passato. Non solo, ma la velocità di calcolo è molto più rapida perché non è necessario risolvere l'equazione differenziale passo dopo passo.

Immagina una rete neurale end-to-end che riceve input di guida da una telecamera montata su un'auto. La rete è addestrata a generare output, come l'angolo di sterzata dell'auto. Nel 2020, il team ha risolto questo problema utilizzando reti neurali liquide con 19 nodi, quindi 19 neuroni più un piccolo modulo di percezione potrebbero guidare un’auto. Un'equazione differenziale descrive ciascun nodo di quel sistema. Con la soluzione in forma chiusa, se la sostituissi all'interno di questa rete, otterresti il ​​comportamento esatto, poiché è una buona approssimazione della dinamica effettiva del sistema. Possono quindi risolvere il problema con un numero ancora inferiore di neuroni, il che significa che sarebbe più veloce e meno costoso dal punto di vista computazionale.