Una tecnica efficiente migliora la macchina

Le immagini per il download sul sito web dell'ufficio notizie del MIT sono rese disponibili a entità non commerciali, stampa e pubblico in generale sotto una licenza Creative Commons Attribution Non-Commercial No Derivatives. Non è possibile modificare le immagini fornite, se non ritagliandole a misura. Per la riproduzione delle immagini è necessario utilizzare una linea di credito; se non ne viene fornito uno di seguito, accreditare le immagini a "MIT".

Immagine precedente Immagine successiva

Vengono utilizzati potenti modelli di apprendimento automatico per aiutare le persone ad affrontare problemi difficili come l’identificazione di malattie nelle immagini mediche o il rilevamento di ostacoli stradali per i veicoli autonomi. Ma i modelli di apprendimento automatico possono commettere errori, quindi in contesti ad alto rischio è fondamentale che gli esseri umani sappiano quando fidarsi delle previsioni di un modello.

La quantificazione dell'incertezza è uno strumento che migliora l'affidabilità di un modello; il modello produce un punteggio insieme alla previsione che esprime un livello di confidenza che la previsione sia corretta. Sebbene la quantificazione dell’incertezza possa essere utile, i metodi esistenti in genere richiedono la riqualificazione dell’intero modello per conferirgli tale capacità. La formazione implica mostrare a un modello milioni di esempi in modo che possa apprendere un compito. La riqualificazione richiede quindi milioni di nuovi input di dati, che possono essere costosi e difficili da ottenere, e utilizza anche enormi quantità di risorse informatiche.

I ricercatori del MIT e del MIT-IBM Watson AI Lab hanno ora sviluppato una tecnica che consente a un modello di eseguire una quantificazione dell’incertezza più efficace, utilizzando molte meno risorse di calcolo rispetto ad altri metodi e senza dati aggiuntivi. La loro tecnica, che non richiede all'utente di riqualificare o modificare un modello, è sufficientemente flessibile per molte applicazioni.

La tecnica prevede la creazione di un modello complementare più semplice che assista il modello di apprendimento automatico originale nella stima dell’incertezza. Questo modello più piccolo è progettato per identificare diversi tipi di incertezza, che possono aiutare i ricercatori ad approfondire la causa principale di previsioni imprecise.

"La quantificazione dell'incertezza è essenziale sia per gli sviluppatori che per gli utenti di modelli di machine learning. Gli sviluppatori possono utilizzare le misurazioni dell'incertezza per aiutare a sviluppare modelli più robusti, mentre per gli utenti può aggiungere un ulteriore livello di fiducia e affidabilità durante la distribuzione dei modelli nel mondo reale. Il nostro Il lavoro porta a una soluzione più flessibile e pratica per la quantificazione dell’incertezza", afferma Maohao Shen, uno studente laureato in ingegneria elettrica e informatica e autore principale di un articolo su questa tecnica.

Shen ha scritto l'articolo con Yuheng Bu, ex postdoc presso il Laboratorio di ricerca di elettronica (RLE) che ora è assistente professore presso l'Università della Florida; Prasanna Sattigeri, Soumya Ghosh e Subhro Das, membri dello staff di ricerca presso il Watson AI Lab del MIT-IBM; e l'autore senior Gregory Wornell, il professore di ingegneria di Sumitomo che guida il laboratorio RLE di segnali, informazioni e algoritmi ed è membro del laboratorio AI Watson del MIT-IBM. La ricerca sarà presentata alla Conferenza AAAI sull’Intelligenza Artificiale.

Quantificare l'incertezza

Nella quantificazione dell'incertezza, un modello di apprendimento automatico genera un punteggio numerico con ciascun output per riflettere la sua fiducia nell'accuratezza di tale previsione. Incorporare la quantificazione dell’incertezza costruendo un nuovo modello da zero o riqualificando un modello esistente richiede in genere una grande quantità di dati e calcoli costosi, che spesso sono poco pratici. Inoltre, i metodi esistenti a volte hanno la conseguenza involontaria di degradare la qualità delle previsioni del modello.

I ricercatori del MIT e del MIT-IBM Watson AI Lab si sono quindi concentrati sul seguente problema: dato un modello preaddestrato, come possono consentirgli di eseguire una quantificazione efficace dell’incertezza?

Risolvono questo problema creando un modello più piccolo e più semplice, noto come metamodello, che si collega al modello più grande e preaddestrato e utilizza le funzionalità che il modello più grande ha già appreso per aiutarlo a effettuare valutazioni di quantificazione dell’incertezza.