StabilityAI sta lavorando sulla tecnologia per generare immagini semplicemente pensando; non sono necessarie istruzioni: MindEye
2 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
Note chiave
- MindEye, un nuovo sistema ricostruisce e recupera le immagini direttamente dalle scansioni cerebrali.
- MindEye raggiunge un'elevata precisione sia nel recupero delle immagini originali che nella generazione di ricostruzioni.
Solo un anno fa, la generazione di immagini tramite prompt era la cosa più importante al mondo. Tutti ne parlavano e ora sembra che presto diventerà un ricordo del passato. MindEye di StabilityAI è un nuovo approccio per ricostruire e recuperare immagini direttamente dall'attività cerebrale fMRI. D'altra parte, Il nuovo modello AI di Stability AI può trasformare le immagini 2D in video 3D.
La risonanza magnetica funzionale (fMRI) è una tecnica di neuroimaging che misura l'attività cerebrale rilevando i cambiamenti nel flusso sanguigno. Il ruolo di questa tecnologia è quello di mappare la funzione cerebrale e valutare potenziali trattamenti per le condizioni neurologiche.
MindEye si basa su un set di dati di registrazioni dell'attività cerebrale dei partecipanti che hanno visualizzato una serie di immagini statiche all'interno di uno scanner MRI. Il team di ricerca ha addestrato il sistema ad analizzare queste registrazioni e a recuperare l'immagine originale da un pool di candidati (recupero) o a generare una ricostruzione dell'immagine visualizzata.
I ricercatori hanno dimostrato la capacità di MindEye di sovraperformare i metodi precedenti nelle attività di recupero delle immagini, ottenendo una precisione superiore al 90% nell'identificazione dell'immagine originale da un pool di candidati. Per la ricostruzione, MindEye utilizza modelli generativi pre-addestrati
MindEye può essere applicato in vari campi. In campo medico, la sua capacità di ricostruire la percezione visiva dall’attività cerebrale potrebbe consentire metodi diagnostici e di valutazione, in particolare nei casi in cui i pazienti hanno difficoltà a comunicare. Il potenziale di MindEye per l'analisi in tempo reale mira a migliorare le prestazioni dell'interfaccia cervello-computer.
Il team evidenzia le limitazioni associate alla raccolta dei dati, inclusi i lunghi tempi di scansione richiesti e il rischio di dati rumorosi dovuti al movimento o alla disattenzione dei partecipanti.
