StabilityAI jobber med teknologi for å generere bilder bare ved å tenke; ingen spørsmål nødvendig: MindEye
2 min. lese
Publisert på
Del denne artikkelen
Forbedre denne veiledningen
Les vår avsløringsside for å finne ut hvordan du kan hjelpe MSPoweruser opprettholde redaksjonen Les mer
Viktige merknader
- MindEye, et nytt system rekonstruerer og henter bilder direkte fra hjerneskanninger.
- MindEye oppnår høy nøyaktighet både når det gjelder å hente originale bilder og generere rekonstruksjoner.
For bare et år siden var bildegenerering via ledetekster den største tingen i verden. Alle snakket om det, og nå ser det ut til at det snart er en saga blott. StabilityAIs MindEye er en ny tilnærming for å rekonstruere og hente bilder direkte fra fMRI hjerneaktivitet. På den andre siden, Stability AIs nye AI-modell kan gjøre 2D-bilder til 3D-videoer.
Funksjonell magnetisk resonansavbildning (fMRI) er en nevroavbildningsteknikk som måler hjerneaktivitet ved å oppdage endringer i blodstrømmen. Denne teknologiens rolle er å kartlegge hjernens funksjon og vurdere potensielle behandlinger for nevrologiske tilstander.
MindEye bygger på et datasett med opptak av hjerneaktivitet fra deltakere som så på en serie statiske bilder i en MR-skanner. Forskerteamet trente systemet til å analysere disse opptakene og enten hente det originale bildet fra en samling av kandidater (henting) eller generere en rekonstruksjon av det viste bildet.
Forskerne demonstrerte MindEyes evne til å utkonkurrere tidligere metoder i bildehentingsoppgaver, og oppnå over 90 % nøyaktighet i å identifisere det originale bildet fra en pool av kandidater. For rekonstruksjon bruker MindEye ferdigtrente generative modeller
MindEye kan brukes på tvers av ulike felt. På det medisinske feltet kan dens evne til å rekonstruere visuell persepsjon fra hjerneaktivitet tillate diagnostiske og vurderingsmetoder, spesielt i tilfeller der pasienter sliter med kommunikasjon. MindEyes potensial for sanntidsanalyse ser etter forbedret ytelse for hjerne-datamaskingrensesnitt.
Teamet fremhever begrensninger knyttet til datainnsamling, inkludert de lange skannetidene som kreves og potensialet for støyende data på grunn av deltakerbevegelser eller uoppmerksomhet.
Mer her.
