StabilityAI正在研究僅透過思考即可產生影像的技術;無需提示:MindEye
2分鐘讀
發表於
請閱讀我們的揭露頁面,了解如何幫助 MSPoweruser 維持編輯團隊的發展 阅读更多
重點說明
- MindEye 是一種新系統,可直接從大腦掃描中重建和檢索影像。
- MindEye 在檢索原始影像和生成重建方面都實現了高精度。
就在一年前,透過提示生成圖像還是世界上最重要的事情。每個人都在談論它,現在看來它很快就會成為過去式。 StabilityAI 的 MindEye 是一種直接從功能性磁振造影大腦活動中重建和檢索影像的新方法。另一方面, Stability AI的新AI模型可以將2D影像變成3D影片。
功能性磁振造影 (fMRI) 是一種透過檢測血流變化來測量大腦活動的神經影像技術。該技術的作用是繪製大腦功能圖並評估神經系統疾病的潛在治療方法。
MindEye 建立在參與者在 MRI 掃描儀中查看一系列靜態影像的大腦活動記錄資料集的基礎上。研究團隊訓練系統來分析這些記錄,並從候選池中檢索原始影像(檢索)或產生所查看影像的重建。
研究人員展示了 MindEye 在影像檢索任務中超越先前方法的能力,從候選影像庫中識別原始影像的準確率達到 90% 以上。對於重建,MindEye 使用預先訓練的生成模型
MindEye 可以應用於各個領域。在醫學領域,它從大腦活動重建視覺感知的能力可能會提供診斷和評估方法,特別是在患者溝通困難的情況下。 MindEye 的即時分析潛力旨在改善腦機介面效能。
該團隊強調了與數據收集相關的局限性,包括所需的較長掃描時間以及由於參與者移動或註意力不集中而可能產生噪音數據。
更多 並點選這裡。