Dalam beberapa tahun terakhir, dalam menghadapi permintaan masyarakat yang berkembang pesat akan kejernihan gambar, banyak produsen ponsel dan kamera digital telah mengeksplorasi cara menggunakan model AI untuk lebih meningkatkan tingkat piksel sambil mengendalikan biaya. Kali ini, konsep teknis yang sama dimigrasikan oleh tim yang dipimpin oleh Yan Bo, seorang profesor di Sekolah Ilmu Komputer dan Teknologi di Universitas Fudan, ke "mikroskop fluoresensi", alat penelitian umum di laboratorium ilmu kehidupan.
4月12日,科学期刊《自然-方法》(Metode Alam)以《基于广义荧光显微镜的图像恢复的预训练基础模型》(Pra-pelatihan Model Dasar untuk Restorasi Gambar Berbasis Mikroskopi Fluoresensi yang Dapat Digeneralisasi)为题刊发团队成果,他们发明的跨任务、多维度图像增强基础AI模型(UniFMIR),实现了对现有荧光显微成像极限的突破。
Apa itu mikroskop fluoresensi? Jenis mikroskop ini dapat mengamati penyerapan dan pengangkutan zat dalam sel, distribusi dan lokalisasi zat kimia, dll., Dengan menggunakan kemampuan beberapa zat untuk berpendar ketika disinari oleh sinar ultraviolet, dan fluoresensi zat yang tidak memiliki sifat seperti itu melalui pewarnaan. Dalam hal resolusi, jauh melebihi batas 0,2 mikron mikroskop optik biasa dan mencapai skala nano molekul yang diamati, menjadikannya alat penelitian yang sangat diperlukan di bidang ilmu kehidupan. Sejak didirikan pada tahun 2006, mikroskop fluoresensi telah membantu para ilmuwan di seluruh dunia mengembangkan perawatan yang lebih bertarget untuk penyakit neurodegeneratif seperti Parkinson, Alzheimer dan Huntington.
Meskipun mikroskop fluoresensi telah mencapai skala nano dengan resolusi pengamatan, para ilmuwan tidak puas dengan ini. Karena tantangan yang ditimbulkan oleh perangkat keras optik mikroskop dan sensitivitas cahaya sampel biologis (mengurangi aktivitas biologis di bawah iradiasi fluoresensi), para ilmuwan dalam ilmu kehidupan dan bidang komputer telah berkumpul selama beberapa tahun terakhir untuk mengeksplorasi cara-cara untuk meningkatkan kualitas gambar dengan AI. Namun, serangkaian masalah seperti mode pencitraan yang beragam, jenis degradasi yang kompleks, dan proses peningkatan yang berbeda membuat tugas ini sangat menantang, sehingga sebagian besar ilmuwan memilih untuk "memecahkan satu masalah pada satu waktu" dan fokus pada pengembangan model AI "eksklusif" untuk satu kebutuhan.
Tim AI for Science dari Universitas Fudan memilih untuk mengambil tantangan secara langsung dan langsung membangun Model Dasar AI Peningkatan Gambar Mikroskopi Fluoresensi "terpadu" pertama (UniFMIR) dengan tujuan "integrasi satu atap", yang sangat meningkatkan kinerja dalam lima arah tugas "rekonstruksi resolusi super gambar, rekonstruksi isotropik, denoising 3D, proyeksi gambar, dan rekonstruksi proses".
UniFMIR menggunakan modul peningkatan fitur berdasarkan struktur Swin Transformer untuk meningkatkan representasi fitur, dan proses jaringan untuk tugas yang berbeda berbagi perhitungan peningkatan fitur yang sama. Dengan pra-pelatihan model pada dataset skala besar yang dikumpulkan dan parameter model fine-tuning menggunakan data dari tugas peningkatan gambar yang berbeda, UniFMIR menunjukkan kinerja augmentasi dan generalisasi yang lebih baik daripada model proprietary.
Arsitektur Fluorescence Microscopy Image Enhancement Base Model (UniFMIR)
Ini berarti bahwa mikroskop fluoresensi yang sarat dengan UniFMIR bisa menjadi "senjata ajaib" di laboratorium ilmu kehidupan. Para ilmuwan dapat lebih jelas mengamati struktur mikro dan proses kompleks di dalam sel hidup, mempercepat penemuan ilmiah dan inovasi medis di bidang yang terkait dengan ilmu kehidupan, penelitian medis, dan diagnostik penyakit di seluruh dunia, dan pada saat yang sama, hasilnya dapat digunakan untuk meningkatkan kualitas mengamati dan menganalisis struktur mikro bahan dalam pembuatan semikonduktor, penelitian dan pengembangan bahan baru, dll., Sehingga dapat mengoptimalkan proses manufaktur dan meningkatkan kualitas produk.
Keberhasilan R&D UniFMIR menunjukkan bahwa kombinasi "peralatan domestik + model dasar" di bidang instrumen ilmiah utama dapat secara efektif mengurangi ketergantungan pada peralatan impor, meningkatkan otonomi ilmiah dan teknologi negara dan keamanan industri, dan juga berkontribusi kebijaksanaan dan kekuatan China untuk kemajuan penelitian ilmiah global.
"Kali ini, kami datang dengan ide untuk menerapkan teknologi peningkatan gambar AI ke mikroskop fluoresensi dan membangun UniFMIR, dimulai dengan AI for Science. Model kami memberikan solusi serbaguna untuk peningkatan gambar mikroskop fluoresensi yang dapat diterapkan pada berbagai tugas, modalitas pencitraan, dan struktur biologis dengan penyetelan parameter sederhana. Di masa depan, para ilmuwan di laboratorium ilmu hayati dapat terus meningkatkan kemampuan rekonstruksi citra UniFMIR dengan lebih memperluas volume data dan kekayaan data pelatihan. Yan Bo yakin dengan kemungkinan UniFMIR digunakan untuk lebih banyak jenis eksperimen.
Dia adalah anggota Lab Media Digital, Sekolah Ilmu dan Teknologi Komputer, Universitas Fudan
Sumber: Yangpu, Shanghai