“不用最昂貴的鏡頭，也能拍出高清照片”，近年來，面對人們快速增長的影像清晰度需求，衆多手機、數位相機廠商不斷探索如何在控制成本的情況下，使用AI模型進一步提升像素級。這一次，同樣的技術理念，卻被複旦大學計算機科學技術學院教授顔波帶領的團隊遷移到了生命科學實驗室裡的常用研究工具“熒光顯微鏡”上。
4月12日，科學期刊《自然-方法》（Nature Methods）以《基于廣義熒光顯微鏡的圖像恢複的預訓練基礎模型》（Pre-training a Foundation Model for Generalizable Fluorescence Microscopy-Based Image Restoration）為題刊發團隊成果，他們發明的跨任務、多元度圖像增強基礎AI模型（UniFMIR），實作了對現有熒光顯微成像極限的突破。
何為熒光顯微鏡？這類顯微鏡利用部分物質受紫外線照射後可發熒光的特性，以及通過染色讓本不具有該特性的物質發出熒光，可以觀察細胞内物質的吸收、運輸、化學物質的分布及定位等。在分辨率方面，它遠超普通光學顯微鏡0.2微米極限，到達觀測分子的納米尺度，是生命科學領域不可或缺的研究工具。自2006年橫空出世，熒光顯微鏡已幫助全球科學家研制出了對帕金森氏症、阿爾茨海默氏症和亨廷頓氏症等神經退行性疾病更有針對性的治療方法。
盡管熒光顯微鏡的觀測分辨率已達到納米尺度，但科學家們并不滿足于此。由于顯微鏡光學硬體和生物樣本光敏感性（在熒光照射下，生物活性降低）帶來的挑戰，過去幾年中，生命科學和計算機領域的科學家們開始攜手探索用AI的路徑來增強圖像品質的辦法。然而，成像模式多樣、降質類型複雜、增強過程迥異等一系列問題，使得這一任務極具挑戰性，于是，大多數科學家選擇“每次解決一個問題”，聚焦于研制針對單一需求的“專有”AI模型。
來自複旦大學的這支AI for Science團隊則選擇直擊挑戰，以“一站式內建”為目标，直接建構了首個“統一”的熒光顯微鏡圖像增強AI基礎模型（UniFMIR），大幅提升在“圖像超分辨率重構、各向同性重構、3D去噪、圖像投影和過程重建”五大任務方向上的性能。
UniFMIR采用了基于Swin Transformer結構的特征增強子產品來增強特征表示，針對不同任務的網絡流程共享相同的特征增強計算。通過收集的大規模資料集對模型進行預訓練，并使用不同圖像增強任務的資料微調模型參數，UniFMIR展現出比專有模型更好的增強性能和泛化性。
熒光顯微鏡圖像增強基礎模型（UniFMIR）架構
這意味着，加載了UniFMIR的熒光顯微鏡可能成為生命科學實驗室中的“神器”。科學家們能更清晰地觀察到活細胞内部的微小結構和複雜過程，加速全球生命科學、醫學研究、疾病診斷相關領域的科學發現和醫療創新；同時，在半導體制造、新材料研發等領域，該成果可以用來提升觀察和分析材料微觀結構的品質，進而優化制造技術和提高産品品質。
UniFMIR的成功研發标志着大陸在關鍵科學儀器領域“國産裝置+基礎模型”的組合能有效減少對進口裝置的依賴，增強國家科技自主性和産業安全，也為全球科研領域的進步貢獻了中國智慧和力量。
“這次我們想到把AI圖像增強技術應用于熒光顯微鏡上，并建構UniFMIR，出發點就是AI for Science。我們的模型為熒光顯微鏡圖像增強提供了一個通用的解決方案，通過簡單的參數微調便可應用于不同任務、成像模式和生物結構。未來，生命科學實驗室的科學家們可通過進一步擴充訓練資料的資料量和豐富度來不斷強化UniFMIR的圖像重構能力。”顔波對UniFMIR被用于更多類型實驗的可能性充滿信心。
複旦大學計算機科學技術學院數字媒體實驗室成員
來源：上海楊浦