최근 몇 년 동안 이미지 선명도에 대한 사람들의 요구가 급격히 증가함에 따라 많은 휴대폰 및 디지털 카메라 제조업체는 AI 모델을 사용하여 비용을 제어하면서 픽셀 수준을 더욱 향상시키는 방법을 모색해 왔습니다. 이번에는 푸단대학교 컴퓨터과학기술학부 교수인 Yan Bo가 이끄는 팀이 생명과학 실험실의 일반적인 연구 도구인 "형광 현미경"으로 동일한 기술 개념을 이전했습니다.
4月12日,科学期刊《自然-方法》(Nature Methods)以《基于广义荧光显微镜的图像恢复的预训练基础模型》(Pre-training a Foundation Model for Generalizable Fluorescence Microscopy-Based Image Restoration)为题刊发团队成果,他们发明的跨任务、多维度图像增强基础AI模型(UniFMIR),实现了对现有荧光显微成像极限的突破。
형광 현미경이란 무엇입니까? 이러한 유형의 현미경은 자외선을 조사할 때 일부 물질의 형광 발광 능력을 사용하여 세포 내 물질의 흡수 및 이동, 화학 물질의 분포 및 국소화 등을 관찰할 수 있으며 염색을 통해 이러한 특성을 갖지 않는 물질의 형광을 관찰할 수 있습니다. 해상도 측면에서 일반 광학 현미경의 0.2미크론 한계를 훨씬 능가하고 관찰된 분자의 나노 스케일에 도달하여 생명 과학 분야에서 없어서는 안될 연구 도구입니다. 2006년에 처음 도입된 형광 현미경은 전 세계 과학자들이 파킨슨병, 알츠하이머병, 헌팅턴병과 같은 신경퇴행성 질환에 대한 보다 표적화된 치료법을 개발하는 데 도움을 주었습니다.
형광 현미경은 관찰 해상도로 나노 규모에 도달했지만 과학자들은 이에 만족하지 않습니다. 현미경의 광학 하드웨어와 생물학적 샘플의 감광도(형광 조사 시 생물학적 활성 감소)로 인한 문제로 인해 생명 과학 및 컴퓨터 분야의 과학자들은 지난 몇 년 동안 AI로 이미지 품질을 향상시키는 방법을 모색하기 위해 함께 모였습니다. 그러나 다양한 이미징 모드, 복잡한 유형의 열화 및 다양한 향상 프로세스와 같은 일련의 문제로 인해 이 작업이 매우 어렵기 때문에 대부분의 과학자들은 "한 번에 하나의 문제를 해결"하고 단일 요구 사항에 대한 "독점" AI 모델 개발에 집중합니다.
푸단대학교의 AI for Science 팀은 "원스톱 통합"을 목표로 최초의 "통합" 형광 현미경 이미지 향상 AI 기본 모델(UniFMIR)을 직접 구축하여 "이미지 초고해상도 재구성, 등방성 재구성, 3D 노이즈 제거, 이미지 프로젝션 및 프로세스 재구성"의 5가지 작업 방향에서 성능을 크게 개선했습니다.
UniFMIR은 Swin Transformer 구조를 기반으로 하는 기능 향상 모듈을 사용하여 기능 표현을 향상시키고, 서로 다른 작업에 대한 네트워크 프로세스는 동일한 기능 향상 계산을 공유합니다. 수집된 대규모 데이터 세트에서 모델을 사전 훈련하고 다양한 이미지 향상 작업의 데이터를 사용하여 모델 매개변수를 미세 조정함으로써 UniFMIR은 독점 모델보다 더 나은 증강 성능과 일반화를 보여줍니다.
형광 현미경 이미지 향상 기본 모델(UniFMIR) 아키텍처
이는 UniFMIR이 탑재된 형광 현미경이 생명 과학 실험실에서 "마법의 무기"가 될 수 있음을 의미합니다. 과학자들은 살아있는 세포 내부의 미세구조와 복잡한 과정을 보다 명확하게 관찰할 수 있어 전 세계 생명과학, 의학 연구, 질병 진단 관련 분야의 과학적 발견과 의료 혁신을 가속화할 수 있으며, 동시에 반도체 제조, 신소재 연구 개발 등에서 재료의 미세구조 관찰 및 분석 품질을 향상시켜 제조 공정을 최적화하고 제품 품질을 향상시킬 수 있습니다.
UniFMIR의 성공적인 R&D는 핵심 과학 기기 분야에서 "국내 장비 + 기본 모델"의 조합이 수입 장비에 대한 의존도를 효과적으로 줄이고 국가의 과학 기술 자율성과 산업 안보를 강화하며 중국의 지혜와 힘을 글로벌 과학 연구 발전에 기여할 수 있음을 나타냅니다.
"이번에 우리는 AI 이미지 향상 기술을 형광 현미경에 적용하고 과학을 위한 AI를 시작으로 UniFMIR을 구축한다는 아이디어를 내놓았습니다. 당사의 모델은 간단한 파라미터 미세 조정으로 다양한 작업, 이미징 양식 및 생물학적 구조에 적용할 수 있는 형광 현미경 이미지 향상을 위한 다목적 솔루션을 제공합니다. 앞으로 생명 과학 실험실의 과학자들은 데이터 볼륨과 학습 데이터의 풍부함을 더욱 확장하여 UniFMIR의 이미지 재구성 기능을 지속적으로 향상시킬 수 있습니다. Yan Bo는 UniFMIR이 더 많은 유형의 실험에 사용될 수 있다고 확신합니다.
그는 푸단대학교 컴퓨터과학기술학부 디지털 미디어 랩의 회원이다
출처: 상하이 양푸