重噪声图像恢复策略及其应用研究

Image recovery refers to the process of restoring sharp and clean images from degraded observations. This is a very important image processing task with various medical, engineering, and commercial applications. Since there are various types of images and they are usually degraded by different types of blurs and noises, image recovery remains a challenging task. Our novel recovery approach is based on variational frameworks and deep learning methods. The deep learning method can learn the relationship between degraded images and soft edges of the corresponding high quality images. Based on the deep learning model, we propose an edge regularization which can better restore fine details and edges. Our new approach will adopt different fidelity terms suitable for various noises. We propose to extend our new methods for two fields of applications: Cryo-EM imaging and Cryo-ET imaging. In these two applications, the aim is to reconstruct macromolecular structures from 2D images which are corrupted by heavy noise and blur. The degradation limit resolution of the 3D reconstruction. Recovery methods which exploit statistical information of noise and edge information of objects can improve restoration results. We will design efficient solvers for our new models, and we will provide new theories such as convergence and speed of the solvers. At the same time, the solver can be improved through the comparison of algorithm performance, forming a unified framework of model-application-algorithm-analysis.

图像恢复是指从退化观察数据中复原清晰图像的过程。作为计算机视觉领域的底层任务，图像恢复在医学、工程等领域均有广泛应用。由于图像本身的多样性，且通常会受到不同类型模糊和噪声的污染，图像恢复是一项极具挑战的任务。本项目使用多种数据拟合与正则项来建立基于软边界正则的模型。通过深度学习网络训练得到退化图像和相应高质量图像的软边界之间的关系，该模型可以较好地保留图像边界和角的特征；同时，由于采用了不同类型的拟合项，我们的模型还可处理不同类型的噪声。我们将新方法扩展到两类应用问题：低温电子显微镜成像和电子断层扫描成像。此时，需要根据重噪声与模糊污染的2D图像重建3D分子结构。严重的退化观测图像制约了3D重建的实现。借助软边界正则模型，可以有效利用图像的统计信息，改进图像恢复结果。针对多种模型，我们量身定制求解器并给出理论分析。同时，通过算法性能比较改进求解器，形成模型—应用—算法—分析的统一框架。

围绕着项目申请书内容，本课题组对重噪声图像恢复策略、非凸图像复原及其在图像处理中的应用等关键问题开展研究工作，取得了一系列研究成果，保质保量完成了项目预期的计划，项目组成员发表国际高水平论文6篇，返修论文1篇，投稿若干，授权发明专利2项。主要研究成果有以下几点:.1. 带有Rician噪声的图像复原已经引起了成像科学的广泛关注，常出现在医学成像中。Rician噪声会导致一个有趣的非凸优化问题，基于最大后验估计（MAP）方法，称为MAP-Rician模型。该模型植根于贝叶斯分析，我们需要仔细理解其数学分析。此外，为了获得最佳的性能，我们选择一种有效的增强凸函数差分算法（BDCA）来处理这种非凸问题，BDCA保留了基于MAP框架和贝叶斯方法的统计特性。事实上，我们首先给出了在温和条件下MAP-Rician模型存在最小化的理论结果。从理论上讲，利用Kurdyka-Lojasiewicz（KL）性质，可以保证数值算法的收敛性。我们还证明了该算法生成的序列在目标函数值单调递减的情况下收敛到一个稳定点。.2. 我们研究了将图像恢复策略应用于图像去噪，图像分割，图像增强，相干衍射成像等问题，并得到了一系列成果。图像分割、图像增强与图像复原是图像处理中非常有挑战性的研究内容，其规模往往非常大，需要在算法设计和程序编写中采用非常多的技巧，以得到满意的结果。针对相干衍射成像问题，网络框架方法可以从退化图像中同步、鲁棒地重建目标的相位和幅值信息。.总之，我们对项目申请书的部分研究内容进行了深入的探讨和研究，并进行了其它方面的研究工作，为今后的研究开展打下了坚实的基础。