CUP-VISAR image reconstruction based on iterative-interframe double prediction
-
摘要: CUP-VISAR系统是将超快压缩成像（CUP）与二维任意反射面速度干涉仪（VISAR）结合的新技术。针对CUP-VISAR系统在含有大噪声情况下图像重构质量明显下降的问题，提出了一种基于迭代-帧间双预测的压缩超快摄影重构方法。对帧间图像数据的相关性及同一帧图像前后迭代的关联性进行研究，将压缩图像重构问题表述为一个基于卡尔曼预测和帧间预测的迭代-帧间双预测优化问题，并使用即插即用广义交替投影（PnP-GAP）框架来有效解决优化问题。仿真实验表明，在大高斯噪声条件下，所提方法的最小峰值信噪比（PSNR）提高了3.18～2.11 dB，最小结构相似性（SSIM）提高了20.30%～8.22%。实际结果表明，所提方法得到的条纹图像清晰度更高，重构的线-VISAR（1D-VISAR）条纹移动趋势更清晰，验证了算法的有效性。
-
关键词:
- CUP-VISAR /
- 帧间预测 /
- 卡尔曼预测 /
- 即插即用广义交替投影 /
- 图像重构
Abstract: CUP-VISAR system is a new technology that combines Compressed Ultrafast Photography (CUP) with two-dimensional Velocity Interferometer System for Any Reflector (VISAR). To solve the problem that the image reconstruction quality of CUP-VISAR system decreases obviously under the condition of large noise, a compressed ultrafast photography reconstruction method based on iteration-interframe dual prediction is proposed. Using this method, the correlation of inter-frame image data and the correlation of iterations before and after the same frame image are studied. The compressed image reconstruction problem is presented as an iteration-inter frame dual prediction optimization problem based on Kalman prediction and inter-frame prediction, and the Plug-and-Play Generalized Alternating Projection (PnP-GAP) framework is used to solve the optimization problem effectively. Simulation results show that the minimum Peak Signal-to-Noise Ratio (PSNR) and minimum Structure Similarity Index Measure (SSIM) of the proposed method are increased by 3.18−2.11 dB and 20.30%−8.22% under large Gaussian noise conditions. The practical results show that the proposed method can obtain higher definition of fringe image, and the reconstructed line-VISAR (1D-VISAR) fringe movement trend is clearer, which verifies the effectiveness of the algorithm. -
任意反射面速度干涉仪（VISAR）[1-2]是常用于记录惯性约束聚变（ICF）[3]领域波前信息的诊断仪器。但VISAR只能通过不完全打开条纹相机的狭缝实现波前一维连续信息的获取。当条纹相机狭缝完全打开时，不同时间的条纹图像会沿时间方向相互重叠而导致信息无法解读，从而无法提供波前二维速度场的信息。2020年，Yang等[4]提出了将CUP和VISAR相结合的CUP-VISAR技术。该技术将条纹相机狭缝完全打开并借助压缩感知（CS）和重构算法，从单幅压缩图像中重构出多幅时变二维条纹图像。然而，CUP-VISAR系统的测量数据中存在明显的噪声干扰，且当噪声较大时，图像的重构质量会急剧下降。与此同时，数字微透镜阵列（DMD）[5]使用的编码孔径是难以抑制噪声[6-7]的8 pixel×8 pixel而非1 pixel×1 pixel 。因此，大噪声下的压缩图像重构是一个具有挑战性的问题。针对上述问题，本文提出了一种基于迭代-帧间双预测的多约束图像重构方法。
1. CUP-VISAR系统和图像重构原理
CUP-VISAR系统由VISAR成像系统和CUP记录系统组成[8-9]，如图1所示。在VISAR成像系统中[10-12]，聚焦光通过第一组光路f1打到目标点TSF上。由于多普勒效应，经TSF反射的聚焦光成为携带多普勒频移信息的光。携带多普勒信息的光从TSF开始，沿着光路f2，并分别在第一成像面（IP1）和第二成像面（IP2）处成像。IP2生成的时变条纹图像
${\boldsymbol{{ I}}}(m,n,t)$ 通过分束镜4（BS4），其中一路条纹图像经过光路f3在DMD进行编码操作，随后在条纹相机1中进行剪切操作和积分操作，最后得到压缩图像${\boldsymbol{Y}}(m + t - 1,n)$ 。另一路条纹图像沿光路f4从BS4开始，到达入口狭缝未完全打开的条纹相机2，生成1D-VISAR实验数据。将时变条纹图像
${\boldsymbol{I}}(m,n,t)$ 简写为I，压缩图像${\boldsymbol{Y}}(m + t - 1,n)$ 简写为Y，采集过程的数学表达式为Y=TSCI (1) 式中：T表示在条纹相机1积分操作中的时空积分算子；S表示在条纹相机1的剪切操作中反映了条纹相机扫描速度的时间剪切速度算子；C表示在DMD下编码操作中的空间编码掩膜算子。设
${\boldsymbol{A}} = {\boldsymbol{TSC}}$ ，其中A表示观测矩阵。在动态重构过程中，时变二维条纹图像I可从式（1）的求逆中得到。然而，式（1）中公式的个数远小于未知数个数，式（1）属于欠定问题。一般的做法是通过增加待求状态量的先验信息，将欠定问题转化为约束优化问题[13]，即
min (2) 式中：
${\mathit{ \Phi}} ({\boldsymbol{I}}) $ 表示时变二维条纹图像I的先验信息，而选择合适的先验信息[14]是准确构建重构模型的关键。在下一节中，我们将考虑条纹图像在帧间维度和时间维度的相关先验信息并加以利用，从而更准确地构建重构模型。2. 迭代-帧间双预测原理
2.1 帧间预测原理
在VISAR数据采集过程中，剪切操作可视为二维观测图像Y随着时间t在空间上发生的位置偏移，后一帧图像与前一幅图像存在相位变化。由此可知，前后帧之间存在密切联系。由于二维条纹图像具有明显的条纹特征[15]，可以从条纹特性的角度推导出有关帧间的先验信息[16]。上下帧图像可视为具有相同周期、相同峰值和不同初始相位的余弦函数。通过将每个条纹图像拟合为余弦函数，将上下帧图像视为由同一余弦函数图像上的不同区间组成的二维条纹图像。
帧间预测中构建条纹图像的余弦函数为
{\boldsymbol{I}} = {{\boldsymbol{a}}_i} + {{\boldsymbol{b}}_i} \cos\Bigg(\dfrac{{2\pi i}}{{{T_{\mathrm{c}}}}} + {\boldsymbol{\varphi}} _i^j\Bigg) (3) 式中：
${{\boldsymbol{a}}_i}$ 表示第i帧图像振幅强度；${{\boldsymbol{b}}_i}$ 表示第i帧图像背景光强度；${T_{\mathrm{c}}}$ 表示图像周期，是一个需要根据具体情况进行调整的参数；${\boldsymbol{ \varphi}} _i^j $ 表示第i帧图像第j行的初始相位。这些数据均从实验数据中获得。首先，将实际数据图像归一化为[0,1]的灰度值，并通过第i帧图像最小灰度值和平均峰值得到
${{\boldsymbol{a}}_i}$ 与${{\boldsymbol{b}}_i}$ 。其次，利用最小二乘法将式（3）拟合得到每一帧每一行图像的曲线，得到每一帧每一行图像的初始相位${\boldsymbol{ \varphi}} _i^j $ 和前后帧相位差，进而得到每一帧每一行的余弦拟合函数。再者，将前后帧相位差转化为像素差，并构建逐行像素的映射关系，对连续帧进行状态估计和预测，生成帧间预测图像。最后，利用均方差公式（4）评估帧间预测后图像的质量。{\mathit{\Lambda}} _{\mathrm{F}}^{{\text{MSE}}}({\boldsymbol{I}}) = \dfrac{{\left\| {{\boldsymbol{Y}} - {\boldsymbol{A}}{{\mathit{\Lambda}} _{\text{F}}}({\boldsymbol{I}})} \right\|_2^2}}{{(m + t - 1) \times n}} (4) 式中：
$ {{\mathit{\Lambda }}_{\mathrm{F}}}( \cdot ) $ 为帧间预测函数。帧间预测的基本思想和过程如图2所示。图2为一个${T_{\mathrm{c}}} = 71$ 的条纹图像的帧间预测过程。2.2 卡尔曼迭代预测
在条纹图像迭代重构过程中，随着迭代次数的增加，迭代前后的同一帧图像高度相似。因此，同一帧图像随迭代次数增加而发生的变化可视为同一帧图像随时间的变化，可利用卡尔曼预测算法提取相关的先验信息[17-18]。
①将第
$ k - 1 $ 次迭代的第i帧图像${\boldsymbol{I}}_{k - 1}^i$ 扩展为列向量${\boldsymbol{X}}(k - 1|k - 1)$ 。②根据第i帧在第
$ k - 1 $ 次迭代的列向量，第i帧图像在第k次迭代的列向量${\boldsymbol{X}}(k|k - 1)$ 可表示为{\boldsymbol{X}}(k|k - 1) = \tilde {\boldsymbol{A}}{\boldsymbol{X}}(k - 1|k - 1) + {\boldsymbol{BW}}(k - 1) (5) 式中：
$ \tilde {\boldsymbol{A}} $ 表示第$ k - 1 $ 次迭代到第k次迭代的状态转换矩阵；B是卡尔曼算法的控制矩阵；$ {\boldsymbol{W}}(k - 1) $ 表示第$ k - 1 $ 次迭代环境噪声的预设分布。③基于第
$ k - 1 $ 次迭代中第i帧的误差协方差矩阵第k次迭代中第i帧的误差协方差矩阵${\boldsymbol{P}}{\text{(}}k|k - 1{\text{)}}$ 可表示为{\boldsymbol{P}}(k|k - 1) = \tilde {\boldsymbol{A}}{\boldsymbol{P}}(k - 1|k - 1){\tilde {\boldsymbol{A}}^{\mathrm{T}}} + Q (6) 式中：
${{\boldsymbol{M}}^{\mathrm{T}}}$ 表示矩阵M的转置；$ {\boldsymbol{P}}(k - 1|k - 1) $ 表示第i帧在第$ k - 1 $ 迭代中更新后的误差协方差矩阵；Q表示状态误差协方差。且$ {\boldsymbol{P}}(0|0) = {\boldsymbol{E}}[({\boldsymbol{X}}(0) - {{\boldsymbol{\mu}} _0}){({\boldsymbol{X}}(0) - {{\boldsymbol{\mu}} _0})^{\mathrm{T}}}] = {{\boldsymbol{P}}_0} $ ，其中${\boldsymbol{E}}({\boldsymbol{M}})$ 表示矩阵M的平均值。④更新第k次迭代卡尔曼增益，即
{\boldsymbol{K}}(k) = ({\boldsymbol{P}}(k|k - 1){{\boldsymbol{H}}^{\mathrm{T}}}) {[{\boldsymbol{HP}}(k|k - 1){{\boldsymbol{H}}^{\mathrm{T}}} + R]^{ - 1}} (7) 式中：H表示与当前迭代对应的观测矩阵。
⑤利用卡尔曼增益更新第k次迭代中第i帧的估计值为
{\boldsymbol{X}}(k|k) = {\boldsymbol{X}}(k|k - 1) + {\boldsymbol{K}}(k)[{\boldsymbol{X}}(k - 1|k - 1) - {\boldsymbol{HX}}(k|k - 1)] (8) ⑥更新第k次迭代误差协方差，即
{\boldsymbol{P}}(k|k) = [\tilde {\boldsymbol{E}} - {\boldsymbol{K}}(k){\boldsymbol{H}}]{\boldsymbol{P}}(k|k - 1) (9) 式中：
$ \tilde {\boldsymbol{E}} $ 代表单位矩阵。⑦卡尔曼预测得到的第k次迭代中第i帧列向量重组为二维图像
$\hat {\boldsymbol{I}}_k^i$ 。3. 基于迭代-帧间双预测多约束的PnP-GAP重构方法
3.1 基于帧间预测和卡尔曼预测的迭代-帧间双预测重构模型
由于条纹图像在帧间维度和时间维度存在关联，因此将帧间预测与卡尔曼预测引入优化问题中。此外，考虑到条纹图像具有低秩[22]和分段平滑[23]的特性，本节将低秩（LR）约束和全变分（TV）约束作为先验信息引入优化问题中，从而更准确构建重构模型。为便于求解，将等式约束优化问题转化为无约束优化问题。因此，式（2）可转化为
L = \mathop {\arg \min }\limits_{\boldsymbol{I}} \Bigg\{ \dfrac{1}{2}\left\| {{\boldsymbol{Y}} - {\boldsymbol{A}}{\boldsymbol{I}}} \right\|_2^2 + \lambda {\left\| {\boldsymbol{I}} \right\|_{{\mathrm{TV}}}} + \tau {R_{{\mathrm{LR}}}}({\boldsymbol{I}}) + {\delta _1}{{\mathit{\Gamma}} _{{\mathrm{KF}}}}({\boldsymbol{I}}) + {\delta _2}{\mathit{\Lambda}} _{\text{F}}^{{\text{MSE}}}({\boldsymbol{I}})\Bigg\} (10) 式中：
$\mathop {\arg \min }\limits_{\boldsymbol{I}} \{ \cdot \} $ 是目标区域最小化时变量I的取值；$ \lambda $ 和$ \tau $ 表示调整参数；$ {\delta _1} $ 和$ {\delta _2} $ 表示预测权重参数；$ {\left\| \cdot \right\|_{{\text{TV}}}} $ 表示TV约束函数；$ {R_{{\text{LR}}}}( \cdot ) $ 表示低秩函数；$ {{\mathit{\Gamma }}_{{\text{KF}}}}( \cdot ) $ 表示卡尔曼预测函数；$ {\mathit{\Lambda}} _{\text{F}}^{{\text{MSE}}}( \cdot ) $ 表示帧间预测均方差最小化函数。3.2 基于PnP-GAP的重构算法
为了有效解决提出的优化问题，本文将使用PnP-GAP迭代框架[24]对式（9）进行迭代求解。PnP-GAP算法采用交替更新和迭代求解子问题的方法获得最优解。具体来说，在迭代过程中，先固定u并将I拆分为若干子问题进行更新；再固定I并将u拆分为子问题进行更新。因此，式（9）引入辅助变量u并代入PnP-GAP的形式如下
L = \mathop {\arg \min }\limits_{{\boldsymbol{I}},{\boldsymbol{u}}} \Bigg\{ \dfrac{1}{2}\left\| {{\boldsymbol{Y}} - {\boldsymbol{A}}{\boldsymbol{I}}} \right\|_2^2 + \dfrac{\eta }{2}\left\| {{\boldsymbol{I}} - {\boldsymbol{u}}} \right\|_2^2 + \lambda {\left\| {\boldsymbol{I}} \right\|_{{\text{TV}}}} + \tau {R_{{\mathrm{LR}}}}({\boldsymbol{u}}) + {\delta _1}{{\mathit{\Gamma}} _{{\text{KF}}}}({\boldsymbol{I}}) + {\delta _2}{\mathit{\Lambda}} _{\text{F}}^{{\text{MSE}}}({\boldsymbol{I}})\Bigg\} (11) 式中：
$\eta $ 表示调整参数。（1）在第k次迭代中，固定u变量，更新I变量
当变量u固定时，式（10）可简化为
{{\boldsymbol{I}}_{k + 1}} = \mathop {\arg \min }\limits_{\boldsymbol{I}} \Bigg\{ \dfrac{1}{2}\left\| {{\boldsymbol{Y}} - {\boldsymbol{A}}{\boldsymbol{I}}} \right\|_2^2 + \dfrac{\eta }{2}\left\| {{\boldsymbol{I}} - u} \right\|_2^2 + \lambda {\left\| {\boldsymbol{I}} \right\|_{{\text{TV}}}} + {\delta _1}{{\mathit{\Gamma}} _{{\text{KF}}}}({\boldsymbol{I}}) + {\delta _2}{\mathit{\Lambda}} _{\text{F}}^{{\text{MSE}}}({\boldsymbol{I}})\Bigg\} (12) 由于
$ {\left\| {\boldsymbol{I}} \right\|_{{\text{TV}}}} $ 是一个不可微项，利用压缩感知理论[25]，式（11）可分解为\hat {\boldsymbol{I}}_{k + 1}^{'} = \mathop {\arg \min }\limits_{\boldsymbol{I}} \Bigg\{ \dfrac{1}{2}\left\| {{\boldsymbol{Y}} - {\boldsymbol{A}}{\boldsymbol{I}}} \right\|_2^2 + \dfrac{\eta }{2}\left\| {{\boldsymbol{I}} - {\boldsymbol{u}}} \right\|_2^2\Bigg\} (13) \hat {\boldsymbol{I}}_{k + 1}^{''} = \mathop {\arg \min }\limits_{\boldsymbol{I}} \Bigg\{ \dfrac{\eta }{2}\left\| {\hat {\boldsymbol{I}}_{k + 1}^{'} - {\boldsymbol{u}}} \right\|_2^2 + \lambda {\left\| {\hat {\boldsymbol{I}}_{k + 1}^{'}} \right\|_{{\text{TV}}}}\Bigg\} (14) {{\boldsymbol{I}}_{k + 1}} = {\delta _1}{{\mathit{\Gamma}} _{{\text{KF}}}}(\hat {\boldsymbol{I}}_{k + 1}^{''}) + {\delta _2}{\mathit{\Lambda}} _{\text{F}}^{{\text{MSE}}}(\hat {\boldsymbol{I}}_{k + 1}^{''}) (15) 在线性流形u上通过欧几里得投影更新
$ \hat{\boldsymbol{ I}}_{k + 1}^{'} $ ，利用近似映射法[26]更新$ \hat {\boldsymbol{I}}_{k + 1}^{''} $ ，从而可将式（12）和式（13）转换为\hat {\boldsymbol{I}}_{k + 1}^{''} = {\mathrm{pro}}{{\mathrm{x}}_{{\text{TV}}}}[{{\boldsymbol{u}}_k} + {{\boldsymbol{A}}^{\mathrm{T}}}{({\boldsymbol{A}}{{\boldsymbol{A}}^{\mathrm{T}}})^{ - 1}}({\boldsymbol{Y}} - {\boldsymbol{A}} {{\boldsymbol{u}}_k})] (16) 式中：
$ {\mathrm{pro}}{{\mathrm{x}}_{{\text{TV}}}}( \cdot ) $ 表示关于TV的近似映射算子。为了加速I的优化求解，并对线性流形的投影进行自适应调整，本文对式（15）进行了如下修改\hat {\boldsymbol{I}}_{k + 1}^{''} = {\mathrm{pro}}{{\mathrm{x}}_{{\text{TV}}}}[{{\boldsymbol{u}}_k} + {{\boldsymbol{A}}^{\mathrm{T}}}{({\boldsymbol{A}}{{\boldsymbol{A}}^{\mathrm{T}}})^{ - 1}}({\boldsymbol{Y}} - {\boldsymbol{A}} {{\boldsymbol{u}}_k})/({{\italeph}} + 1)] (17) {{\boldsymbol{Y}}_{k + 1}} = {{\boldsymbol{Y}}_k} + ({\boldsymbol{Y}} - {\boldsymbol{A}} {{\boldsymbol{u}}_k}),\quad \forall k \geqslant 1 (18) 噪声是影响重构图像质量的一个重要因素。这是因为当重构数据中存在噪声时，噪声值会随着迭代次数的增加而逐渐增大。
$ {{\boldsymbol{Y}}_{k + 1}} $ 的值会随着迭代次数的增加而逐渐增大，从而导致$ {{\boldsymbol{Y}}_{k + 1}} - {\boldsymbol{A}} {{\boldsymbol{u}}_{k + 1}} $ 的误差累积。当误差积累到一定程度时，将对优化解产生不可忽视的影响，最终导致重构质量下降[11]。因此，本文采用自适应调整投影权重参数$ \italeph $ ，使PnP-GAP进行变加速收敛的策略，达到优化算法求解效果的目的。当$ {{\boldsymbol{Y}}_{k + 1}} - {\boldsymbol{A}} {{\boldsymbol{u}}_{k + 1}} $ 较小时，投影权重参数$ \italeph $ 较小，此时可充分利用所含信息使算法收敛速度增加；当$ {{\boldsymbol{Y}}_{k + 1}} - {\boldsymbol{A}} {{\boldsymbol{u}}_{k + 1}} $ 较大时，投影权重参数$ \italeph $ 增大，此时取消加速，从而有效减少了$ {{\boldsymbol{Y}}_k} $ 的影响。因此，式（16）可表示为\hat {\boldsymbol{I}}_{k + 1}^{''} = \left\{ {\begin{array}{*{20}{c}} {{\mathrm{pro}}{{\mathrm{x}}_{{\text{TV}}}}({{\boldsymbol{u}}_k} + {{\boldsymbol{A}}^{\mathrm{T}}}{{({\boldsymbol{A}}{{\boldsymbol{A}}^{\mathrm{T}}})}^{ - 1}}({\boldsymbol{Y}} - {\boldsymbol{A}} {{\boldsymbol{u}}_k})/({\italeph _1} + 1))\begin{array}{*{20}{c}} ,&{({{\boldsymbol{Y}}_k} - {\boldsymbol{A}} {{\boldsymbol{u}}_k}) \leqslant {\boldsymbol{\rho}} } \end{array}} \\ {{\mathrm{pro}}{{\mathrm{x}}_{{\text{TV}}}}({{\boldsymbol{u}}_k} + {{\boldsymbol{A}}^{\mathrm{T}}}{{({\boldsymbol{A}}{{\boldsymbol{A}}^{\mathrm{T}}})}^{ - 1}}({\boldsymbol{Y}} - {\boldsymbol{A}} {{\boldsymbol{u}}_k})/({\italeph _2} + 1))\begin{array}{*{20}{c}} ,&{({{\boldsymbol{Y}}_k} - {\boldsymbol{A}} {{\boldsymbol{u}}_k}) > {\boldsymbol{\rho}} } \end{array}} \end{array}} \right. (19) 式中：
${\boldsymbol{ \rho}} $ 为$ {{\boldsymbol{Y}}_k} - {\boldsymbol{A}} {{\boldsymbol{u}}_k} $ 的误差阈值；$ {\italeph _1} $ 和$ {\italeph _2} $ 表示$ \italeph $ 在不同阶段的值。（2）在第k次迭代中，固定I变量，更新u变量
当变量I固定时，式（10）可简化为
{{\boldsymbol{u}}_{k + 1}} = \mathop {\arg \min }\limits_{\boldsymbol{u}} \Bigg\{ \dfrac{\eta }{2}\left\| {{\boldsymbol{I}} - {\boldsymbol{u}}} \right\|_2^2 + \tau {R_{{\text{LR}}}}({\boldsymbol{u}})\Bigg\} (20) 因为低秩约束是一个NP-难问题[27]，所以将
$ {R_{{\text{LR}}}}( \cdot ) $ 做核范数近似[28]，并采用奇异值阈值处理（SVT）[29]方法来最小化核范数。因此，式（19）可转换为{{\boldsymbol{u}}_{k + 1}} = {{\boldsymbol{U}}_{k + 1}} {{\boldsymbol{S}}_{\tfrac{\tau }{\eta }}}({{\boldsymbol{\omega}} _{k + 1}}) {\boldsymbol{V}}_{k + 1}^{\mathrm{T}} (21) 式中：
${\mathrm{svd}}({{\boldsymbol{u}}_k}) = {{\boldsymbol{U}}_{k + 1}} {{\boldsymbol{\omega}} _{k + 1}} {\boldsymbol{V}}_{k + 1}^{\mathrm{T}}$ 是${{\boldsymbol{u}}_k}$ 的奇异值分解；$ {{\boldsymbol{S}}_{\tfrac{\tau }{\eta }}}( \cdot ) $ 代表阈值为$ \dfrac{\tau }{\eta } $ 的软阈值算子。综上所述，推导出变量I和u的迭代子公式。具体的求解流程如图3所示。
4. 实验分析
为了直观地证明所提方法在实际实验中的可行性以及重构图像具有更高的质量，实验将所提方法与ADMM-TVLR和变加速GAP-TVLR进行了比较。实验分为仿真实验和实际实验。在模拟实验中，使用PSNR和SSIM作为评估图像质量的评价指标[30-31]。在实际实验中，使用重构图像分辨率和重构1D-VISAR图像的定义作评价指标。
4.1 模拟实验与分析
模拟实验利用尺寸为
$790(x) \times 330(y) \times 25(t)$ 的模拟原始干涉条纹图，如图4（a）所示。为了更接近真实复杂环境的特征，模拟DMD采用了编码孔径为8 pixel×8 pixel 的编码掩膜图像，如图4（b）所示。在模拟实验中，在条纹图像中引入了均值为0、方差为0.5的高斯噪声。噪声观测图像的像素大小为790 pixel×389 pixel。通过模拟CUP-VISAR系统的数据采集过程获得的图像如图4（c）所示。使用ADMM-TVLR[10]、变加速GAP-TVLR[11]和PnP-GAP-TLKI方法重构模拟的二维条纹图像。在大噪声情况下，重构结果如图5所示。由图5可知，ADMM-TVLR和变加速GAP-TVLR的条纹轮廓模糊。PnP-GAP-TLKI方法的整体视觉效果清晰，条纹轮廓的细节信息重构效果更好。
为了定量分析重构图像的质量，PSNR和SSIM的比较如图6所示。ADMM-TVLR重构方法的PSNR分布为11.94～15.01 dB，且SSIM分布为47.97%～62.54%。变加速度GAP-TVLR重构方法的PSNR分布为13.01～19.59 dB，SSIM分布为64.05%～83.03%。PnP-GAP-TLKI重构方法的PSNR分布为15.12～21.05 dB，SSIM分布为72.27%～87.80%。仿真结果表明，所提出的方法能够在存在明显噪音的情况下有效保证重构图像的质量。
4.2 真实实验和分析
根据上述图1搭建本文真实实验，红色箭头代表光路走向。首先，在打靶实验前，通过电脑端给DMD加载已设计好的编码矩阵，由于实际实验中各种实验因素的影响，电脑端所设计好的编码矩阵可能不能在条纹相机中完整显示，需要做实验得到实际编码矩阵图像数据。利用白光光源，并将条纹相机狭缝完全打开（约为5 mm），条纹相机设置为无扫速档。由于实验条件限制，DMD编码孔径尺寸设置为为8 pixel×8 pixel，其编码矩阵设置为固定矩阵。然后，在打靶实验中，利用脉宽为6.4 ns的探针光光源，打到靶面上，反射出具有多普勒频移信息的聚焦光，携带多普勒信息的光进入VISAR系统。接着，光束在干涉仪中产生动态干涉条纹图像，图像随即进入CUP系统并在DMD编码，被编码的图像信息进入条纹相机1得到观测图像。此条纹相机1选择200 ns扫速档，狭缝全开（约为5 mm），基于探针光脉宽和条纹相机扫速档等参数计算得到重构图像的帧数为32帧。另一路图像则是在附加支路中到达狭缝全开（约为5 mm）的条纹相机2并获取到1D-VISAR图像。最后，对实验中获得的编码图、观测图像和1D-VISAR图进行有效区域截取，考虑到实际实验的复杂性，本实验数据所选取的条纹数量为8，截取的有效编码图尺寸为533 pixel×576 pixel，截取的有效观测图像
${\boldsymbol{Y}}(m + t - 1,n)$ 尺寸为565 pixel×576 pixel，如图7所示。使用ADMM-TVLR、变加速GAP-TVLR和PnP-GAP-TLKI方法重构动态实验。由于实验条件的限制，CUP-VISAR采集过程中的噪声严重影响了二维观测条纹图像，重构图像质量严重下降。重构结果如图8所示。ADMM-TVLR重构图像的分辨率较低，图像平滑度较差，并且第24到26帧的条纹轮廓模糊。变加速GAP-TVLR重构的图像分辨率和图像平滑度均优于ADMM-TVLR重构，但是第24到26帧的重构质量不理想，图像边缘发散。PnP-GAP-TLKI重构图像的整体分辨率和图像平滑度都很好，虽然在第24到26帧中有轻微的发散，但边缘轮廓清晰可见。
从每种方法的重构结果中提取第25帧的重构图像进行局部对比，如图9所示，从圈出的区域可以看出，ADMM-TVLR的轮廓明显模糊，图像平滑度较差，此外，变加速度GAP-TVLR无法识别边缘边界，而PnP-GAP-TLKI则能清晰识别轮廓，图像平滑度较高。
图 9 第25帧重构局部对比Figure 9. Local comparison between frame 25 inversion of different algorithms将各算法得到的重构图像的行按时间顺序排列，得到重构的1D-VISAR图像。图10为各种方法得到的重构条纹图像提取中间一行得到的三幅重构1D-VISAR图。从图10可以看出，每种算法重构的1D-VISAR趋势都与图7（a）的1D-VISAR趋势一致。与各种重构的1D-VISAR相比，ADMM-TVLR图像轮廓不清晰，边缘清晰度差，边缘趋势不理想。变加速GAP-TVLR的图像存在边缘轮廓模糊、边缘粘连和断层现象。PnP-GAP-TKLI图像的条纹清晰，条纹趋势更容易辨别。实验结果表明，本文提出的PnP-GAP-TLKI方法可以在噪声较大的情况下获得质量更好的重构图像。
5. 结 论
针对在大噪声下，重构图像质量易受影响的问题，本文提出一种基于迭代-帧间双预测的重构模型。本文考虑了条纹图像帧数据之间的相关性，提出利用帧间预测提取前后帧存在的相位信息。此外，本文考虑到同一帧图像在前后迭代中的高度相似性，将其转化为该帧条纹图像在时间维度的变换，并利用卡尔曼预测算法进行先验信息的提取。最后，结合条纹图像低秩和分段平滑的特性，构建基于低秩、TV约束、帧间预测、卡尔曼预测的多约束优化模型，并采用PnP-GAP框架进行迭代求解。本文通过模拟实验和真实实验验证所提方法的有效性，并与现有主流方法进行对比分析。由仿真实验可知，在大高斯噪声条件下，所提方法的最小PSNR提高了3.18～2.11 dB，最小SSIM提高了20.30%～8.22%。实际实验表明，所提出的PnP-GAP-TLKI方法能有效地重构复杂环境中的图像，这种方法具有良好的抗噪能力，同时还能确保图像的平滑度和细节。虽然所提方法取得了令人满意的结果，但仍有进一步改进的余地，后续研究将集中于挖掘条纹图像的时间序列关联信息和帧间数据关联信息，通过加入多通道算法提高数据采样率，并尝试完善双通道情况下帧间数据的先验信息。
-
图 9 第25帧重构局部对比
Figure 9. Local comparison between frame 25 inversion of different algorithms
-
[1] Guan Zanyang, Li Yulong, Wang Feng, et al. Study on the length of diagnostic time window of CUP-VISAR[J]. Measurement Science and Technology, 2021, 32: 125208. doi: 10.1088/1361-6501/ac29d4 [2] 吴宇际, 王秋平, 王峰, 等. 广角任意反射面速度干涉仪的光学性质研究[J]. 强激光与粒子束, 2019, 31:032001 doi: 10.11884/HPLPB201931.190045Wu Yuji, Wang Qiuping, Wang Feng, et al. Optical properties of wide-angle velocity interferometer system for any reflector[J]. High Power Laser and Particle Beams, 2019, 31: 032001 doi: 10.11884/HPLPB201931.190045 [3] Ma Zijian. The progress and the state-of-art facilities of inertial confinement fusion[J]. Journal of Physics: Conference Series, 2022, 2386: 012057. doi: 10.1088/1742-6596/2386/1/012057 [4] Yang Yongmei, Li Yulong, Guan Zanyang, et al. A diagnostic system toward high-resolution measurement of wavefront profile[J]. Optics Communications, 2020, 456: 124554. doi: 10.1016/j.optcom.2019.124554 [5] Qi Dalong, Zhang Shian, Yang Chengshuai, et al. Single-shot compressed ultrafast photography: a review[J]. Advanced Photonics, 2020, 2: 014003. [6] 黎淼, 余柏汕, 王玺, 等. 基于全变分正则约束的二维冲击波速度场条纹重构技术[J]. 光学学报, 2023, 43:1911003 doi: 10.3788/AOS230777Li Miao, Yu Baishan, Wang Xi, et al. Fringe reconstruction technology of two-dimensional shock wave velocity field based on total variation regularization constraints[J]. Acta Optica Sinica, 2023, 43: 1911003 doi: 10.3788/AOS230777 [7] Zhang Yan, Li Jie, Li Xinyue, et al. Image stripe noise removal based on compressed sensing[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2022, 36: 2254004. doi: 10.1142/S0218001422540040 [8] 王峰, 理玉龙, 关赞洋, 等. 压缩感知技术在激光惯性约束聚变研究中的应用[J]. 强激光与粒子束, 2022, 34:031021 doi: 10.11884/HPLPB202234.210250Wang Feng, Li Yulong, Guan Zanyang, et al. Application of compressed sensing technology in laser inertial confinement fusion[J]. High Power Laser and Particle Beams, 2022, 34: 031021 doi: 10.11884/HPLPB202234.210250 [9] Wang Xi, Zhang Lei, Miao Li, et al. Research into CUP-VISAR velocity reconstruction based on weighted DRUNet and total variation joint optimization[J]. Optics Letters, 2023, 48(20): 5181-5184. doi: 10.1364/OL.498607 [10] 郑铠涛, 李海艳, 甘华权, 等. 基于低秩约束和全变分正则化的CUP-VISAR压缩图像重构算法[J]. 强激光与粒子束, 2023, 35:072002 doi: 10.11884/HPLPB202335.230011Zheng Kaitao, Li Haiyan, Gan Huaquan, et al. CUP-VISAR image reconstruction based on low-rank prior and total-variation regularization[J]. High Power Laser and Particle Beams, 2023, 35: 072002 doi: 10.11884/HPLPB202335.230011 [11] 黄庆鑫, 李海艳, 甘华权, 等. 基于变加速广义交替投影的CUP-VISAR压缩图像反演算法[J]. 光学学报, 2023, 43:2111004 doi: 10.3788/AOS230726Huang Qingxin, Li Haiyan, Gan Huaquan, et al. CUP-VISAR compressed image inversion algorithm based on variable-accelerated generalized alternating projection[J]. Acta Optica Sinica, 2023, 43: 2111004 doi: 10.3788/AOS230726 [12] Gao Liang, Liang Jinyang, Li Chiye, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second[J]. Nature, 2014, 516(7529): 74-77. doi: 10.1038/nature14005 [13] Madych W R. Solutions of underdetermined systems of linear equations[C]//Spatial Statistics and Imaging: Papers from the Research Conference on Image Analysis and Spatial Statistics Held. 1991: 227-238. [14] 牟晓霜, 黎淼, 王玺, 等. 基于分块平滑投影二次重构算法的单像素成像系统[J]. 强激光与粒子束, 2022, 34:119002 doi: 10.11884/HPLPB202234.220190Mou Xiaoshuang, Li Miao, Wang Xi, et al. Single-pixel imaging system based on block smoothed projected quadratic reconstruction algorithm[J]. High Power Laser and Particle Beams, 2022, 34: 119002 doi: 10.11884/HPLPB202234.220190 [15] 高秋玲, 成巍, 李文龙, 等. 复杂背景下的结构光条纹中心提取算法研究[J]. 山东科学, 2024, 37(2):65-73 doi: 10.3976/j.issn.1002-4026.20230133Gao Qiuling, Cheng Wei, Li Wenlong, et al. Centerline extraction algorithm of structured light streak in a complex background[J]. Shandong Science, 2024, 37(2): 65-73 doi: 10.3976/j.issn.1002-4026.20230133 [16] 徐瑶. 正反格雷码与相移周期错位矫正的视觉测量及目标重建[D]. 哈尔滨: 哈尔滨理工大学, 2023Xu Yao. Visual measurement and object reconstruction based on forward and inverse gray code and phase shift period dislocation correction[D]. Harbin: Harbin University of Science and Technology, 2023 [17] 余远平, 李海艳, 甘华权, 等. 基于卡尔曼滤波的双约束CUP-VISAR压缩图像重构算法[J]. 强激光与粒子束, 2023, 35:082005 doi: 10.11884/HPLPB202335.230100Yu Yuanping, Li Haiyan, Gan Huaquan, et al. Double-constrained CUP-VISAR compressed image reconstruction algorithm based on Kalman filtering[J]. High Power Laser and Particle Beams, 2023, 35: 082005 doi: 10.11884/HPLPB202335.230100 [18] Sumbul U, Santos J M, Pauly J M. Improved time series reconstruction for dynamic magnetic resonance imaging[J]. IEEE Transactions on Medical Imaging, 2009, 28(7): 1093-1104. doi: 10.1109/TMI.2008.2012030 [19] Teodoro M F, Pereira C, Henriques P, et al. Prediction of ship movement using a Kalman filter algorithm[J]. Advances in Science and Technology, 2024, 144: 93-100. [20] Feng Shuo, Li Xuegui, Zhang Shuai, et al. A review: state estimation based on hybrid models of Kalman filter and neural network[J]. Systems Science & Control Engineering, 2023, 11: 2173682. [21] Puspitaningtyas D A, Mulyantoro D K, Sudiyono S. Kalman filter for artifact reduction in MRI imaging: a literature review[J]. Applied Mechanics and Materials, 2023, 913: 79-88. doi: 10.4028/p-143r36 [22] Sun Xiaoqi, Gao Wenxi, Duan Yinong. MR brain image segmentation using a fuzzy weighted multiview possibility clustering algorithm with low-rank constraints[J]. Journal of Medical Imaging and Health Informatics, 2021, 11(2): 402-408. doi: 10.1166/jmihi.2021.3280 [23] Beck A, Teboulle M. Fast gradient-based algorithms for constrained total variation image denoising and deblurring problems[J]. IEEE Transactions on Image Processing, 2009, 18(11): 2419-2434. doi: 10.1109/TIP.2009.2028250 [24] Yuan Xin, Liu Yang, Suo Jinli, et al. Plug-and-play algorithms for large-scale snapshot compressive imaging[C]//Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 1444-1454. [25] Jin Jianqiu, Yang Bailing, Liang Kewei, et al. General image denoising framework based on compressive sensing theory[J]. Computers & Graphics, 2014, 38: 382-391. [26] Mathew R S, Paul J S. Automated regularization parameter selection using continuation based proximal method for compressed sensing MRI[J]. IEEE Transactions on Computational Imaging, 2020, 6: 1309-1319. doi: 10.1109/TCI.2020.3019111 [27] 马坚伟, 徐杰, 鲍跃全, 等. 压缩感知及其应用: 从稀疏约束到低秩约束优化[J]. 信号处理, 2012, 28(5):609-623 doi: 10.3969/j.issn.1003-0530.2012.05.001Ma Jianwei, Xu Jie, Bao Yuequan, et al. Compressive sensing and its application: from sparse to low-rank regularized optimization[J]. Journal of Signal Processing, 2012, 28(5): 609-623 doi: 10.3969/j.issn.1003-0530.2012.05.001 [28] Gillis N, Glineur F. Low-rank matrix approximation with weights or missing data is NP-hard[J]. SIAM Journal on Matrix Analysis and Applications, 2011, 32(4): 1149-1165. doi: 10.1137/110820361 [29] Zhang Fan, Fan Hui, Liu Peiqiang, et al. Image denoising using hybrid singular value thresholding operators[J]. IEEE Access, 2020, 8: 8157-8165. doi: 10.1109/ACCESS.2020.2964683 [30] Wang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861 [31] 何南南, 解凯, 李桐, 等. 图像质量评价综述[J]. 北京印刷学院学报, 2017, 25(2):47-50 doi: 10.3969/j.issn.1004-8626.2017.02.012He Nannan, Xie Kai, Li Tong, et al. Overview of image quality assessment[J]. Journal of Beijing Institute of Graphic Communication, 2017, 25(2): 47-50 doi: 10.3969/j.issn.1004-8626.2017.02.012 -
下载:
下载:
点击查看大图
计量
- 文章访问数: 173
- HTML全文浏览量: 66
- PDF下载量: 16
- 被引次数: 0
