多层局部块坐标下降法及其驱动的分类重构网络

作者：王金甲^*; 张玉珍; 夏静; 王凤嫔

来源：自动化学报, 2020, 46(12): 2647-2661.

DOI：10.16383/j.aas.c190540

• 多层卷积稀疏编码
• 多层基追踪
• 多层局部块坐标下降法
• 分类
• 重构

卷积稀疏编码(Convolutional sparse coding, CSC)已广泛应用于信号或图像处理、重构和分类等任务中,基于深度学习思想的多层卷积稀疏编码(Multi-layer convolutional sparse coding, ML-CSC)模型的多层基追踪(Multi-layer basic pursuit, ML-BP)问题和多层字典学习问题成为研究热点.但基于傅里叶域的交替方向乘子法(Alternating direction multiplier method, ADMM)求解器和基于图像块(Patch)空间域思想的传统基追踪算法不能容易地扩展到多层情况.在切片(Slice)局部处理思想的基础上,本文提出了一种新的多层基追踪算法:多层局部块坐标下降(Multi-layer local block coordinate descent, ML-LoBCoD)算法.在多层迭代软阈值算法(Multi-layer iterative soft threshold algorithm,ML-ISTA)和对应的迭代展开网络ML-ISTA-Net的启发下,提出了对应的迭代展开网络ML-LoBCoD-Net. ML-LoBCoD-Net实现信号的表征学习功能,输出的最深层卷积稀疏编码用于分类.此外,为了获得更好的信号重构,本文提出了一种新的多层切片卷积重构网络(Multi-layer slice convolutional reconstruction network, ML-SCRN), ML-SCRN实现从信号稀疏编码到信号重构.我们对这两个网络分别进行实验验证.然后将ML-LoBCoD-Net和ML-SCRN进行级联得到ML-LoBCoD-SCRN合并网,同时实现图像的分类和重构.与传统基于全连接层对图像进行重建的方法相比,本文提出的ML-LoBCoD-SCRN合并网所需参数少,收敛速度快,重构精度高.本文将ML-ISTA和多层快速迭代软阈值算法(Multilayer fast iterative soft threshold algorithm, ML-FISTA)构建为ML-ISTA-SCRN和ML-FISTA-SCRN进行对比实验,初步证明了所提出的ML-LoBCoD-SCRN分类重构网在MNIST、CIFAR10和CIFAR100数据集上是有效的,分类准确率、损失函数和信号重构结果都优于ML-ISTA-SCRN和ML-FISTA-SCRN.

• 单位
  燕山大学