基于深度学习的图像风格迁移系统文献综述

 2022-08-12 11:08

一、文献综述

(一)国内外研究现状

1.国外研究现状

2015年8月,Leno Gats等人发表其最新研究论文[17][18],提出可将深度学习应用在图像风格纹理提取上,并给出相应的图像风格迁移网络的具体模型与算法。即,通过多层卷积神经网络(VGGNet)提取风格图片和内容图片的信息。卷积网络的每一层都会对图片进行特征提取,然后定义一个结构类似的卷积神经网络,并传入噪声图片训练通过对比风格图片在 VGGNet和待生成图片在自定义的卷积神经网络上每一层的风格差异,最终通过最小化损失函数训练得到风格迁移后的图片。但其网络设计需要每次渲染图片都是从一张噪声图片开始训练,需要大量的权重运算,且在训练完成后,无法保存训练好的网络模型以供其他图片使用,相应的损耗较大,硬件成本、时间成本过高。

2016年,Justin Johnson在Gatys的风格迁移网络基础上[16],提出了快速风格网络迁移模型。通过网络分离(生成网络、损失网络)将图像风格迁移过程中的训练和生成的过程分离,即对于某特定风格的训练,训练完成后,相应的风格迁移模型属性会保留并模块化,以供下次进行此风格的图像迁移调用,基于模型迭代的深度学习方法开始出现并日趋完善。

2.国内研究现状

2017年,王晨琛等提出了一种基于卷积神经网络的中国水墨画风格提取方法[13],通过VGG19模型提取艺术风格、并实现与普通风景图图像融合。其在理论的基础上,依据中国水墨画的实际特点,通过实验分析寻找合适的卷积层处理内容图像,并寻找最优的叠加组合对水墨画特征进行提取,最后,通过调整内容图像和风格图像的比例系数,得到了符合预期目标的图像,验证了理论的可行性,提出了新的中国水墨画风格图像的风格提取方法。

2019年,缪永伟等提出一种基于卷积生机网络的局部迁移框架[3], 先根据输入的内容图和风格图,利用图像风格迁移网络生成全局风格迁移图;然后,利用图像语义分割网络,通过自动语义分割生成的掩码确定图像前景区域与背景区域;最后,利用掩码图确定风格迁移区域并融合未迁移区域得到图像局部风格迁移结果,同时提出一种基于曼哈顿距离的图像融合算法以优化局部风格迁移对象与未迁移区域之间边界的衔接和平滑过渡。王婷等针对卷积神经网络在实现图像风格迁移中出现的图像失真及精度较差问题,在深度学习Keras框架基础上,提出一种基于卷积神经网络的图像风格迁移算法[5]。杨慧炯等提出一种基于亮度与色度信息的深度学习图像风格迁移算法[7], 提出了通过图像的颜色和亮度信息构建一个多尺度分层网络、在提取图像整体艺术风格的同时对纹理细节和大面积色块区域的微小亮度变化特征进行细化的方法。

2020年,陈惊雷等人通过循环生成式对抗网络[1](CycleGAN ),在考虑相应的生成式对抗网络经典算法配对有限情况下,取消环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联:优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。张月等利用VGG-19网络[2](16个卷积层、5个池化层、3个全连接层)实现图像风格迁移算法的设计与分析,基于卷积神经网络CNN和深度学习TensorFlow框架、利用VGG-19网络提取特征、采用Gram矩阵提取图像风格与内容信息,实现图像的风格迁移。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。