基于特征的拼接成像技术研究及系统设计文献综述

 2022-11-22 15:51:08

基于特征的拼接成像技术研究及系统设计

全景图[1]技术( panorama technology) 是指通过图像配准的方法，找到同一场景的若干幅图像之间的重叠区域并对齐，然后进行平滑拼接，直至所有相关的图像都被加入到拼接图中，从而组合成一幅完整的全景图像。由于该方法根据图像特征点之间的关系完成图像拼接，构建虚拟场景，因此也被称为基于特征的图像拼接算法[2]。目前，基于特征的图像拼接与全景技术在很多领域已经得到了非常广泛的应用[3,4]。比如，旅游风景区可以采用 360°全景照片，展现景区内的优美景点; 在房屋开发销售领域，可以利用虚拟全景浏览技术，展示楼盘的外观、布局、房屋结构、室内设计等; 在智能监控领域，全景图可以“记忆”连续的场景，当区域图像发生变化时，只需传输变化的部分图像，从而减少数据的传输，可以大大提高网络的传输效率，达到较好的实时监控效果。

国外图像拼接技术发展现状:

图像配准是图像融合的基础。因此也产生了各国之间对于该项技术激烈的分析和探讨。1965年，在IFIP会议上，有虚拟现实“先锋”之称的计算机图形学创始人 Ivan Sutherland [5-6] 作了题为“The Uelimate Display”的报告，该报告首次提出了将图像进行拼接后显示在计算机中的思想，并引发了当时各国对获取更大图像的新猜想。在1975年，Kuslin和Hines就提出了相位相关法。这种算法是通过傅里叶变换将图像在频域范围改变，随后将修改过的平移图像进行显示的一种方法。在1984年，Burr P．J．首次提出了拉普拉斯金字塔变换基础上的图像融合算法。该算法是对原始图像作拉普拉斯变换并进一步分割，进而在不同分割图像上获得所需要的特征和匹配区域，再将这些匹配区域进行拼接，最后将拼接好的信息进行逆变换输出该项算法得出了比较好的融合图像。所以，拉普拉斯变换对于图像融合技术还是有着十分重要的地位，可以说拉普拉斯变换是当时图像处理的基石。1988年，Harris提出了Harris兴趣点检测器。这个方法指在图像处理过程中使用自相关变换。通过两幅图之间的相关性找到匹配区域。当然这个算法所得出的匹配区域对于图像平移和旋转有着不变形，并且对外界噪声干扰有着比较好的抑制，以此获取更好的融合图像。1996年，Richard Szeliski[7]教授得出了大视场图像处理原型，他被后人誉为全景图像拼接技术奠基人。他提出了当时最普遍最实用的图像处理算法LM算法[8]。该图像算法采用了二维的傅里叶变换，能更快速的使每个像素收敛，进而形成了质量较高的拼接图像，这种方法在当时广为流传。到了2000年，Shmuel Peleg、BennyRousso、Alex Rav．Acha和Assaf Zomet提出了一种能够根据相机的不同运动来选择模型的图像拼接算法。这种算法是以LM算法为基础并加以改进，使得图像分割成多个长方形，然后将这些长方形的投影进行融合。2004年，Shmule Peleg，Benny Rousso，Alex Ray，Assaf Zomet基于Richard Szeliski的算法上提出了新的观点，提出了自适应图像拼接模型。它是根据相机的不同运动而自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这种观点可以说快速促进了图像处理的发展，他们的自适应问题也带给世界各国科学家思考与争论。M．Brown and D．G．Lowe发表了Recognizing Panoramas文章 ，提出了基于尺度不变特征(SIFT)的图像拼接技术，这种方法能使得多幅高分辨率的图像进行拼接。针对SIFT （尺度不变特征变换）算法在特征向量计算和特征点配对时计算量大的问题，基于SIFT 算法进行了相应的改进。首先用相位相关法粗略定位图像的重叠区域，对重叠区域进行特征兴趣点的提取，对提取出的点构造泰森多边形；然后将图像切分为4行和4列，分别在每个小区域内根据构造的泰森多边形找到4对匹配点对，算出相应的图像变换矩阵，结合8个变换矩阵计算两幅图像的变换关系，最后采用渐入渐出算法对图像进行融合。在特定区域内寻找定量的点对使得须配对的点对数量变少，从而提升了图像拼接的效率。2006年l0月，Richard Szeliski进一步提出增强图像对图像配准的重要性，大大增加了图像匹配的精度。2010年7月，Jungpil Shin提出了基于能量谱的技术消除拼接后图像的重影，他通过匹配人眼视觉特点，经过一系列的计算消除了一些不需要的灰度重影。此外，也有改进的最佳拼接缝寻找方法被提出，例如基于张量分析的最佳拼接缝算法[9](GeZhao,LanLin等,2013)，不仅能够抵抗光照改变和空间变化的畸变，比如渐晕，而且不需要经验性地决定合并亮度和梯度的权值。最佳拼接缝经常被用于消除因拍摄近处物体而带来的视差和鬼影多，比如无人机载相机室内环境全景拼接[10](Jyun-HongChen,Chen-MingHuang,2012)。解决大视差图像的拼接问题也是一项提高图像拼接质量的挑战性的工作，一种结合单应变换和基于内容保留的图像变形的混合对齐模型[11](FanZhang,FengLiu,2014)被提出。另外一个影响图像质量的问题是鬼影问题。鬼影的来源可能是图像之间的对齐错误，解决方法可从两方面入手，一方面改进对齐的准确度，在全景图像拼接中通常使用光束平差法优化变换模型的参数，另一方面提出高效的融合算法，例如采用动态搜索融合区域[12]消除鬼影。鬼影的另一种来源则是场景中存在运动的物体，一些工作研究了背景运动物体的去除和修复方法[13](Kumara W.G.C.W,Shih-MingChang等,2013)。

国内图像拼接技术发展现状:

相比西方发达国家，我国对其研究基本上是处于追随国外先进技术的阶段。1998年，张祖勋等提出了一种图像快速融合的算法[14]--多级影像概率松弛整体匹配技术。这种方法可以是不同规格不同参数的图像进行拼接，效果良好。在2002年，杜威、李华[15]改进了图像拼接在运动中的算法，使图像拼接的使用范围变宽。而针对拓展小范围的图像匹配问题，周鹏等人研究提出大视场图像拼接算法，很好地解决了图像匹配小视场问题，还大大提高精度。这种方法是建立两个类似函数，并寻找这两组函数的相关性大大简化了计算工作量提高匹配效率。2003年，大连理工大学的封靖波等提出了一种基于相似曲线的拼接方法。通过寻找按列梯度最大点，建立两条曲线，然后确定这两条曲线最相似的部分，从而找到两幅图像的匹配位置。这种方法在一定程度上简化了匹配策略并减小了计算量。2007年，夏妍妍、尹丽华和安居白提出了基于特征点匹配的图像拼接方法，通过对海上监控图像的处理，人为选取需要的重合部分并取得比较好的拼接效果。赵辉等人则提出了一种能对相位相关性处理的算法，这种算法增强了图像处理的自动排序功能。2009年，刘美莹、汶德胜和曹红杏提出了新型的图像拼接技术。针对Haris算子检测提取图像的匹配点，增强了图像除噪性能，大大提高效率减少计算量，图像融合采用的是像素加权的方法，有效提高配准精确性，比较适用于当今社会。2010年4月，武汉理工大学的李庆、李芬等人提出了基于SURF特征配准的pcb图像拼接算法，通过pcb技术使融合图像无缝拼接。国防科技大学开发的HVS [16] 系统采用的是种基于特征线段的图像匹配算法。电子科技大学利用FPGA硬件技术设计了大场景图像拼接融合系统[17] 。

参考文献

  1. Brown M，Lowe D G． Recognising panoramas［C］/ / Proceedings of the 9th IEEE International Conference on Computer Vision．Nice，France: IEEE，2003: 1218-1227． ［DOI: 10． 1109 / IC-CV． 2003． 1238630］
  2. 朱庆辉，尚媛园，邵珠宏，等. 局部特征及视觉一致性的柱面全景拼接算法[J].中国图象图形学报, 2016, 21(11):1523-1529.
  3. Yu M M，Ma G L． 360° surround view system with parking guid-ance［J］． SAE International Journal of Commercial Vehicles，2014，7( 1) : 19-24． ［DOI: 10． 4271 /2014-01-0157］
  4. Belbachir A N，Mayerhofer M，Matolin D，et al． Real-time 360°panoramic views using BiCa360，the fast rotating dynamic vision sensor to up to 10 rotations per Sec［C］/ /2012 IEEE Internation-al Symposium on Circuits and Systems． Seoul: IEEE，2012:727-730． ［DOI: 10． 1109 / ISCAS． 2012． 6272139］
  5. RAFAEL C , RICHARD E. Digital lmage Processing[M] . Publishing House of Electronics Industry , 2005
  6. ROTHBAUM B O. HODGES L F. The use of Virtual Reality Exposure in the Treatment of Anxiety Disorders [J].Behavior Modification , 2003, 23 (4) : 507-525
  7. SZELISKI R. Video mosaics for virtual environments [J].IEEE Computer Graphics and Applications.1996, 16 (2) :22-30
  8. 王兆军，田裕鹏。基于Harris LM全局运动估计的电子稳像算法研究[J].应用科技，2010, 2 (01) : 31-34 [10]GUNUSTEKIN S , HALL R W.
  9. Ge Z. A new optimal seam finding method based on tensor analysis for automatic panorama construction[J]. Pattern Recognition Letters, 2013, 34(3): 308-314.
  10. Chen J H, Huang C M. Image stitching on the unmanned air vehicle in the indoorenvironment[C]. Sice Conference, 2012: 402-406.
  11. Zhang F, Liu F. Parallax-Tolerant Image Stitching[C]. Computer Vision and PatternRecognition, 2014: 3262-3269.
  12. Wan Y, Miao Z. Automatic panorama image mosaic and ghost eliminating[C]. IEEEInternational Conference on Multimedia and Expo, 2008: 945. -948.
  13. Kumara W G c W, Chang S M, Shih T K. Automatic panorama generation from a videowith dynamic background[M].2013: 8-14.
  14. 张祖勋，张剑清.数字摄影测量学[M]北京:清华大学出版社,1997
  15. 杜威，李华.一-种用于动态场景的全景表示方法[J].计算机学报，2002，25 (9) : 968-975
  16. 张茂军.虚拟现实系统[M ].北京:科学技术出版社，2005
  17. 王茂.基于FPGA的大场景图像融合可视化的研究与设计[D ]成都:电子科技大学，2007

剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可： Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版

您可能感兴趣的文章