虚拟现实下的手势识别综述

2023-11-10

虚拟现实下的手势识别综述

摘要

  随着虚拟现实、人机交互等技术的快速发展,手势识别的研究也得到了广泛的关注。然而,很少有对虚拟现实中手势识别进行全面分析、总结、评述的相关综述研究。针对这一问题,分析比较了现有虚拟现实下手势识别技术的思路和特点,从手势分割、手势建立、手势识别以及特征提取等多个方面对虚拟现实下的手势识别技术的研究现状和发展前景进行了分析,总结出了各种方法的优缺点。在此基础上对手势识别存在的问题及发展趋势进行了总结,展望了手势识别技术今后的研究方向。

关键词:

  手势识别;虚拟现实;交互技术;手势建模

1.引言

  近年来,随着虚拟现实和机器学习等相关学科的发展,人机交互技术( human computer interaction,HCI)正逐渐从以“计算机为中心”向“以人为中心”转移。人机交互技术经过几十年的发展,其输人设备从最初的纸带发展到键盘、鼠标、手柄等,使得人与计算机之间的交流已经普及到了大众化的程度。曾经在很长一段时间里,人机交互领域的研究聚焦于图形用户界面(graphics user interface,GUI),其目的是使得普通用户能够更加简单、方便地使用计算机。然而,随着普适计算等新技术的出现,如何使人与机器之间的交互能够自然地模拟人与人之间的交互已经变得越来越重要。相对于传统的二维图形用户界面,以人体自身直接作为交流平台的自然用户界面为操作者提供了更为直观、 舒适的交互体验,并进行了大量的相关研究,如人脸识别、手势识别、眼动跟踪,以及体势识别等。作为一种不需要中间媒介、非常人性化的人机交互方式,手势是一种理想的自然用户界面(Natural user interface,NUI),它使人们可以用一种更自由的方式与计算机进行交流。
  手势是一种非语言的交流形式,通常被定义为手或者手与臂结合所产生的各种姿势和动作,以表达想法、情绪或者强调[1]。手势是一种符合人类日常习惯的交互手段。在日常生活中人们之间的交流通常会辅以手势来传达一些信息或表达某种特定的意图,可以分为静态手势和动态手势。静态手势识别考虑某个时间点上手势的外形特征,动态手势关注一段时间内人的一系列动作,增加了时间信息和动作特征。
  最初的手势识别主要是利用机器设备的直接检测来获取人手与各个关节的空间信息,其典型代表设备如数据手套[2]等。1983年来自AT&T的Grimes[3]原创性地发明了最早的数据手套;1984年,VPL公司生产的数据手套能够使用光纤传感器检测出手指的弯曲程度; Liang等[4]利用数据手套识别出台湾手语中多个基本词条.其识别率达到90.5%;1991年,Virtual Technologies公司推出了Cyber Glove,该手套包含了线形弯曲传感器和电子张力变形测量器、能够获得较高的精度和稳定性;吴江琴等[5]使用Cyber Glove进行中国手语识别、对孤立词的识别率达到90%.对简单语句的识别率则达到了92%;Assam和Grobel[6]从带颜色手套的实验者的记录视频中提取特征,采用隐马尔科夫模型( Hidden Markov Model,HMM)识别了261个孤立词汇,其正确率达到91.3%。后来因数据手套受到了手势的自然性和可识别的手势较少的限制,光学标记法诞生并取代了数据手套。该方法也可提供良好的效果,但仍需较为复杂的设备机器设备的直接检测;虽然手势识别的准确度和稳定性得到了提高,但却限制了手势的自然表达方式。针对这些技术问题,Erol等[7]对2007年以前的研究工作进行了分析和总结;关然等[8]从手势分割和手势识别两个方面重点分析了最新的研究进展。但是,上述研究主要集中在手势的鲁棒性分割与识别方面,并不能全面体现该领域相关技术的最新进展。
  为此,本文对近几年虚拟现实下的手势识别研究进行了归纳梳理,重点阐述了手势识别的研究思路,与主流方法。本文第2节主要介绍手势识别国内外研究现状;第3节介绍手势识别的关键技术,包括手势分割、手势建模、手势识别以及特征提取等方面;第4节阐述现阶段手势识别研究存在的问题及发展趋势;最后总结全文。

2.国内外研究现状

  手是人类最灵敏的身体部分,在物理世界中能够被用来完成各种操作任务,而具有高效运动/操作技能的双手也可以很方便地被训练用来执行人机交互上下文中的各种虚拟控制任务.例如,将手映射为一个虚拟鼠标,来完成虚拟场景中各种指点和勾画任务[9];将手势应用在虚拟/增强现实环境下,用来驱动漫游或者完成对虚拟对象的抓取、平移、旋转和缩放等各种操作[10];将手势应用在交互桌面系统中,使得用户能够像在物理桌面上操作真实物体一样操作交互桌面系统中的数字物体[11]。
  在20世纪90年代初,就开始了手势识别的研究。付永刚[12]采用两个摄像机实现了一个双手交互的Video Desk系统,系统将采集的视频图像与预先定义好的捏取、指点及拖拽等常用手势进行对比匹配来进行手势识别。1991年,日本富士通公司完成了对46个手势符号的识别工作[13]。HyeSun[14]建立了手势的六维特征向量,并利用整合的HMM识别出了13种手势:这种方法相比于传统的HMM方法而言,能够通过手势之间的关系来改善识别结果.其不足之处是过程比较复杂。Wilson 和Bobick[15]提出了一种基于状态的手势识别方法。通过将手势看作为空间中的一条轨迹将轨迹曲线划分成不同的状态,然后用一组连续的状态序列来表示手势将等待识别的图像序列与原型进行对比。所得的结果作为识别的判据,Korea Polytechnic大学的Lee等[16]用熵分析法从背景较为复杂的视频流中分割并提取出手势区域以进行手势识别,该系统可识别6种手势,平均识别率达到95%。美国MIT媒体实验室的Darrel等[17]采用动态时间规整算法对“Hello”手势进行识别,识别率达到了97%。Yang[18]对 40个美国手语进行识别,所采用的方法是时延神经网络。学习的对象是手势的运动轨迹该方法在在训练集上的识别率高达99% ,测试集的识别率也达到了96%。
  虽然国内对手势识别的研究较晚但取得的成果较显著比较具有代表性的主要有,清华大学祝远新等[19]提出了一种基于表观的新的手势识别技术该课题组通过结合手势的运;动表观形状表观和时序信息建立了动态手势的时空表观模型为抽取时空表观模型的参数,提出了基于运动形状和颜色等多模式信息分层融合的策略而且建立的实验系统可对种手势进行在线识别。识别率超过90%[20,21]。北方交通大学的王延江等人提取手势轨迹中关键点的运动方向。将之与标准手势中所有可能的特征码进行匹配从而实现识别手势轨迹中科院软件所的王西颖等[22]结合HMM与模糊神经网络提出了一种基于HMM-FNN模型的结构,能够识出复杂背景下的动态手势。上海交通大学的刘江华等[23]通过跟踪双手的运动识别的动态手势。采用光流法和耦合隐马尔科夫模型,所能达到的识别率为96.7%。张习文和王西颖[24]等利用一组二维手势模型来替代三维模型。其过程是先利用贝叶斯分类器对静态手势进行识别、然后动态跟踪图像:中的手指和指尖由于该方法结合了基于模型和表观方法的特点因此大大地减少了计算量。中科院自动化所的方亦凯[25]提出一种快速的尺度空间特征检测方法。通过对手势图像中的Blob和Ridge结构的检测,得到手掌与手指的结构描述,进而完成手势识别。

3.手势识别的关键技术

  一般来说,基于视觉的手势识别基本流程如图1所示。设计手势特征和手势模型,并利用手势样本提取特征,对手势模型进行训练,最终建立手势模型。在此基础上,通过视频采集设备获取新的手势视频并进行预处理,接着对手势图像进行手势分割,从而比较准确地提取图像中的人手部分,然后进行手势特征提取;最后,利用前面建立好的手势模型对输入的手势进行分类识别。本文以手势识别步骤为主脉来剖析手势识别的关键技术。
在这里插入图片描述
              图 1 手势识别基本流程

3.1手势分割

  手势分割是指把图像中属于手势的像素点与不属于手势的像素点区分开来,得到手势在图像中的区域。手势分割的结果会对需要手部细节特征提取和识别的系统产生一定的影响,手势分割的技术难点在于环境因素的复杂性,以及手势动作在空间上的灵活性导致的手部外形特征复杂多变。目前不存在一种在所有应用系统和背景条件下都能取得良好的分割效果的方法。从手势分割的技术实现上来看,常见手势的分割方法主要有基于表现特征、基于运动信息,以及多模式的分割。
  表观特征是指手的肤色、纹理、指尖、手型和手的轮廓等。在众多的手势分割方法中肤色分割则是最常用的手势分割方法。依据选择色彩空间的不同,研究者在不同的颜色空间下建模对手势进行分割。Van[26]研究基于RGB空间的肤色建模方法;刘昌盛[27]采用YUV颜色空间进行手势分割;黄国范[28]等利用人体肤色的聚类特性;冯志全等[29]提出基于肤色亮度的手势分割方法;刘军等[30]在色调、亮度、色饱和度空间(hue intensity saturation,HIS)中,通过非参数化的颜色直方图取得肤色范围。基于颜色空间的分割技术的缺陷是在不同的光照条件下,肤色变化较大,当光源亮度或位置角度发生变化时,误检出伪肤色的概率显著增加。
  手势动作往往和背景存在差异,一些学者利用运动信息达到了手势分割的目的。这一领域主要有差影和光流两种研究方法。差影法对消除背景图像具有明显的效果,但缺陷是只适用于运动对象的分割。与之相比,光流计算方法不需要预先获取图像背景,在复杂环境下能够清晰地表示手势的运动。Hackenberg等[31]运用光流法,实现手势的实时追踪;刘蓉等[32]印采用佩戴在手腕的单个加速度传感器获取手势加速度信号,提出一种实时手势加速度动作分割和识别方案。基于运动的分割方法一般需要在一些假设前提下才能发挥作用,例如,差影法需要前景图像和背景图像有明显的颜色差别;而光流法要求背景为静止状态和尽量保持光照恒定,且图像里的主运动分量必须是手势运动。
  为克服复杂环境下单一手势分割方法的局限,一些学者提出基于多线索融合的分割方法。如Weng等[33]融合颜色、运动和形状定位,提高了手势分割的准确度;赵云等[34]提出结合肤色模型和动态跟踪窗口的手势分割算法;方奎等[35]提出基于样本集均匀化的肤色模型,并建立了基于统计分析的手势分割方案。为降低复杂环境下手势分割的难度和计算复杂度,很多研究通过在手指或手掌上作特殊标识,或者强制要求使用单色的墙壁、特殊颜色的服装来简化背景。从分割准确度的角度来看,这些方法确实提升了系统分割的性能,但诸多人为的限制不仅影响了的人机交互的自然性,而且应用范围也受到了一定的限制。

3.2手势建模

  在传统手势识别系统中,手势建模是一个最基本的步骤,不同的手势模型方法,其特征提取的方法也不同。对动态手势识别而言,模型主要建立在图像本身有变化或运动轨迹的基础上。总体上,手势建模方法主要分为基于表观的手势模型和基于三维的手势模型。
  基于表观的手势模型利用手势在图像序列中的表观特征进行建模。常采用灰度图或历史图、可变形模板、图像特征属性以及运动参数模型。灰度图和历史图采用直方图等统计方式统计图像序列中的时空信息来建立手势模型[36];可变形模板是从轮廓影像中抽取一些特征点,构成具有一定的形变,能够描述诸如平移、旋转等全局运动的点集[37];图像特征属性指从图像序列中抽取具有辨识度的属性参数,如轮廓、角点、图像矩等[38];运动参数表观模型更多地考虑模型的时空关系,可选择的运动参数包括平移、旋转、形变以及方位等,这种表观模型可利用光流等手段分割图像中的运动区域,建立手势的时空表观特征[39]。
  动态手势中存在大量的关节约束和运动依赖关系,骨架模型[40]和几何模型[41]是其常用的方法。三维模型应具有足够的自由度以适应图像中手的尺寸。利用简单的几何结构对骨架模型进行进一步简化,可加快计算机实时处理和渲染的速度。完全恢复手势模型要求对手势的形状和运动具有先验知识,一般很难用于实时操作。因此,实际应用中常采取部分恢复手势模型的策略,提取指尖或手掌的信息就可完成定位和导航等相对复杂的任务。
  基于表观的手势模型的计算复杂度低,利用少量的局部特征就可以建立手势模型,应用较为广泛但通用性受到限制。基于骨架的三维模型的适应范围广,所需特征维数高,存在的缺点是系统可能会陷入“维数灾难”。因此,采用PCA算法[42]等来降低特征空间的维度。在建立手势模型的过程中,深度学习方法的应用越来越广泛,如文献[43]利用两流递归神经网络(2S-RNN)有效地融合多模态特征并对手势序列进行建模。

3.3手势识别

  不同的手势模型决定了手势识别方法的多样性。研究方法主要包含以下4种。
隐马尔可夫模型(hidden markov model,HMM)早期主要用于语音识别领域,近年来在手势识别方向发展非常迅速,涌现了许多具有代表性的研究方法。江超等[44]结合粒子滤波和HMM实现了手势运动轨迹的动态识别;严焰等[45]利用HMM对手势指令建模,并采用K-Means算法矢量量化手势特征序列,以提高手势识别性能;常亚男[46]采样HMM二次训练误识样本方法对非典型手势进行识别,识别率达到98.06%,但其缺陷是初始化过程过于复杂,且由于跟踪和识别分开进行,导致运算量非常大。目前,HMM虽然在语音识别领域取得了巨大的成功,但是在手势识别中的表现却并不令人十分满意,这主要是由于传统的HMM方法需要为每种手势分别建立HMM模型,计算量巨大,影响了系统的实时性能。因此,如何在模型复杂性和系统实时性之间寻求平衡,以适应手势识别的实际应用,将是研究者值得深入探讨的问题。
  神经网络具有高度的并行性、自适应性及一定的学习能力等特点,一些学者将这一方法应用于手势识别领域。Murthy等[47]使用BP网络,实现了数十种手势的分类识别。但传统的BP网络存在一些固有的缺点,如容易限于局部极小、收敛速度慢。不能有效利用以往的学习经验等。针对这些问题,许多改进算法不断被提出来。Li等[48]提出自适应确定隐含层神经元数目的算法,将Chebyshev前馈神经网络推广到动态手势学习和识别;Tusor等[49]将模糊理论和人工神经网络结合,建立了模糊神经网络的拓扑结构,用模糊特征值去描述和区分不同的手的姿势。神经网络模型种类繁多,针对不同的应用需求,可衍生出不同的形式,但其识别准确建立在大容量的训练样本基础之上。虽然一些改进的网络训练迭代规则可以提高训练速度,但仍不能完全避免冗长的学习训练过程,因此,该方法不太适应需要对用户手势进行在线学习的情况。
  基于时间规整的方法可分为基于压缩时间轴的识别和基于动态时间规整的识别(DTW)。前者是通过选择某一时间无关的参数,将动态手势的连续轨迹转化为静态离散的点,然后利用静态手势识别算法对动态手势分类识别。黄国范等[50]将动态手势转换为一系列肤色轨迹点的静态矢量图,实现手势分类识别。DTW方法利用非线性规整函数消除时间上的非线性波动,从而在不同时间轴,上消除时空表示模式之间的差别。陈文[51]提出适合基于加速度传感器的智能终端的E-DTW手势识别算法,通过斜率限定曲线路径,减轻模板匹配的计算量,降低手势识别的开销。
  为克服单一视觉信号的不足,多传感器信息检测和融合技术逐渐被引入到手势识别中,成为手势识别领域研究的一个热点。目前主要有加速度计融合、数据手套融合、肌电融合3种方式,刘煜[52]利用的是三轴微加速度计与三轴微陀螺仪的手持设备。对于一些特定手势动作,有学者利用加速度传感器捕捉人的体感动作,取得了不错的识别率。梁秀波等[53]利用智能手机和Wiimote作为加速度数据采集设备,将手势的识别用于人机交互系统,但加速度传感器在低速和与旋转相关的动作识别方面存在缺陷;为此,王万良等[54]将地磁传感器和加速度传感器数据融合,由隐马尔科夫模型进行手势分类和识别。多信息融合的方法能有效补充单一。视觉信息识别的缺陷,但目前多数的研究只是简单的采样融合。由于不同类别的信息具有的时空变换不同,如何深层次有效地协调融合将是研究者今后重点需要考虑的问题。

3.4特征提取

  手势模型确定后,手势分析下一步的任务是需要在选定的模型下完成特征提取和匹配,从而为后续的识别提供分类基础信息。按照提取特征级别的不同,一般可以分为低层几何特征、高层全局特征和3D特征。低层几何特征并不考虑图像的内容,只包含了手势的局部信息,如角点、轮廓、重心等。因此,很难。适应手势的缩放与平移等变换。针对这一问题,一些学者采用Hu矩、Zernike矩、傅里叶描述子等全局特征进行手势识别。李丹娇等[55]提出融合CSS形状描述子与傅里叶描述子的手势特征提取方法,陈启军等[56]利用傅里叶描述子提取手势特征,并结合Camshift算法和Kalman滤波预测识别手势的运动。与前两种特征相比,3D模型特征不会有遮挡等问题,但直接获取关节、 骨架等模型特征非常困难。目前,不管哪一类特征,其提取结果非常依赖于前期分割的质量。因此,如何将手势分割和特征提取一定程度。上融合,或直接忽略分割的影响,将是今后发展的研究方向。

4.存在的问题及发展趋势

  手势识别是一个非常具有挑战性的研究课题。自然手势存在多样性、多义性等特点,复杂的动态手势必须关注手势时间序列上的变化、手的运动轨迹、手的外形特征等多个方面,这使得基于视觉的手势识别技术面临许多关键问题,手势识别的研究仍然有一些技术难题需要突破。
  首先是手势目标检测与跟踪问题。手势目标检测是手势识别中重要的一步,其好坏直接影响到手势识别效果。环境因素,如复杂多变的背景、不同光照条件等因素的影响,给手势分割带来很大困难;此外,手势在执行过程中可能存在部分遮挡,并且由于手是可变形体,能够做出各种复杂的手势动作,这些都加大了手势分割的难度,目前的手势分割方法还不能完全准确地定位出人手。
  其次是动态手势的时空差异性。人类的手势动作在空间上有很大的灵活性,同类的手势动作,由于不同动作执行者的习惯不同,每次手势轨迹的幅度、方向以及位置都不尽相同,即使是同一人重复做多次,每次的运动速度和幅度都不可能完全一样。另外,从不同角度观察同一手势也会有不同的外观。
  第三就是实时性问题。基于视觉的手势识别系统涉及到大量视频数据的处理,对计算机的运算速度和存储容量要求很高。为了保证较高的识别率,在手势实际识别中,采取的办法是使用多维参数提取手势特征。但参数维度过高会增加处理器的负载,导致计算速度下降。普通用户所使用的计算机处理器性能还不能满足非常复杂的识别算法需要,这使得手势识别很难达到实时性要求。
  到目前为止,手势识别的研究仍主要集中在技术层面的实现问题,综合利用其他学科已有的研究成果相对不足。如手势交互时必须要考虑人的心理特征,可利用心理学的基础研究建立具有自然、高效的交互体验的手势模型。冯志全等[57]从认知心理的角度对人手的行为进行分析,建立了操作者手势的4阶段行为预测模型,并研究了基于行为模型的手势跟踪和交互算法。从现有的研究状况和手势识别未来的发展需求来看,综合利用多学科已有的研究成果,是值得研究者深人考虑的内容。

5.结论

  虚拟现实下的手势识别在人机交互领域具有不可替代的地位,经过几十年的广泛研究。手势识别技术已经取得了很大的进展。但由于手势通常处于复杂的环境下,而复杂的背景因素则会导致手势分割的准确性下降,不能精确地提取并识别手势。本文从手势分割、手势建立、手势识别以及特征提取等多个方面对虚拟现实下的手势识别技术的研究现状和发展前景进行了分析,总结出了各种方法的优缺点,指出当前研究存在的问题以及发展趋势随着人机交互的发展手势识别技术研究渐渐趋于成熟,各种算法的推陈出新必将给视觉手势识别带来新的研究途径。

参考文献

[1] Goldinmeadow S.The role of gesture in communication and thinking.Trends in Cognitive Sciences,1999,3(11):419-429.
[2] Meenakshi P.Hand gesture recognition based on shape parameters[C]//International Conference on Computing,Communication and Applications(ICCC A).2012:317-319
[3] Grimes G J. Digital data entry glove interface device:Technical Report US Patent 4[R]. 1983:414-537
[4] Ouhyoung M,Liang R H.A sign language recognition system using hidden markov model and context sensitive search[C]//Proceedings of the ACM Symposium on Virtual Reality Software and Technology.1996 :59-66
[5] 吴江琴,高文.基于视觉手套数输入的汉语手指字母的识别[J].模式识别与人工智能,1999,12(1):74-78
[6] Grobel K,Assan M.Isolated sign language recognition using hidden makov model [C]//IEEE International Conference on Computational Cy bernetics and Simulation, 1997,1:162 -167
[7] EROL A,BEBIS G,NICOLESCU M,et al.Vision-based hand pose estimation: A review[J].Computer Vision and Image Understanding,2007,108(1/2) :52-73.
[8] 关然,徐向民,罗雅愉,等.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013,30(1):155-160.
[9] Mo Z Y,Lewis J P,Neumann U.SmartCanvas: A gesture-driven itelligent drawing desk system[A]. Proc of the 10th International Conference on Intelligent User Interfaces[C].New York: ACM Press,2005.239-243.
[10] Kolsch M,et al. Vision-Based Hand Gesture Interfaces for Wearable Computing and Virtual Environments[D].Santa Barbara:University of California, 2004.
[11] Hlliges O, Izadi S, Wilson A D,et al. Interactions in the air:Adding further depth to interactive tabletops[A].Proc of the 22th Annual ACM Symp on User Interface Software and Technology[C].New York:ACM Press ,2009.139-148.
[12] 付永刚,张凤军,戴国忠.双手交互界面研究进展[J].计算机研究与发展,2005,42(4):604-613
[13] Takahashi T,Kishino F. Hand gesture coding based on experiments using a hand gesture interface device[J].ACM SIGCHI Bulletin,1991,23(2):67-74
[14] ParkHS, KimE Y, Jang SS, et al. An HMM based gesture recognition for perceptual user interface[M]//Advances in Multi-media Information Processing. Springer Berlin Heidelberg,2005 : 1027-1034
[15] Bobick A F, Wilson A D. A state-based approach to the representation and recognition of gesture[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,1997,19(12):1325-1337
[16] LeeJ s,Lee YJ,Lee E H,et al. Hand region extraetion and gesture recognition from video stream with complex background through entropy analysis [C] // Proceedings of the 26th Annual International Conference of the IEEE EMBS. San Francisco,CA, USA ,2004:490-493
[17] Darrell T, Pentland A. Space time gesture [C]// IEEE Conference on Compute Vision and Pattern Recognition. 1993: 335-340
[18] Yang M H, Ahuja N. Recognizing bhand gestures using motion trajectories[ M]. Face Detection and Gesture R ecognition for Human-Computer Interaction. Springer US,2001 :53-81
[19] 祝远新,徐光祐,黄裕.基于表观的动态孤立手势识别[J].软件学报, 2000,11(1):54-61
[20] 任海兵,祝远新,徐光裕,等.连续动态手势的时空表观建模及识别[J].计算机学报[J],2000, 23(8) :824-828
[21] 任海兵,祝远新徐光裕,等,复杂背景下的手势分割与识别[J].自动化学报, 2002 , 28(2) :256 -261
[22] 王西颖,戴国忠,张习文,等.基于HMM-FNN模型的复杂动态手势识别[J].软件学报, 2008, 19(9) :2302- 2312
[23] 刘江华,陈佳品,程君实.基于光流及耦合隐马尔可夫模型的动态手势识别[J].上海交通大学学报,2003 ,37(5):720-723
[24] 方亦凯,程健,汪孔桥,等.基于快速尺度空间特征检测的手势识别方法[J].中国图象图形学报,2009,14(2):214-220
[25] LI M,SUN L, HUO Q.Precise hand segmentation from a single depth image[C]//International Conference on Pattern Recognition.IEEE,2017:2398 -2403.
[26] Van-Den-BerghM,Van-Gool L. Combining RGB and TOF cameras for rea-time 3D hand gesture interaction[C]//IEEE Workshop on Application of Computer Vision.New Jersey,2011:66-72
[27] 刘昌盛,厉树忠赵姝颖.等一种复杂背景下的手部图像分割方法[J].河北科技师范学院学报,2007,21(3):46-49
[28] 黄国范,程小平,基于历史的动态手势识别[J].西南大学学报,(自然科学版) ,2009 ,31(1):106-110.
[29] 冯志全,杨波,郑艳伟.基于特征点分布分析的手势特征检测方法[J].计算机集成制造系统,2011,17(11):2333-2340.
[30] 刘军,田国会,李荣宽,等.智能空间下基于手势识别的人机交互[J].北京联合大学学报:自然科学版,2010,24(2):14-18.
[31] HACKENBERG G, MCCALL R, BROLL W. Lightweight palm and finger tracking for realtime 3D gesture control [C]// Proceeding on Virtual Reality Conference. Singapore: IEEE Press ,2011:19-26.
[32] 刘蓉,刘明.实时手势加速度动作分割与识别研究[J].小型微型计算机系,2012,33(7):1620-1624.
[33] WENG Chuan- bo,LI Yang, ZHANG Ming- min,et al. Robust hand posture recognition integrating multi-cue hand tracking[M]. Germany : Springer-Verlag,2010:497-508.
[34] 赵云,夏小玲.使用肤色模型和动态跟踪窗口的手势跟踪算法[J].计算机工程与应用,2010,46(34):199-203.
[35] 方奎,欧阳宁,莫建文.基于椭圆模型的手势识别与仿真[J].计算机仿真,2011 ,28(3):267-280.
[36] TRAN T H,VO T H,TRAN D T,et al. Dynamic hand gesture recognition using RGB-D motion history and kernel descriptor [C] // International Conference on Advanced Technologies for Communications. IEEE, 2014 :268-273.
[37] QIN S, YANG Y,JIANG Y. Gesture recognition from depth images using motion and shape features[C] // International Symposium on Instrumentation and Measurement , Sensor Network and Automation. IEEE,2014:172-175.
[38] REN Z, YUAN J, ZHANG Z. Robust hand gesture recognition based on finger earth mover’s distance with a commodity depthcamera [C] // ACM International Conference on Multimedia.ACM,2011 : 1093- 1096.
[39] SINGHA J,LASKAR R H. Hand gesture recognition using two- level speed normalization, feature selection and classifier fusion[J]. Multimedia Systems,2017,23:1-16.
[40] BERGH M V D,GOOL L V. Combining RGB and ToF cameras for realtime 3D hand gesture interaction[C] // IEEE Workshop on Applications of Computer Vision. IEEE Computer Society,2011 :66-72.
[41] CHONG Y,HUANG J,PAN S. Hand Gesture Recognition Using Appearance Features Based on 3D Point Cloud[J]. Journal of Software Engineering &. Applications, 2016,9(4): 103-111.
[42] WU L Y,WEI S N,ZHOU B B,et al. Hierarchical extreme learning machine gesture recognition method based on PCA dimension reduction[J ]. Electronic Measurement Technology ,2017,40(3) :82-88. (in Chinese) .
吴良圆,魏书宁,周棒棒,等.基于PCA降维的分层超限学习机手势识别方法[J].电子测量技术,2017,40(3) :82- 88.
[43] CHAI X,LIU Z, YIN F,et al. Two streams Recurrent Neural Networks for Large Scale Continuous Gesture Recognition[C] //International Conference on Pattern Recognition. IEEE, 2017:31-36.
[44] 江超,艾矫燕.基于OpenCV的摄像头动态手势轨迹识别及其应用[J].计算机应用,2012,32(增刊1):128-133.
[45] 严焰,刘蓉,黃璐,等.基于HMM的手势识别研究[J].华中师范大学学报:自然科学版,2012 ,46(5)555-559.
[46] 常亚男.基于HMM的动态手势识别[D].广州:华南理工大学,2012:5.
[47] MURTHY G R S,JADON R S. Hand gesture recognition using neural networks[C] // Proceeding on Advance Computing Conference (IACC). Patiala:IEEE Press , 2010:134-138.
[48] LI Mu, HE Yi-gang. Nonlinear system identification using adaptive chebyshev neural networks[J]. Intelligent Computing and Intelligent Systems ,2010:243-247.
[49] TUSOR B, VARKONY1 K A R. Circular fuzzy neural network based hand gesture and posture modeling[C]// Proceeding on Instrumentation and Measurement Technology Conference (I2MTC). Texas: IEEE Press, 2010:815-820.
[50] 黄国范,程小平.基于历史的动态手势识别[J].西南大学学报:自然科学版,2009,31(1):106-110.
[51] 陈文.基于加速度传感器的智能终端手势识别关键技术研究[D].长沙:国防科学技术学,2011:11.
[52] 刘煜.基于惯性传感器的手机手势识别研究[D].西安:西安电子科技大学,2012:4.
[53] 梁秀波,张顺,李启雷.运动传感驱动的3D直观手势交互[J].计算机辅助设计与图形图像学报,2010,22(3):521-526.
[54] 王万良,杨经纬,蒋一波.基于运动传感器的手势识别[J].传感技术学报,2011,24(12):1723-1726.
[55] 李丹娇,彭进业,冯晓毅,等.结合CSS与傅里叶描述子的手势特征提取[J].计算机工程,2012,36(6):178-181.
[56] 陈启军,朱振娇,顾爽.基于傅立叶描述字和HMM的手势识别[J].控制工程,2012,19(4):634-638.
[57] 冯志全,杨波,李毅,等.基于交互行为分析的手势跟踪方法[J].计算机集成制造系统,2012,18(1):31-40.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

虚拟现实下的手势识别综述 的相关文章

  • OpenCV-Python 通过边缘检测识别物体并批量提取(大米识别为例)——minAreaRect批量生成物体的最小外接矩形(旋转矩形)并批量裁剪

    OpenCV版本 4 0 0 21 已兼容4 5 2 X版本 算法实现思路如下 对图像做降噪滤波处理 提取边缘 检测轮廓 检测轮廓最小外接矩形 旋转矩形 旋转图像 裁剪 代码如下 import cv2 import numpy as np
  • 基于opencv-python的人脸识别和鸟图识别

    目录 图像识别 人脸识别 鸟图识别 一 人脸识别 即使是地铁挤压的人脸 也是有尊严的 值得被检测 经过 OpenCV 的努力 成功检测 左图是正常被识别的人脸 中图由于挤地铁人脸已不可识别 右图OpenCV单应性变换后 拯救了被miss的人
  • 基于PaddleGAN项目人脸表情动作迁移学习(二)单人表情迁移

    学习目标 学习基于PaddleGAN实现的动作迁移模型 First order motion model First order motion model原理 First order motion model的任务是image animat
  • CUDA编程 基础与实践 学习笔记(十)

    线程束 warp 一个GPU由多个SM组成 一个SM上可以放多个线程块 不同线程块之间并行或顺序执行 一个线程块分为多个线程束 一个线程束由32个线程 有连续的线程号 组成 从更细粒度来看 一个SM以一个线程束为单位产生 管理 调度 执行线
  • 数字图像处理-数字水印的嵌入与提取

    数字水印嵌入与提取 本篇报告所有内容已上传csdn我的资源中 包括源码与报告word和ppt 欢迎大家下载进行进一步修改研究 摘要 本报告重点介绍数字水印的嵌入与提取算法 数字水印根据水印的嵌入技术不同分为空间域数字水印和变换域数字水印 本
  • Yolov5配置傻瓜教程

    软硬件环境 Win10 anaconda python3 7 gtx 1660ti cuda 10 1 pytorch 1 7 YOLOv5 介绍 2020年6月25日 Ultralytics发布了YOLOV5 的第一个正式版本 其性能与Y
  • yolov3项目实战——基于PyTorch实现的目标检测项目实战(附代码)

    一 数据准备 数据准备见 使用精灵标注助手制作yolov3训练数据集 附解析xml代码 本篇文章为项目实战部分 理论部分简析见 YoLov1 YoLov3演变历程 思维导图 二 项目代码部分 1 cfg py CLASS NUM 10 an
  • 半监督结点分类

    3 半监督结点分类 我们已经介绍过了一个简单但是灵活的可在图上进行有效信息传播的模型f X A 现在我们可以回过头来看半监督结点分类的问题了 就像本文的介绍中所简要概述的那样 我们可以通过在数据集X和基础图结构的邻接矩阵A上调整来我们的模型
  • 【论文笔记】Masked Autoencoders Are Scalable Vision Learners

    论文 论文标题 Masked Autoencoders Are Scalable Vision Learners 发表于 CVPR2021 论文链接 https arxiv org pdf 2111 06377 pdf 论文代码 https
  • 图像分割评价指标: Dice, MIoU, MPA等

    目录 1 混淆矩阵 2 Dice 3 MIoU 4 MPA 仅为个人结合一些博客的理解 1 混淆矩阵 如果是k 1分类问题 就会生成 k 1 k 1 的混淆矩阵 具体定义可参见百度百科 下面以肺结节分割为例 显然这是一个二分类的问题 肺结节
  • java 验证码识别demo

    pom依赖坐标
  • 医疗虚拟仿真和虚拟现实有什么区别?哪个更好?

    随着我们在仿真教育中越来越多地使用新技术 区分虚拟模式的类型很重要 虚拟仿真是一个统称 用来概括术语来描述各种基于仿真的体验 从基于屏幕的平台到沉浸式虚拟现实 然而 各虚拟平台在保真度 沉浸感和临场感的水平上有很大差异 医疗教育中存在许多虚
  • VR原理讲解及开发入门

    本文是作者obuil根据多年心得专门为想要入门的VR开发者所写 由52VR网站提供支持 1 VR沉浸感和交互作用产生的原理 在之前 我们观看一个虚拟的创造内容是通过平面显示器的 52VR上次发布过一篇文章 一张图让你认识VR 在其中 你会看
  • 人机交互重点知识点

    人机交互重点知识点 1 绪论 1 1什么是人机交互 人机交互是关于设计 评价和实现供人们使用的交互式计算机系统 且围绕这些方面的主要现象进行研究的科学 1 2人机交互的研究内容 1 人机交互界面表示模型与设计方法 2 可用性分析与评估 3
  • 动手深度学习13:计算机视觉——语义分割、风格迁移

    文章目录 一 语义分割 1 1 语义分割简介 1 2 Pascal VOC2012 语义分割数据集 1 2 1下载 读取数据集 1 2 2 构建字典 RGB颜色值和类名互相映射 1 2 3 数据预处理 1 2 4 整合所有组件 读取Pasc
  • Unity3D:角色拾取技术

    工程包下载 Unity3D虚拟现实开发之角色拾取 这个是成品图 角色拾取的原理是 由摄像机与屏幕上鼠标点击的位置确定一条射线 由此射线射向3D世界 最先和此射线相交的物体就是被选中的物体 然后对该物体的操控编写对应的代码即可 具体代码如下
  • [NAS]AutoML: A Survey of the State-of-the-Art

    AutoML A Survey of the State of the Art 自动机器学习 无需人类辅助自动进行机器学习 Abstract 本文根据AutoML的处理流程来对自动机器学习进行介绍 包括 数据准备 特征工程 超参数优化和神经
  • GoogLeNet网络系列解读

    一 Inception V1 Inception Module是GoogLeNet的核心组成单元 结构如下图 Inception Module基本组成结构有四个成分 11卷积 33卷积 55卷积 33最大池化 最后对四个成分运算结果进行通道
  • Layer Norm

    参考ConvNeXt中的Layer Normalization LN 海斌的文章 知乎 https zhuanlan zhihu com p 481901798 Layer Norm本来是一个样本norm自己 如图所示 也就是说 在 C H
  • 李沐论文精读系列四:CLIP和改进工作串讲(LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso)

    文章目录 一 CLIP 1 1 简介 1 1 1 前言 1 1 2 模型结构 1 1 3 模型效果 1 1 3 1 对自然分布偏移的鲁棒性 1 1 3 2 StyleCLIP 1 1 3 3 CLIPDraw 1 1 3 4 zero sh

随机推荐

  • 【Android】Bluetooth(蓝牙)连接与数据传输(一)

    目录 简介 权限声明 蓝牙扫描 开始扫描 取消扫描 获取蓝牙信息 蓝牙配对 配对 取消配对 获取已配对蓝牙 最终效果 简介 蓝牙技术是一种无线数据和语音通信开放的全球规范 它是基于低成本的近距离无线连接 为固定和移动设备建立通信环境的一种特
  • 若依前后端分离版本,Windows下使用Nginx代理的方式进行部署(全流程,图文教程)

    场景 若依官网 http doc ruoyi vip 前提 服务器上安装Mysql 并将数据库导入 在SpringBoot中的application druid yml配置mysql数据库连接 服务器安装Redis服务端 并在applica
  • 删除文件夹中的重复资源脚本

    usr bin python coding utf 8 import os base目录 path Users mulu1 install Model目录 path1 Users mulu2 def traverse f fs os lis
  • 第20章 通信—硬件 I2C

    一 关于I2C 1 1 I2C 控制器 STM32F103系列的I C控制器 可作为通信主机或从机 因此有四种工作模式可选择 主机发送模式 主机接收模式 从机发送模式 从机接收模式 传输速度上 支持标准模式 Standard mode 最高
  • 高仿QQ微信小程序,我趟过的坑

    距离微信小程序内测版发布已经有十天的时间了 网上对微信小程序的讨论也异常火爆 从发布到现在微信小程序一直占领着各种技术论坛的头条 当然各种平台也对微信小程序有新闻报道 毕竟腾讯在国内影响力还是很大的 我们都知道微信小程序第一天发布内测版 并
  • 遗传算法之二进制编码

    遗传算法的基本步骤 遗传算法 GA 的流程如图所示 Created with Rapha l 2 2 0 编码 把所需要选择的特征进行编号 每一个特征就是一个基因 一个解就是一串基因的组合 为了减少组合数量 在图像中进行分块 然后把每一块看
  • s1.1024gc.net/bbs/index.php,1.12.2游戏崩溃/_ \,那位大神解答一下

    1 12 2游戏崩溃 那位大神解答一下 1 12 2游戏崩溃的log 19 26 12 main INFO LaunchWrapper Loading tweak class name net minecraftforge fml comm
  • 【数据治理】数据中台:OneData之One ID中用户体系ID-Mapping

    在OneData 体系中 OneID 指统一数据萃取 是一套解决数据孤岛问题的思想和方法 数据孤岛是企业发展到一定阶段后普遍遇到的问题 各个部门 业务 产品 各自定义和存储其数据 使得这些数据间难以关联 变成孤岛一般的存在 OneID的做法
  • react输入框监听获取值,写入state自动一一对应

    onChange v gt this handlechange username v handlechange key val console log key val target value this setState key val t
  • JAVA之AES加密数据

    AES简介 高级加密标准 为最常见的对称加密算法 微信小程序加密传输就是用这个加密算法的 对称加密算法也就是加密和解密用相同的密钥 具体的加密流程如下图 为此以Java封装了一个utils 即可轻松使用 步骤一 需要定义一个静态密钥k ke
  • 获取时间段:本周、本月、本年

    case 本周内 DateTime retStartDay DateTime Now Date AddDays int DateTime Now DayOfWeek 1 DateTime retEndDay DateTime Now Dat
  • arp协议属于哪一层_OSI各个分层分别负责哪些功能?有哪些主要协议?涉及到哪些设备?...

    应用层 应用层主要是负责一些顶层协议的工作 主要包括数据封装协议 动态分配内网IP地址以及DNS域名解析 在这一层中主要是浏览器或应用程序等组件参与了这些工作 为了保证在不同平台或不同组件中规范和标准化各项工作流程 应用层涉及了以下协议 首
  • 如何 在 Mac OS X 里通过命令行获取 CPU 信息

    本文转载至 http osxdaily com 2011 07 15 get cpu info via command line in mac os x 转载说明 由于 Mac OS X不像Linux 它没有 proc系统 在网上找到下面一
  • 把整数转换成2的n次方的和数组

    为什么80 的码农都做不了架构师 gt gt gt 大概这样 125 gt 1 4 8 16 32 64 写几种实现 Ruby 2 3 1 022 gt 125 to s 2 reverse chars map with index b i
  • Github清除历史记录的方法

    GitHub历史提交记录累计到一定程度以后 就很麻烦 体积大下载不便 压缩也慢 这时候就想永久性地删除掉没什么卵用的历史commit记录 但还要保留stars forks issues tags等重要信息 因此不能删掉仓库重建一份 而要创建
  • windows10安装opencv4.5.4,搭配vs2017

    windows10安装opencv4 5 4 搭配vs2017 1 下载opencv安装包 2 安装opencv 2 设置环境变量 3 在visual studio 2017中配置opencv 3 1 创建项目 3 2 配置 VC 目录 包
  • CSMA/CD与CSMA/CA

    对照无线网络 有线网络的集线器和中继器设计中 採用了CSMA CD技术 该技术早期是用来解决有线网络中 共享介质下的多路网络接入问题 该技术仍然在当今的10M 100M半双工网络中使用 在更高的带宽情况下 比方千M网络 则採用全双工技术以取
  • 如何压缩图片大小?图片压缩到200k以下跟我学

    相信许多人在日常生活中都会遇到图片过大导致无法上传或发送的问题 这时候 如何有效地压缩图片大小就成了我们的必备技能 今天 我将为大家介绍三种方法 帮助大家轻松压缩图片大小 一般来说 我们希望在不损失太多图片质量的情况下 尽可能地减小图片的大
  • 滑动窗口系列4-Leetcode322题零钱兑换-限制张数-暴力递归到动态规划再到滑动窗口

    这个题目是Leecode322的变种 322原题如下 我们这里的变化是把硬币变成可以重复的 并且只有coins数组中给出的这么多的金币 也就是说有数量限制 package dataStructure leecode practice imp
  • 虚拟现实下的手势识别综述

    虚拟现实下的手势识别综述 目录 虚拟现实下的手势识别综述 摘要 关键词 1 引言 2 国内外研究现状 3 手势识别的关键技术 3 1手势分割 3 2手势建模 3 3手势识别 3 4特征提取 4 存在的问题及发展趋势 5 结论 参考文献 摘要