手势识别是识别图片中人体手势的类别，一般以分类任务的形式出现
手势识别的一般流程：
1 使用RGB相机或RGBD相机获取图片
2 手势的分割与检测：基于肤色、轮廓、深度信息等信息检测图中手势区域和手的关节点
3 手势识别：在分割检测结果的基础上进行手势分类
手部检测与分割是手势识别的基础。手部检测指检测图像数据是否有手，并找出手部在图像中的具体位置。常见的手部检测方法大致分为以下几类：基于形状信息特征的方法、基于肤色信息的方法和基于运动信息的方法。
基于形状信息特征的方法的思想是，由于人的各种各样的手部形状和其他物体形状存在一定的差异，因此根据手的形状特征进行手部检测是一个有效的方法。基于形状信息特征的手部检测方法充分考虑了手部的多种几何特征，如手的轮廓特征、手指连接模式、手指和手掌的长度、宽度以及长宽比等。该方法通常先会融合肤色信息或运动信息进行肤色分割或运动目标分割等一些预处理，以便后期能够提取到较准确的手部轮廓。
基于肤色信息的方法的思想是，人体肤色是人手表面与外界背景相比非常显著的一个特征，人体肤色特征具有天然的平移不变性及旋转不变性，对平移、旋转等具有非常强的鲁棒性，并且对拍摄视角、人体姿势等的依赖性较小。因此，基于肤色信息的方法由于计算量较小，运算速度较快，在手势检测阶段被广泛应用。然而，不同种族、人种，甚至个体间的肤色会有或大或小的差异，光照条件的变化会影响肤色，以及人体其他区域存在肤色相同的问题，都会对其效果产生干扰。
基于运动信息的方法的思想是，运动信息可将运动中的手部与背景进行分割，作为检测手部的一种方法，但使用运动信息检测手部时对手势者或背景常做一些假设，如手势者的动作不能太快，手势者相对背景静止或运动量很小、场景光照条件变化不大等，常用的基于手部运动信息的检测方法和人体运动检测方法类似，有光流法、帧间差分法和背景差分法。
手部分割指将手部区域从图像中分割出来，去除背景的干扰，便于后续操作，有利于减少计算量。手部检测和手部分割一般同时进行。传统的基于视觉的手部分割方法主要有基于肤色的分割方法、基于轮廓的分割方法、基于运动的分割方法等。
基于肤色模型法，即将原始图像中与手部肤色相近的像素点所在的区域分割出来，这种方法不受尺度和角度等其他因素的影响，简单G效，是手势识别中使用较多的手势分割方法。但此方法的缺点是容易受光照变化的影响，因此，研究者们在传统肤色分割方法的基础上采取了很多改进方法，主要有三种：在分割前对图像颜色进行校正；提出新的颜色空间；结合运动差分、轮廓、几何特征等其他分割方法。
基于轮廓的分割指利用手的轮廓将手部分割出来，其存在两个棘手问题：一是由于手部旋转或弯曲等因素使得初始轮廓的获取较难；二是由于手势的形状本身存在深度凹陷区域，而轮廓对此类区域往往无法收敛，改进模型所增加的迭代次数和计算量的代价使得实时性能下降。
基于运动的分割方法主要分为帧间差分法和背景差分法。众多实验发现，在运动中产生的光影变化，以及背景的动态变化都会对分割结果产生影响。
|
