随着微电子技术的进步与成熟,电子设备不断朝着小型微型化方向发展,使得可穿戴式的人体识别研究成为可能^[-]。文献[]使用单个加速度传感器绑定在人体腰部,利用分层算法使用加速度进行动态活动识别。加速度作为一种时间密集型数据,可以很好反应每一关节点基于时间的运动状态,但人体行为通常是空间上多个关节点协同作用的结果。为了获取更多的人体行为空间信息, Lee等人^[]采用多节点信息采集方案,在人体不同部位绑定5个加速度传感器,进行人体运动状态的识别。文献[]采用深度学习中的卷积神经网络算法,直接对三轴加速度进行分类。

加速度对人体行为识别具有重要意义,但也存在一些不足。由于近地面地球引力的影响,加速度传感器采集到的加速度是重力加速度与线性加速度的矢量和。线性加速度与人体运动相关,重力加速度导致传感器加速度与人体运动的关联性不高,影响了人体行为识别的精度。

已经有很多基于加速度传感器的行为识别研究,但解决行为数据受重力加速度影响的问题一直缺少有效方法。Brzostowski等^[]将加速度传感器置于腰部进行运动信息采集,利用坐标系旋转方法,在运动过程中滤除传感器坐标系下的重力加速度,但没有考虑人在运动过程中传感器坐标的偏移与旋转,不能高精度地滤除重力加速度。文献[]使用角度法去除重力加速度。角度法结合三轴角度,利用四元数或者旋转矩阵等坐标旋转方法将重力加速度投影到传感器坐标系中,再使用三轴传感器加速度减去重力加速度的分量,得到三轴线性加速度。角度法得到的线性加速度与真实线性加速度更为贴近,但角度法在误差处理上,尤其是在处理陀螺仪漂移现象影响下的积累误差时,效果不甚理想,积分误差随着数据量的增大而逐渐增大,导致数据失效^[]。

针对以上问题,本研究提出了一种基于线性加速度的多节点人体行为识别算法。首先,利用分段双向去除重力加速度算法从传感器加速度中滤除重力加速度得到线性加速度;然后,使用滑动均值滤波器滤除线性加速度与传感器加速度的颤抖运动,裁剪两种加速度中的冗余动作;最后,分别从两种加速度中提取不同关节点数据间的动态时间规整算法(dynamic time warping, DTW)距离特征以及7种常规时域特征构成初始特征集,再使用蚁群算法对初始特征集进行优选,利用支持向量机对人体行为进行分类。

本研究试验采用集成了三轴加速度传感器与三轴陀螺仪的六轴传感器,搭配微型计算机,组成人体行为信息采样节点对人体行为数据进行采集。试验时3个采样节点分别绑定在人体右手手腕、肘部以及肩部,采集人体运动时对应关节点产生的传感器加速度与角速度,构成人体行为数据库。该数据库包括25位采集者的9种右手手臂行为,每位采集者的每种行为进行了2次采集,共450个样本。9种右手手臂行为与典型人体行为数据库MSR-Action3D中的手臂行为相同,分别为高挥手(B1)、水平挥手(B2)、猛击(B3)、手抓(B4)、冲拳(B5)、高抛(B6)、画叉(B7)、画钩(B8)、侧冲拳(B9),如所示。

本研究的算法流程如所示。结合角速度去除传感器加速度中的重力加速度,获取线性加速度;对传感器加速度以及线性加速度,使用滑动均值滤波器滤除目标行为外无用的颤抖运动;去除每个行为样本中包含的相似冗余动作;对处理好的传感器加速度和线性加速度提取初始特征集;对初始特征集进行特征处理,包括特征归一化以及特征优选;将优选后的特征集送入支持向量机分类器进行分类。

使用角度去除重力加速度的算法统称为角度法类去除重力加速度算法。角度法与本研究的分段双向去除重力加速度算法都属于角度法类算法。这一类算法都是根据角度,将重力加速度投影到某一时刻传感器加速度所在的坐标系中,计算出该时刻传感器加速度中的重力加速度,将之去除得到线性加速度。为本研究分段双向去除重力加速度算法的流程图。首先,将三轴传感器加速度、三轴角速度,以静止点分段,以此降低误差的积累区间;然后,使用双向角速度法在每个数据段上进行去除重力加速度操作,得到每段数据的线性加速度;最后,将各段线性加速度拼接得到完整的线性加速度。

本研究将人体部位静止时传感器采样得到的数据点视为静止点数据。静止点处加速度仅受地球引力影响,因此将此处的加速度作为重力加速度进行投影。将静止点作为端点对运动数据分段,以段为单位将运动数据输入到去除重力加速度算法,可有效降低误差对算法的影响。为说明基于静止点的数据分段方法对于误差控制的作用,建立去除重力加速度算法中各类数据的误差模型。其中加速度误差模型为

式中:a'(i)是第i个数据点中的三轴传感器加速度向量; a(i)、g(i)、a_n(i)、a_e(i)分别为a'(i)中的真实三轴线性加速度向量、重力加速度向量,三轴加速度随机误差向量与三轴加速度仪器误差向量。

式中:ω'(i)是第i个数据点中的三轴传感器角速度向量; ω(i)、ω_n(i)、ω_e(i)分别为ω'(i)中的真实三轴角速度向量,三轴角速度随机误差向量与三轴角速度仪器误差向量。仪器误差主要为陀螺仪漂移误差。

式中:e'(i)为第i个数据点处计算三轴角度向量; e(i)、e_n(i)、e_e(i)分别为e'(i)中的真实三轴角度向量、三轴角度随机误差向量、三轴角度仪器误差向量;

由式(1)~(3)可以看出,制约角度法类去除重力加速度算法精度的主要原因是角度中的各类误差。不同于传感器加速度,角度中的各类误差属于次级误差,是由角速度中的各类误差通过积分运算累加而来。这种次级误差称为积累误差。积累误差会随着积分域的增大而成增大趋势,从而使得角度失效,进一步导致以角度为基础的角度法类去除重力加速度算法的失效。为使用静止采样得到的角速度积分得到的角度。因为静止采样,真实角度0°。由可见,积分得到的角度随着数据量的增加发生了明显的偏移,当数据量达到10 000, x轴的角度偏移大于30°,若将此时的角度用于去除重力加速度,将引起严重的误差。使用基于静止点的数据分段方法将行为数据分段,以段为单位将运动数据输入到去除重力加速度算法,可有效避免误差在数据段间的积累,使得积累误差得以控制,从而显著的降低积累误差对算法的影响。

基于静止点的数据分段法可以很好的避免角速度误差的段间积累,但数据段内部依然存在积累误差。双向角度法是针对数据段内积累误差问题提出的。首先,使用滤波方法对数据段内传感器加速度以及角速度中的随机误差进行处理,滤波器取用窗口长度为5的滑动均值滤波。其次,将角速度积分得到角度。然后,根据角度,将运动段起始静止点中的重力加速度,即此时的传感器加速度向量a'(1)=[a'_x(1) a'_y(1) a'_z(1)]^T,利用旋转矩阵进行坐标旋转,投影到传感器坐标系中,得到各个时刻传感器坐标系中的计算重力加速度向量g'(i)=[g'_x(i)

$,其中e'_x(i)、e'_y(i)、e'_z(i)分别为起始静止与第i个数据点对应传感器坐标系之间x、y、z三轴计算角度。

然后,逆向使用角度法,将运动段末尾静止点中的重力加速度投影到传感器坐标系中。投影运动段末尾静止点中的重力加速度,需要获取末尾静止点对应的传感器坐标系与各个时刻传感器坐标系之间的角度关系。将角速度反向积分,获取角度关系,计算式为

式中: e″(i)是末尾静止点与第i个数据点对应传感器坐标系之间的三轴计算角度向量; n为运动段的数据量。

结合该角度关系,便可将运动段末尾静止点中的重力加速度向量a'(n)=[a'_x(n) a'_y(n) a'_z(n)]^T利用旋转矩阵进行坐标旋转,投影到传感器坐标系中,得到各个时刻该坐标系中的重力加速度向量g″(i)=[g″_x(i) g″_y(i) g″_z(i)]^T。使用传感器加速度a'(i)分别减去不同投影方法得到的重力加速度g'(i)与g″(i),得到两种线性加速度a_s(i)与a_t(i)。

线性加速度a_s(i)使用的角度是正向积分得到的,误差累计的方向是从前往后,准确性是从前往后递减。线性加速度a_t(i)使用的角度是反向积分得到的,误差累计的方向是从后往前,准确性是从后往前递减。根据两种线性加速度准确性的变化规律,将两种结果按权重相加,得到更为准确的线性加速度a_f(i),计算式为

去除重力加速度过程中已经滤除采样时产生的各类随机误差与仪器误差,此处的滑动均值滤波主要针对人体目标行为外的颤抖运动产生的无用信号。肌肉的颤抖主要有两种类型:第一类是精神性的,包括精神紧张以及感到寒冷时肌肉的颤抖;第二类是器质性的,指肌肉在发力时产生的抖动运动,肌肉疲倦时尤甚。本研究采集的行为数据中,不可避免地包含颤抖运动产生的无用信号,影响行为识别的精度。颤抖运动产生的加速度频率约为10 Hz,本研究目标行为产生的加速度频率在4 Hz以下,根据500 Hz的采样频率,选取窗口长度为51的滑动均值滤波器对传感器加速度数据和线性加速度数据进行滤波操作,既能滤除肌肉颤抖运动带来的无用信息又能尽可能保留目标行为信息。、分别为传感器加速度与线性加速度滤除颤抖运动前后效果对比,其中灰色框中是受颤抖运动影响较为明显的加速度。由、所见,滑动均值滤波处理能较好地去除行为数据中颤抖运动。

当人体进行手臂运动时,行为前段与后段都有一组相似的动作,分别为抬手动作与放手动作。当所有行为在相同的位置出现相同的动作时,可将这些动作视作冗余动作。冗余动作不但对识别效果没有贡献,反而会降低不同行为数据之间的差异性,进而降低识别率。抬手动作线性加速度曲线如所示,放手动作线性加速度如所示。由可见,相比于相同行为中抬手动作的线性加速度,不同行为中抬手动作的线性加速度差异性同样较小;由可见,将线性加速度反向后,观察行为中放手动作的线性加速度也存在同样现象。通过裁剪每个行为数据的前100个数据点和后250个数据点来去除行为之间的冗余动作,扩大不同行为数据之间的差异性。其中裁剪的数据点数通过参数试验设置。

为了消除传感器的绑定方式对行为识别研究的影响,求取传感器加速度、线性加速度的三轴的几何平均加速度,在此基础上进行特征提取^[]。

本研究的一个行为样本涉及3个关节点的2种加速度,总共6组数据。由于肩部的运动幅度不明显,因此不对肩部数据提取特征。如所示,除了对手腕、肘部每个节点的线性加速度与传感器加速度提取常规的7种时域特征外^[-],还从两两节点数据之间提取DTW距离作为一种新特征,来描述进行行为时不同关节点之间的关联性。

常规的7种加速度时域特征包括最大值、中位数、四分位距、平均值、标准差、偏度、峰度。其中最大值、中位数、四分位距、平均值以及标准差都是对加速度分布情况的描述。偏度为用来度量加速度的分布偏斜方向和程度的统计量。峰度反映了加速度在数据曲线顶峰处的陡峭程度。

本研究使用两两关节点加速度之间的DTW距离,作为一种新特征用于人体行为识别。DTW是一种计算两个数列相似程度的算法^[],常用于模板匹配型的人体行为识别。加速度作为一种时间密集型数据,可以很好的反应每一关节点基于时间的运动状态,但人体行为通常是空间上多个关节点协同作用的结果, DTW距离特征刚好可以来描述行为运动中不同关节点间加速度的相关性。DTW距离特征的应用弥补了常规加速度特征空间信息的欠缺。

本研究在使用特征进行分类之前对特征进行了归一化处理。归一化使用的是标准化法,归一化后的特征将服从标准正态分布,计算式为

式中: x_i为特征向量x中第i个分量; z_i是x_i归一化后结果; u和σ分别是特征向量x所有分量的均值和标准差。归一化后的特征分布在[-1,

将归一化后特征组成的初始特征集,使用蚁群算法进行特征优选,减少特征冗余。蚁群算法是一种模拟真实蚁群觅食行为的优选方法^[-]。自然界中单个蚂蚁会根据信息素浓度选择觅食道路。路程越短,往返次数越多,因而有更高浓度的信息素水平,诱使更多的蚂蚁选择更短的道路,从而使得蚁群越来越集中在最短的觅食道路上。

蚁群算法的核心在于蚂蚁选择特征点的转移规则与信息素更新规则。用于特征优选的蚁群算法转移规则的计算式为

式中:p_i(j)为第i次迭代中蚂蚁选择特征点j的概率; τ_i-1(j)为第i-1次迭代后特征点j的信息素水平,初始化时τ₀(j)取1;η(j)为使用单个特征点j的分类识别率; α为信息素启发因子,取1;β为特征识别率启发因子,取2;K为可选特征点集合,即还未被使用的特征集合。

当蚁群完成一次搜索时,需要对各个特征点的信息素进行更新。信息素更新规则的计算式为

式中:τ_i(j)为第i次迭代后特征点j的信息素水平; ρ为信息素挥发系数,取0.5;Δτ_i(j)为第i次迭代后信息素增量; ε为增量系数,取0.5;μ_i(a)为第i迭代后蚂蚁a得到的特征子集的识别率; Z_i(a)为第i迭代后,蚂蚁a搜索产生的特征子集; m为蚂蚁数量。

进行特征选择时,首先确定目标特征集的特征个数,本研究中取28,即算法需要进行28次迭代。使用与初始特征集内特征数量等同的蚂蚁执行特征选择,迭代结束后每只蚂蚁都会选出一组特征集子集,选取识别率最高的特征集子集作为目标特征子集。

本研究的分类算法使用的是核函数为3阶多项式的多层次支持向量机分类器^[-]。支持向量机是在统计学习的基础上借助最优化方法进行机器学习的重要工具,是一种典型的二分类器,本研究通过层次分类法首先将所有类别分成两个子类,再将子类进一步划分成两个次级子类,如此循环,直到得到一个单独的类别为止,以此实现多分类。

本研究提出的冗余动作裁剪方法中,需要确定去除抬手与放手动作需要裁剪的数据点数,分别用M, N表示。

在对抬手放手动作进行裁剪时,裁剪的数据点数对方法效果有直接影响,所以需要最优的参数组合。本研究通过列举选出最优参数组合,以行为识别效果作为选取标准,选取的多个参数组合绘制折线图,结果如所示。

图9   不同参数组合下冗余动作裁剪方法的识别率

从可以看出,当参数M=100, N=200时冗余动作裁剪方法达到最大的识别率。

如所示,本研究的初始特征集合包含34个特征。单节点特征分别为最大值、中位数、四分位距、平均值、标准差、偏度、峰度,分别使用1~7进行编号。多节点特征中,手腕与肘部的DTW特征编号为8,手腕与肩部的DTW特征编号为9,肘部与肩部的DTW特征编号为10。

试验采用10折交叉验证法,将450个样本平均分为10份,每份中含有的各个行为样本数相同。轮流将其中的9份用于训练, 1份用于测试,然后将10次分类结果的平均值作为最终的试验结果。

试验对本研究使用的提高行为识别精度的方法进行验证,分别为多节点人体信息采集方法(A₁)、颤抖运动滤除方法(A₂)、冗余动作裁剪方法(A₃)、DTW特征方法(A₄)、线性加速度方法(A₅)。其中DTW特征方法(A₄)是在使用了多节点人体信息采集方法(A₁)的前提下进行的,不可以独立使用。由于采样方案与样本构成的差异,为了方便比较,本研究将基于机器学习的常规人体行为识别算法的核心部分归纳成为原始方法(A₀)。原始方法(A₀)的主要步骤包括对单个三轴传感器加速度进行去噪处理,提取常规的时频域特征以及特征的处理与分类。

相比于原始方法,本研究方法虽然牺牲了有限的运行效率,但却有效地减小了重力加速度对行为数据的影响、丰富了行为数据中的空间信息,从而提高了人体行为识别的精度。为原始方法与本研究方法在识别率与运行效率上的对比。

将归一化后的初始特征集使用蚁群算法进行特征优选,结果如所示。

使用优选特征集对行为进行分类。为多节点人体信息采集方法(A1)试验结果对比。为颤抖运动滤除方法(A2)试验结果对比。为冗余动作裁剪方法(A3)试验结果对比。为DTW特征方法(A4)试验结果对比。为线性加速度方法(A5)试验结果对比。

由可知,相比于单节点,多节点人体信息采集方法可以较明显的提高人体识别精度。经过多种情形下的对比,可以看出:相比于单节点,多节点人体信息采集方法的行为识别率提高5%以上。验证了多节点的人体行为数据比单节点具有更多的行为空间信息。

由可知,颤抖运动滤除方法可以有效提高人体识别精度,多种情况下的试验均能对人体行为识别率有所贡献。通过滤除目标行为无用的颤抖运动,颤抖运动滤除方法可以提高识别结果的准确性。

从可知,冗余动作裁剪方法提高人体行为识别的识别率。通过裁剪各个行为数据前后的抬手放手冗余动作,冗余动作裁剪方法可以提高人体行为识别的准确性。

从可知, DTW特征方法可以在多节点人体信息采集方法的基础上发掘更多的人体行为的空间信息,从而提高人体行为的识别精度。

从可知,线性加速度方法可显著地提高识别率。试验结果表明:将线性加速度应用于人体行为识别,能一定程度上解决行为数据受重力加速度影响的问题,分段双向去除重力加速度算法可以得到较为精准的线性加速度。

本研究共对9种行为进行识别,分别为高挥手(B1)、水平挥手(B2)、猛击(B3)、手抓(B4)、冲拳(B5)、高抛(B6)、画叉(B7)、画钩(B8)、侧冲拳(B9)。如所示,使用混淆矩阵^[]表示最终识别方法中每种行为自身的分类概率。

由可知,本研究的方法对每种行为都有着较好的识别效果。尤其是水平挥手(B2)、猛击(B3)、手抓(B4)、冲拳(B5)4种行为,识别率达到了100%。

为验证本研究方法的性能,将本研究方法与现有优秀方法进行对比。对比结果如所示。

由可知,本研究方法识别率比现有方法至少提高了4%。相比于常规的机器学习方法即原始方法,本研究通过5种增益方案有效的提高了行为识别精度。相比于文献[]的深度学习,本研究方法的识别率也有明显提升,主要原因为:(1)数据的前期处理,包括颤抖的滤除、冗余动作的裁剪以及线性加速度的获取,特别是将线性加速度用于人体行为识别可有效减小重力加速度对人体行为识别的影响,提高识别精度; (2)数据融合型特征的使用,本研究有目地融合不同节点间的加速度数据,从中提取DTW特征,以此来增加人体行为的空间信息提高识别率,而此类型特征是通过深度学习无法获取的。

本研究提出了一种基于线性加速度的多节点人体行为识别算法。首先利用分段双向去除重力加速度的算法,从传感器加速度中滤除重力加速度得到线性加速度,对线性加速度与传感器加速度使用滑动均值滤波器滤除颤抖运动,并裁剪两种加速度中的冗余动作,提取不同关节点加速度数据之间的DTW距离作为一种新的人体行为特征与传统加速度特征结合,再使用蚁群算法对加速度特征进行优选,利用支持向量机对人体行为进行分类。试验表明本研究使用的5种人体行为识别方法,特别是DTW特征方法,以及将线性加速度应用到人体行为识别的方法,对人体行为识别有着较明显的增益效果。

目前获取的人体行为数据未包含人体行为的视觉信息,后续研究将进一步开展将加速度与视觉数据融合的人体行为识别研究,从而更有效的提高人体行为识别的精度。