基于稀疏约束的人体全身运动合成方法.pdf 10页

'中国科技论文在线http://www.paper.edu.cn#基于稀疏约束的人体全身运动合成方法*刘华俊，杨青叶，何炎祥，张沪寅（武汉大学计算机学院，武汉，430072）5摘要：利用稀疏控制信号对高维人体运动动画进行精确控制的一个难点在于低维控制信号本身难以准确唯一构建高维人体运动。针对此瓶颈问题，本文提出了一种新颖而强大的局部模型降维方法，针对提前捕获的高维人体运动数据进行降维处理，将其用于自然人体全身运动的准确合成。该方法是从预先捕获的运动数据库中构建一组在线局部动态回归模型，以支持10高维人体全身行动的重构。实验证明了提出方法的有效性。并且，与以前的统计约束模型相比，本文提出的模型可以合成更加准确的结果。关键词：计算机仿真；数据驱动动画；稀疏信号；人体运动合成；中图分类号：TP391.915ASparseConstrainedMethodforFull-bodyHumanMotionSynthesisLIUHuajun,YANGQinye,HEYanxiang,ZHANGHuyin(SchoolofComputer,WuhanUniversity,Wuhan,430072)Abstract:Byusingsparsecontrolinformation,onedifficultyforconstructingnaturalhumanposesis20thatlow-dimensionalcontrolsignalscannotbeusedtosynthesizehigh-dimensionalhumanposes.Thepaperintroducesapowerfulandnovellocaldimensionalityreductionapproachforconstructingnaturalandaccuratefull-bodyhumanposesequences.Ourapproachistobuildagroupofonlineregressionmodelsfromamotiondatabaseasapriortosupportthehumanactionsynthesis.Comparedwithfamousstatisticalmodels,ourapproachcanconstructmoreaccurateresults,andtheeffectivenessof25themodelhasbeenverified.Keywords:ComputerSimulation;Data-drivenanimation;Sparseinformation;Humanmotionsynthesis300引言人体全身运动实时合成技术可以适用于许多领域，例如运动训练、医疗康复、游戏人物或机器人的实时控制等。虽然此类构建技术已经被商业化的运动捕获设备（例如Vicon，XSens等）不同程度上的解决，但是它们所采用设备对于一般的家庭使用来说是非常昂贵的,并且还需要非常复杂的校验步骤和穿戴方式(例如十几个传感器或外骨架设备等)为运动捕35捉提供支持。最近，包括微软、索尼和任天堂在内的主要游戏手柄公司已经开发了新一代游戏硬件设备来捕捉个人玩家的运动姿态。虽说这些设备价格便宜，适合一般家庭消费，但是来自设备装置的低维控制信号是人体全身运动精确重构的主要挑战。由于典型的人体模型会由超过50个自由度的人体模型来表示，所以构建这样的动画合成系统本质上是一个病态问题，低维控制信号本身是难以充分地约束高维人体运动姿势的。40基金项目：高等学校博士学科点专项科研基金资助课题（项目编号：20130141120021，20130141110025，20130141110022）作者简介：刘华俊（1983-），男，副教授，硕导，主要研究方向：虚拟环境，人体骨骼动画.E-mail:huajunliu@whu.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn消除重构不确定性的一个有效方法是从预先捕获的人体姿势数据库中进行约束模型的[1][2]提前学习。常用的方法有利用主成分分析（PCA）模型或回归（PCR）模型来约束运动姿势的重构空间。此途径的优点是对于庞大的运动捕获数据库运行良好，并且可以方便地对虚拟角色的高度非线性动作进行线性建模。与前述方法不同，本文提出了一种新的局部模型45降维方法,其具有如下特点:(1)如同其他局部模型一样，它是随时间变化的，即在每一刻都会为下一个姿势的预测生成了一个新的约束模型。(2)它可以很好地兼顾运动数据的异构特性。然而，本文提出的模型是利用基本的回归方程预估输出数据和降维投影方向之间的关系，因此模型本身会包含更多的时空信息。本文是在最大后验框架下，利用提出约束模型和用户指定的稀疏约束进行在线的运动重50构。本系统可以利用尽可能少的稀疏约束来合成各种自然的人体全身运动。通过在线重构不同的人体全身行动论证了模型的有效性。基于相同的运动捕获数据库和稀疏控制约束，本文提出模型的运动生成效果明显优于以前的方法。1相关工作1.1基于少量传感器的姿势动画生成[3]55基于传感器提供的稀疏信号来重构高维人体运动姿势的方法已被很多学者研究过。例[4][5]如，Shotton和Wei使用一个深度相机来跟踪和重建各种人体动作。由于捕获设备自身的特点，他们的方法不用在捕获对象身体上放置任何传感器，但是必须用不少于15个控制点[6]来分割高维的人体姿势。Semwal基于反向运动学，并用八个磁性传感器为人体运动姿势的[1]重构提供了一种分析解决方案。Chai使用Vicon系统的六到九个反光标记作为在线人体运[7]60动重建的控制点来重构全身运动，而Slyper使用五个惯性传感器来实现实时的上半身控制。[2]最近，有学者使用六个惯性传感器的位置和方向约束完成了人体全身运动的控制。与其提出的方法相比，本文提出的方法能够仅使用四个位置控制点来实现全身人体运动合成。值得[8]注意的是，Tautges利用四个加速度传感器提供的稀疏约束来控制人体全身运动。但由于缺少位置约束，他们的方法只能较好地逼近于真实的动作。与其控制约束不同，本文运用位置65约束以获得更好的结果。一般意义上，以上这些方法都使用预先记录的运动数据作为弱约束的稀疏信号重构信息的补充，本文也采用了相似的想法，即使用稀疏约束和运动捕获数据学习统计约束模型的方式。1.2数据驱动的运动重构进行精确交互式运动动画控制的一种常用方法是构建人体运动统计模型。统计运动模型70通常被描述为，用与概率分布相关联的一组参数表示人体运动的几个数学函数形式。到目前[9][10]为止，使用预捕获的运动数据来学习统计运动模型已被用于关键帧插值、生成不同运动、[11][12][13]语言驱动的面部表情生成、用鼠标交互式创建角色姿势、基于视觉的人体运动控制[1][2][8][14]、用惯性传感器或加速度传感器进行的实时人体运动控制、基于多因子模型的人体[15][16]运动合成，以及基于物理驱动的人体运动生成等。75本文提出的方法同样是从人体运动捕获数据库中动态学习统计模型，但是提出模型描述[10][11][12]的动态行为是由连续的稀疏信号约束来控制的，而不是基于离散的隐状态模型，所-2- 中国科技论文在线http://www.paper.edu.cn[13][17]以控制将更加灵活。与高斯潜在可变模型（GPLVM）不同，本文提出了一种局部动态模型，可应用于较大的异构运动数据库的建模。在上述统计模型中，本文与人体运动约束的[1][2]局部模型联系最为相关，它们都是运用在实时的运动重构系统中。然而，方法之间依然80存在非常明显的差异。对于降维方法而言，训练数据可分为输入和输出两部分。实验证明，如果建模过程能够更好的表达给定数据的投影方向和输出数据的一致性关系，则预测将更有[1][2]效果。以前的方法只是针对输入数据减少维数，但是本文提出的方法着重于找投影方向和输出数据之间的关系，然后再进行维数的降低。本文的实验表明，所提出的方法可以比以前的方法生成更精确的结果。此外，在追求控制信号姿势重构相同效果的前提下，本文提出85的方法只需要更少的控制约束信息。2在线生成系统概述本文构建的人体动画合成系统利用用户指定的一组稀疏控制信号来查找用于约束学习的运动，以此用于局部回归模型的学习，然后利用模型结合稀疏约束（例如，用户指定的关节位置轨迹）进行人体运动合成（见图1）。假设自然的人体运动行为可以表示为一个m阶90马尔可夫链，则可认为目前重构的姿态qt仅取决于刚合成的m个运动姿势Qt,m=[qt-1,...,qt-m]：Pr(qt|qt-1,...,q1)=Pr(qt|qt-1,...,qt-m)。图1系统总览Fig.1Systemoverview.95本文提出的局部回归建模方法将自然姿势的局部时空方向信息添加到模型中，以对姿态约束重构。本文使用在线的模型构造方式，利用用户规定的运动约束ct生成所需的人体姿态qt。系统在先前重建的姿态序列Qt,m的约束下，利用MAP框架，估计与用户输入ct最符合的姿态qt：argmaxpr(q|c,Q)∝argmaxpr(c|q)·pr(q|Q)qtttt,mqttttt,m(1)100在实验中，通过对后验概率分布函数的pr(qt|ct,Qt,m)的负对数最小化求解，将其转换成能量最小化问题：argminqt-lnpr(ct|qt)+-lnpr(qt|Qt,m)EEcontrolprior(2)式中:Econtrol为控制约束项，用来衡量生成的运动qt与用户指定的约束ct的符合程度；Eprior为先验信息项，用来测量生成运动姿势的自然程度。-3- 中国科技论文在线http://www.paper.edu.cn1053在线合成人体动作由于用户提供的控制信号维度不足以对一个完整的高维人体模型在自然姿势空间中精确求解，因此，仅利用其合成人体运动会变得非常困难。为此，本文利用在线的局部回归约束模型来消除运动重构的歧义。3.1控制一致性110Econtrol项是用于测量用户提供的约束控制输入和重构运动中对应关节点位置的匹配程度：2E=-lnpr(c|q)∝||f(q;s)-c||(3)controltttt式中：向量qt表示在第t帧时刻，姿势的关节角度信息；向量s是角色的骨骼信息；向量ct是用户指定的第t帧约束信息。函数f为前向运动学函数，即在给定的骨骼长度下，将姿势qt映射到全局坐标中。1153.2在线局部回归模型的建模本节主要陈述在线局部回归模型的自动重构方法。本文提出了一种新颖的局部线性模型，以避免构造全局模型时难以细粒度反映姿势高维和运动非线性的困境。本文采用K最近邻搜索算法从数据库中搜索与当前生成的运动相近的K个运动例子，并连同它们后继的一帧姿势，用于在线的模型学习过程中。120为了预测第t帧时刻的姿态qt，第一步是在运动数据库中搜索并找到与其最相近的运动片段，即与最近构造的运动片段Qt,m=[qt-1,...,qt-m]最相似的一系列运动例子。然后，会在数据库中选择K个最邻近的运动片段[q,...,q]及其后继一帧的姿势q（k=1,...,K）作为tk-1tk-mtk训练数据，学出预测模型用于当前姿势qt的重构。假设输入关节角度向量x=[qt-1,...,qt-m]和输出关节角度向量y=qt之间存在一个线性关125系。为了简化函数的表示，输出向量qt中的每个自由度（DOF）都会独立的进行在线的学习，并通过x和y分别减去输入、输出数据的平均值，将x和y做平均值的归零化处理。因此，模型的线性回归表示可写为：Ty=αx+β(4)y式中：向量x为一个m×D维的输入向量，其中D表示人体姿势的自由度个数；y是用于预130测的关节角度信息；向量α为回归系数；βy为独立于x的同方差噪音变量。此外，给定K个最相似的运动例子{(xk;yk)}（k=1,...,K），系数α可以通过最小化期望的均方差KT2E=||yk-αxk||，并利用最小二乘法得到解决方案：k1T-1Tα=(XX)Xy(5)矩阵X将输入向量xk放置在它的行上，向量y存放K个输出变量yk（k=1,2,...,K）。135本文提出的方法是计算输入矩阵X和输出向量y之间的最大相关性投影，而这些投影可以通过最大化两者之间的平方关系来实现：2TT2TTcorrelation(Xuj,y)=(ujXy)/ujXXuj(6)式中：uj是一个投影方向，由于每个投影Xuj与其他投影正交，其长度为单位长度，所以可TTT-1TT以得到ujXXuj=1。uj是矩阵U的一列，U表示的是协方差矩阵C=(XX)XyyX的-4- 中国科技论文在线http://www.paper.edu.cn2140特征向量。在提出的模型中，本文仅考虑将X投影到U上。通过最小化y-XUγ，可以得到：TT-1TTα=Uγ=U(UXXU)UXy(7)由于对输出向量qt的每个自由度分别计算，于是在计算中每次只关注一个投影方向u。数据点xk的权重可以通过衡量其与先前重建姿势的相对距离Qt,m=[qt-1,...,qt-m]，并用高145斯函数来表示：1Tω=exp(-(x-Q)W(x-Q))(8)kkt,mkt,m2式中：W是包含每个DOF权重的对角矩阵，本文用一个单位矩阵来表示W以提取特征向量：T-1TTC=(XDX)XDyyDX(9)ω150式中：D是包含ωk的对角矩阵。此外，加权回归系数可以表示为：TT-1TTα=U(UXDXU)UXDy(10)ω假设存在高斯分布噪声变量βy，其标准偏差σ可以通过yk-βxk（k=1,...,K）来估计。由于生成姿势的每个DOF的预测函数是单独被预测的，所以为了预测姿势的第d个DOF，局部回归模型可以被描述为：T155q=αQ+N(0,σ)(11)t,dd,ωt,md式中：qt,d是表示第t帧姿态的第d个自由度的标量，σd表示第d个预测分量的标准偏差；αd,ω表示第d个自由度的加权回归系数的向量，Qt,m是表示当前帧姿势之前的重建运动片段向量，22计算复杂度为O（KmD）。这里的K、m、D分别表示训练数据的个数、用于训练的窗口大小和人体姿势DOF的维度。160对于先验项，本方法在生成的姿势序列Qt,m的约束下，最大化qt的条件概率，可得到：T2Dq-αQt,ddt,mPr(qt|Qt,m)∝exp-2d1σd(12)式中：qt,d（d=1,...,D）是当前姿态的第d个自由度qt。向量αd和标量σd分别是第d个预测模型的回归系数和标准差。通过最小化Pr(qt|Qt,m)的负对数，可以得到先验项的能量公式：T2q-αQt,ddt,m165Epriord2(13)σd姿势生成的最终衡量函数是由控制项（式3）和先验姿势项（式13）一起构成的。4实验结果与算法对比4.1系统实现本文在配有IntelCore2.8GHzCPU和4GB内存的台式机上针对不同运动测试了提出的-5- 中国科技论文在线http://www.paper.edu.cn[18]170算法。图2是原型软件的两个界面。本文采用Levenberg-Marquardt方法对等式（2）中定义的目标函数进行雅可比矩阵的优化，并使用数据库中已经存在的最相似运动示例来对函数进行初始化赋值，这样可以加快优化收敛的速度。动画生成系统的计算效率主要依赖于运动数据库中的搜索范围，因此本文使用文献[1]中的邻域图方法来加速K最近邻例子的搜索过程，并在两个数据库上进行了测试。一个数据库有56731个姿势，包括五个全身运动：打高175尔夫（2567帧），跳跃（4086帧），拳击（27867帧），步行（15674帧）和跑步（6537帧）等。另外一个数据库是从CMU数据库中下载的1.2M姿势，这些运动都是利用Vicon的运动捕获系统在120fps帧速率下捕获的。在使用中会将数据下采样到60fps以实现姿势更自然的生成效果。为了平衡合成帧率和重构运动的质量，本文选择窗口大小为2，系统生成的帧率平均在58fps。本文验证了提出的方法对各种动作的有效性，并用真实数据评估了重180建结果。图2原型软件的界面。（左）步行；（右）跳跃。红线是用户指定的轨迹约束，蓝点是红色轨迹上一帧的点约束。Fig.2Theinterfacesofourprototypesoftware.(left)walkingmotion;(right)jumpingmotion.Theredlinesare185user-specifiedtrajectoryconstraints,andthebluepointsarethepointconstraintsatoneframeonredtrajectories.4.2测试用户指定的数据本文根据用户指定的四个关节（左腕，右腕，左脚踝和右踝）的位置约束，通过在线生成五种不同的人体运动（例如，步行，跑步，打高尔夫，跳跃和拳击等）来测试动画生成系统构造的有效性。图5显示的是在线运动生成结果的一些关键帧图片。1904.3错误评估本文采用留一法进行运动姿势的错误评估来验证合成运动的质量，即每次选择一个运动捕捉示例作为测试数据，然后使用此类运动的其余运动例子作为在线运动重建的数据库数据，重构运动并计算运动重构误差，得到此类运动的误差均值和标准差。图3显示了各种运动（打高尔夫，跳跃，拳击，步行和跑步等）的重建误差的标准偏差和平均误差。195-6- 中国科技论文在线http://www.paper.edu.cn图3本文算法与三种经典的算法进行比较（GPLVM，局部PCA和局部PCR算法）（左）运动合成使用六个关节的位置（头部，躯干中心，两个手腕和两个脚踝）；（右）运动合成，使用四个关节（两个手腕和两个脚踝）的位置.Fig.3Comparisonwiththreepopularalgorithms:GPLVM,localPCAandlocalPCRalgorithms:200(left)motionsynthesisusingpositionsofsixjoints(head,thecenteroftorso,twowristsandtwoankles);(right)motionsynthesisusingpositionsoffourjoints(twowristsandtwoankles).4.4窗口大小和合成帧率建模过程的计算复杂度主要取决于输入数据的维数（m×D）。由于人体姿势维度相对固205定，所以主要针对窗口大小进行分析。表1是不同窗口大小m下的重建误差和帧率。测试的窗口大小从1到4。在实现中，当m为3时，系统实时运行的平均帧速率为34fps，而m为1时的平均帧速率为84fps。另外，重构误差通常随着窗口大小的减小而增加。当将更多的本地时空信息添加到先前的学习中时，预测的效果将更准确。表1重建错误和不同窗口尺寸上的合成框架m=1,2,3,4210Tab.1Reconstructionerrorsandsynthesisframerateondifferentwindowsize.m=1,2,3,4.1234重构误差（度数）2.962.041.891.68生成帧率（fps）845934204.5与经典算法的比较本文基于留一法测试了提出模型的性能，主要是与三种常用方法（高斯过程潜在变量模[13][1][2]型（GPLVM），局部主成分分析模型(LPCA)和局部主成分回归模型(LPCR)做对比。215图3是对于所有四种方法的五种不同运动行为的平均误差和标准偏差的比较。在评估中，本文还采用了文献[2]中使用的六个约束点，结果表明，与其他三种技术相比，本文的方法不仅可以得到更小的平均误差，而且标准差更小。另一方面，虽然仅使用四个控制点（两个手腕和两个脚踝），但以前的方法不能合成自然的人体数据。图4显示了一个测试数据的重构误差的逐帧比较。评估结果表明，本文提出方法的结果优于其他两种局部方法。220图4一个测试序列重构误差的逐帧比较，横轴为帧数，纵轴为重构误差的度数：（左）步行运动；（右）拳击运动Fig.4.Frame-by-framecomparisonforonetestingsequence:(left)walkingmotion;(right)boxingmotion.2254.6不同数据库的结果测试表2是针对两种不同训练数据库的四种算法的平均重建误差，具体是使用六个控制点的-7- 中国科技论文在线http://www.paper.edu.cn三维位置约束来计算重构的误差。结果发现对于GPLVM方法，使用大规模异构数据库时，重建误差是不能接受的。当其运用在小数据库上时，重建误差也大于局部建模方法。对于其他局部建模方法，当训练数据库的大小增加时，重构误差会降低。此外，本文提出的模型可230以比其他模型得到更小的重构误差。通过对不同的数据库进行测试，也验证了本文提出模型的强大约束功能。表2对不同数据库的四种方法的平均重构错误Tab.2Averagereconstructionerrorsforfourmethodsondifferentdatabase56731帧1.2M帧GPLVM5.8125.98LPCA3.913.04LPCR3.292.81本文方法2.031.622354.7本方法的局限本文所提出的方法虽然有更好的局部约束效果，但是也存在三个劣势。（1）与其他数据驱动方法一样，数据库对于合成运动的质量至关重要。如果训练数据不包含任何所需的运动模式，系统将不会产生所需的运动。例如，如果步行运动模式不包括在数据库中，系统将无法合成所需的行走数据。（2）用户指定的约束对于最终结果也是至关重要的。实际上，240如果用户指定的约束不是自然或自相矛盾的，则重构结果将无法生成一个逼真的运动来满足用户的约束。（3）运动数据需要事先安排在线搜索。如同大多数局部建模方法一样，将特定的数据排列结构应用于运动数据，可以加速搜索的过程。5结论本文提出了一种新颖的局部回归模型，可用于在尽可能少的用户指定约束的基础上在线245重建自然的全身人体运动。所提出的方法是利用几个最相近的运动数据实例来在线搜索一组运动用于提出模型的在线构造。基于相同的定义的约束和运动数据库，本文所提出的方法具有比先前的局部模型更好的约束力，并且可以合成更自然的人类运动。另外，我们提出的模型更适用于下一代硬件设备，以此可以解放运动捕获过程对于传感器数量的依赖。-8- 中国科技论文在线http://www.paper.edu.cn250图5在线运动合成的关键帧。从上到下依次是：步行、打高尔夫、跑步、跳跃和拳击，蓝点是关节约束点。Fig.5Keyframesforonlinemotionsynthesis.Fromtoptobottom:walking,golfswinging,running,jumpingandboxing.Thebluepointsarejointconstraints.[参考文献](References)[1]J.Chai,J.Hodgins,Performanceanimationfromlowdimensionalcontrolsignals[J],ACMTransactionson255Graphics,2005,24(3):686-696.[2]H.Liu,F.He,F.Zhu,Q.ZhuReal-timecontrolofhumanactionsusinginertialsensors[J],ScienceChinaInformationSciences,2014,57(7):1-11[3]潘志庚,吕培,徐明亮,王鹏杰低维人体运动数据驱动的角色动画生成方法综述[J],计算机辅助设计与图形学学报,2013,25(12):1775-1785260[4]J.Shotton,A.Fitzgibbon,M.Cook,T.Sharp,M.Finocchio,R.Moore,A.Kipman,A.Blake,Real-timehumanposerecognitioninpartsfromasingledepthimage[C].InProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2011,pp.1297-1304.[5]X.Wei,P.Zhang,J.Chai,Accuraterealtimefull-bodymotioncaptureusingasingledepthcamera[J],ACMTransactionsonGraphics,2012,31(6):1-12-9- 中国科技论文在线http://www.paper.edu.cn265[6]S.Semwal,R.Hightower,S.Stansfield,Mappingalgorithmsforreal-timecontrolofanavatarusingeightsensors[J],MITPress,1998,7(1):1-21[7]R.Slyper,J.Hodgins,Actioncapturewithaccelerometers[C].In2008ACMSIGGRAPH/EurographicsSymposiumonComputerAnimation2008,pp.193-199[8]J.Tautges,A.Zinke,B.Kruger,J.Baumann,A.Weber,T.Helten,M.Muller,H.Seidel,B.Eberhardt,Motion270reconstructionusingsparseaccelerometerdata[J].ACMTransactiononGraphics,2011,30(3):18[9]Y.Li,T.Wang,H.-Y.Shum,MotionTexture:Atwo-levelstatisticalmodelforcharactersynthesis[J],ACMTransactionsonGraphics,2002,21(3):465-472.[10]M.Brand,A.Hertzmann,Stylemachines[C],InProceedingsofACMSIGGRAPH,2000,pp.183-192.[11]C.Bregler,M.Covell,M.Slaney,Videorewrite:drivingvisualspeechwithaudio[C].InProceedingsof275ACMSIGGRAPH,1997,pp.353-360.[12]M.E.Brand,Voicepuppetry[C].InProceedingsofACMSIGGRAPH,1999,pp.21-28.[13]K.Grochow,S.L.Martin,A.Hertzmann,Z.Popovic,Style-basedinversekinematics[J].ACMTransactionsonGraphics,2004,23(3):522-531.[14]G.Liu,M.Xu,Z.Pan,A.E.Rhalibi,HumanMotionGenerationwithMultifactorModels[J].Journalof280VisualizationandComputerAnimation,2011,22(4):351-359[15]L.Liu,MVDPanne,K.YinGuidedLearningofControlGraphsforPhysics-BasedCharacters[J].ACMTransactiononGraphics,2016,35(3):1-14[16]赵建军,魏毅,夏时洪,王兆其基于物理的角色动画合成方法综述[J]，计算机研究与发展,2015,52(12):2866-2878285[17]S.Levine,J.Wang,A.Haraux,Z.PopoviC,V.Koltun,Continuouscharactercontrolwithlow-dimensionalembeddings[J],ACMTransactionsonGraphics,2012,31(31):1-10[18]M.I.A.Lourakis,levmar:Levenberg-MarquardtNonlinearLeastSquaresAlgorithmsinC/C++.,2009-10-'