(12)发明专利申请
(10)申请公布号 CN 110807833 A(43)申请公布日 2020.02.18
(21)申请号 201911068824.1(22)申请日 2019.11.04
(71)申请人 成都数字天空科技有限公司
地址 610041 四川省成都市高新区中国（四
川）自由贸易试验区成都天华二路219号7栋6层(72)发明人 王立有 刘宇 何翔 刘宁 蔺永
韩英 刘宝龙 胡海 覃小春 (74)专利代理机构 北京超凡宏宇专利代理事务
所(特殊普通合伙) 11463
代理人 安卫静(51)Int.Cl.
G06T 17/20(2006.01)
权利要求书3页 说明书11页 附图3页
(54)发明名称
一种网状拓扑获得方法、装置、电子设备及存储介质
(57)摘要
本申请提供一种网状拓扑获得方法、装置、电子设备及存储介质，用于改善捕捉到的手部姿态信息的精确度不高的问题。该方法包括：获得目标生物的多个二维图像；从多个二维图像中的每个二维图像检测出目标生物的多个顶点位置，顶点位置表征目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置；调整输入预先训练的生物特征模型的形状参数和姿态参数，以使生物特征模型输出的关键顶点满足预设条件，将满足预设条件时生物特征模型输出的网状拓扑确定为目标生物的网状拓扑，预设条件为关键顶点在每个二维图像上的投影与每个二维图像对应的顶点位置的误差值小于预设误差阈值。
CN 110807833 ACN 110807833 A
权 利 要 求 书
1/3页
1.一种网状拓扑获得方法，其特征在于，包括：获得目标生物的多个二维图像，所述多个二维图像是从不同角度采集的；
从所述多个二维图像中的每个二维图像检测出所述目标生物的多个顶点位置，所述顶点位置表征所述目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置；
调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，所述预设条件为所述关键顶点在所述每个二维图像上的投影与所述每个二维图像对应的顶点位置的误差值小于预设误差阈值；其中，所述生物特征模型的输入为所述目标生物的形状参数和姿态参数，且输出为所述目标生物的关键顶点和所述目标生物的网状拓扑。
2.根据权利要求1所述的方法，其特征在于，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：
根据所述多个二维图像的预设参数对所述多个顶点位置进行三维重建，获得所述目标生物的多个顶点坐标，所述顶点坐标表征所述目标生物的网状拓扑中的关键顶点在世界坐标系中的三维坐标位置；
旋转、平移和/或缩放所述生物特征模型，以使所述生物特征模型的多个关键顶点中的至少一个关键顶点与所述多个顶点坐标中的至少一个顶点坐标重合。
3.根据权利要求1所述的方法，其特征在于，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：
计算所述目标生物的多个顶点位置在每个二维图像中上的多个置信度，每个所述置信度表征所述目标生物的多个顶点位置在每个二维图像中上的信任程度；
根据所述多个置信度计算所述每个二维图像的权重值；若所述二维图像的权重值小于预设数值，则将所述置信度对应的二维图像从所述多个二维图像中删除。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个置信度计算所述每个二维图像的权重值，包括：
根据计算所述每个二维图像的权重值；
其中，i表示第i个二维图像，weighti为第i个二维图像的权重值，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，conik为第i个二维图像的第k个顶点位置的置信度，threshold为置信阈值，置信阈值满足1>threshold>0。
2
CN 110807833 A
权 利 要 求 书
2/3页
5.根据权利要求1所述的方法，其特征在于，所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，包括：
根据
调整所述生物特征模型的
形状参数和所述生物特征模型的姿态参数，以使所述关键顶点在所述每个二维图像上的投影与所述每个二维图像对应的顶点位置的误差值小于预设误差阈值时，获得所述生物特征模型的网状拓扑，所述生物特征模型的输入值为形状参数和姿态参数，所述生物特征模型的输出值为关键顶点和网状拓扑；
其中，loss为多个顶点投影与所述每个二维图像对应的多个顶点位置的误差值，n表示所述多个二维图像的数量，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，weighti为第i个二维图像的权重值，conik为第i个二维图像的第k个顶点位置的置信度，(uik,vik)分别表示从第i个二维图像上检测出的第k个顶点位置的横坐标和纵坐标，(Hxik,Hyik)分别表示所述生物特征模型的关键顶点的第k个顶点投影在第i个二维图像上的横坐标和纵坐标。
6.根据权利要求1所述的方法，其特征在于，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：
根据
计算预先训练的生物特征模型的关键顶点在
所述多个二维图像上的投影，获得多个顶点投影；
其中，i表示第i个二维图像，i满足的条件为1≤i≤n，n表示所述多个二维图像的数量，(Hxik,Hyik)分别表示所述生物特征模型的关键顶点的第k个顶点投影在第i个二维图像上的横坐标和纵坐标，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，Ini表示第i个二维图像对应的图像采集装置的内部参数，Exi表示第i个二维图像对应的图像采集装置的外部参数，θ表示所述生物特征模型的形状参数，表示所述生物特征模型的姿态参数，
表示世界坐标系下的第k
个顶点位置的三维坐标位置。
7.根据权利要求1-6任一所述的方法，其特征在于，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之后，还包括：
根据所述生物特征模型的网状拓扑确定动画角色的网状拓扑；或者根据所述生物特征模型的网状拓扑确定动画角色的骨骼形状。8.一种网状拓扑获得装置，其特征在于，包括：图像获得模块，用于获得目标生物的多个二维图像，所述多个二维图像是从不同角度采集的；
顶点检测模块，用于从所述多个二维图像中的每个二维图像检测出所述目标生物的多
3
CN 110807833 A
权 利 要 求 书
3/3页
个顶点位置，所述顶点位置表征所述目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置；
参数调整模块，用于调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，所述预设条件为所述关键顶点在所述每个二维图像上的投影与所述每个二维图像对应的顶点位置的误差值小于预设误差阈值；其中，所述生物特征模型的输入为所述目标生物的形状参数和姿态参数，且输出为所述目标生物的关键顶点和所述目标生物的网状拓扑。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一所述的方法。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的方法。
4
CN 110807833 A
说 明 书
一种网状拓扑获得方法、装置、电子设备及存储介质
1/11页
技术领域
[0001]本申请涉及计算机视觉和计算机图形学的技术领域，具体而言，涉及一种网状拓扑获得方法、装置、电子设备及存储介质。背景技术
[0002]深度摄像头，又称深度传感器，或者称TOF(Time of flight，TOF)相机，直译为飞行时间相机，飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。[0003]网状拓扑(mesh)，又称多边形网格(Polygon mesh)，是指三维计算机图形学中表示多面体形状的顶点与多边形的集合，因此，这里的多边形网格也被称为非结构网格。这些网格通常由三角形、四边形或者其它的简单凸多边形组成，这样可以简化渲染过程。[0004]传统的网状拓扑获得方法为：这里的网状拓扑信息可以是手部姿态信息，即以获得手部姿态信息为例说明，使用深度摄像头(即上述的TOF相机)捕捉和跟踪表演者的手部姿态。然而在具体的实施过程中发现，人的手部灵活多变，手指的颜色和形状看起来很相似，在快速移动或者超过预设识别距离的情况下，捕捉到的手部姿态信息的精确度不高。发明内容
[0005]本申请实施例的目的在于提供一种网状拓扑获得方法、装置、电子设备及存储介质，用于改善捕捉到的手部姿态信息的精确度不高的问题。[0006]本申请实施例提供了一种网状拓扑获得方法，包括：获得目标生物的多个二维图像，所述多个二维图像是从不同角度采集的；从所述多个二维图像中的每个二维图像检测出所述目标生物的多个顶点位置，所述顶点位置表征所述目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置；调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，所述预设条件为所述多个关键顶点在所述每个二维图像上的投影与所述每个二维图像对应的多个顶点位置的误差值小于预设误差阈值；其中，所述生物特征模型的输入为所述目标生物的形状参数和姿态参数，且输出为所述目标生物的关键顶点和所述目标生物的网状拓扑。在上述的实现过程中，通过利用训练好的生物特征模型向每个二维图像做投影，使生物特征模型的关键顶点与二维图像检测出的关键点的顶点位置的误差值最小化，即拟合生物特征模型的关键顶点与二维图像检测出的关键点的顶点位置，从而有效地提高了拟合出来的目标生物的姿态信息的精确度。
[0007]可选地，在本申请实施例中，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：根据所述多个二维图像的预设参数对所述多个顶点位置进行三维重建，获得所述目标生物的
5
CN 110807833 A
说 明 书
2/11页
多个顶点坐标，所述顶点坐标表征所述目标生物的网状拓扑中的关键顶点在世界坐标系中的三维坐标位置；旋转、平移和/或缩放所述生物特征模型，以使所述生物特征模型的多个关键顶点中的至少一个关键顶点与所述多个顶点坐标中的至少一个顶点坐标重合。在上述的实现过程中，通过根据多个二维图像的预设参数对多个顶点位置进行三维重建，以及旋转、平移和/或缩放生物特征模型，有效地减少了模型拟合的时间，从而提高了多个顶点投影与多个顶点位置的拟合速度。[0008]可选地，在本申请实施例中，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：计算所述目标生物的多个顶点位置在每个二维图像中上的多个置信度，每个所述置信度表征所述目标生物的多个顶点位置在每个二维图像中上的信任程度；根据所述多个置信度计算所述每个二维图像的权重值；若所述二维图像的权重值小于预设数值，则将所述置信度对应的二维图像从所述多个二维图像中删除。在上述的实现过程中，根据置信度筛选二维图像是否参与拟合计算，从而排除了没有拍摄到目标生物的二维图像参与拟合运算这种情况，有效地提高了多个顶点投影与多个顶点位置的拟合速度。[0009]可选地，在本申请实施例中，所述根据所述多个置信度计算所述每个二维图像的
权重值，包括：根据计算所述每个二维图像的权重
值；其中，i表示第i个二维图像，weighti为第i个二维图像的权重值，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，conik为第i个二维图像的第k个顶点位置的置信度，threshold为置信阈值，置信阈值满足1>threshold>0。[0010]可选地，在本申请实施例中，所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，包括：根据
调整所述生物特征模型的形状参数
和所述生物特征模型的姿态参数，以使所述顶点投影与所述每个二维图像对应的顶点位置的误差值小于预设误差阈值时，获得所述生物特征模型的网状拓扑，所述生物特征模型的输入值为形状参数和姿态参数，所述生物特征模型的输出值为关键顶点和网状拓扑；其中，loss为多个顶点投影与所述每个二维图像对应的多个顶点位置的误差值，n表示所述多个二维图像的数量，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，weighti为第i个二维图像的权重值，conik为第i个二维图像的第k个顶点位置的置信度，(uik,vik)分别表示从第i个二维图像上检测出的第k个顶点位置的横坐标和纵坐标，(Hxik,Hyik)分别表示所述生物特征模型的关键顶点的第k个顶点投影在第i个二维图像上的横坐标和纵坐标。[0011]可选地，在本申请实施例中，在所述调整输入预先训练的生物特征模型的形状参
6
CN 110807833 A
说 明 书
3/11页
数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之前，还包括：根据
计算预先训练的生物特征模型的关键顶点在所述多
个二维图像上的投影，获得多个顶点投影；其中，i表示第i个二维图像，i满足的条件为1≤i≤n，n表示所述多个二维图像的数量，(Hxik,Hyik)分别表示所述生物特征模型的关键顶点的第k个顶点投影在第i个二维图像上的横坐标和纵坐标，k表示所述多个顶点位置中的第k个顶点位置，K表示所述多个顶点位置的数量，k满足的条件为0≤k≤K，Ini表示第i个二维图像对应的图像采集装置的内部参数，Exi表示第i个二维图像对应的图像采集装置的外部参数，θ表示所述生物特征模型的形状参数，表示所述生物特征模型的姿态参数，
表示世界坐标系下的第k个顶点位置的三维坐标位置。
可选地，在本申请实施例中，在所述调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑之后，还包括：根据所述生物特征模型的网状拓扑确定动画角色的网状拓扑；或者根据所述生物特征模型的网状拓扑确定动画角色的骨骼形状。在上述的实现过程中，通过根据生物特征模型的网状拓扑确定动画角色的网状拓扑，或者根据生物特征模型的网状拓扑确定动画角色的骨骼形状，加快了获得动画角色的网状拓扑或者骨骼形状的速度。[0013]本申请实施例还提供了一种网状拓扑获得装置，包括：图像获得模块，用于获得目标生物的多个二维图像，所述多个二维图像是从不同角度采集的；顶点检测模块，用于从所述多个二维图像中的每个二维图像检测出所述目标生物的多个顶点位置，所述顶点位置表征所述目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置；参数调整模块，用于调整输入预先训练的生物特征模型的形状参数和姿态参数，以使所述生物特征模型输出的关键顶点满足预设条件，将满足所述预设条件时所述生物特征模型输出的网状拓扑确定为所述目标生物的网状拓扑，所述预设条件为所述关键顶点在所述每个二维图像上的投影与所述每个二维图像对应的顶点位置的误差值小于预设误差阈值；其中，所述生物特征模型的输入为所述目标生物的形状参数和姿态参数，且输出为所述目标生物的关键顶点和所述目标生物的网状拓扑。[0014]可选地，在本申请实施例中，还包括：三维重建模块，用于根据所述多个二维图像的预设参数对所述多个顶点位置进行三维重建，获得所述目标生物的多个顶点坐标，所述顶点坐标表征所述目标生物的网状拓扑中的关键顶点在世界坐标系中的三维坐标位置；模型处理模块，用于旋转、平移和/或缩放所述生物特征模型，以使所述生物特征模型的多个关键顶点中的至少一个关键顶点与所述多个顶点坐标中的至少一个顶点坐标重合。[0015]可选地，在本申请实施例中，还包括：第一计算模块，用于计算所述目标生物的多个顶点位置在每个二维图像中上的多个置信度，每个所述置信度表征所述目标生物的多个顶点位置在每个二维图像中上的信任程度；第二计算模块，用于根据所述多个置信度计算所述每个二维图像的权重值；图像删除模块，用于若所述二维图像的权重值小于预设数值，则将所述置信度对应的二维图像从所述多个二维图像中删除。[0016]可选地，在本申请实施例中，还包括：拓扑确定模块，用于根据所述生物特征模型
7
[0012]
CN 110807833 A
说 明 书
4/11页
的网状拓扑确定动画角色的网状拓扑；或者根据所述生物特征模型的网状拓扑确定动画角色的骨骼形状。
[0017]本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。
[0018]本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1示出的本申请实施例提供的网状拓扑获得方法的流程示意图；
[0021]图2示出的本申请实施例提供的使用相机矩阵采集目标生物图像的示意图；[0022]图3示出的本申请实施例提供的目标生物的二维图像中的顶点位置示意图；[0023]图4示出的本申请实施例提供的生物特征模型的顶点坐标的示意图；[0024]图5示出的本申请实施例提供的网状拓扑获得装置结构示意图；[0025]图6示出的本申请实施例提供的电子设备的结构示意图。[0026]图标：111-图像采集装置；112-铁棒；113-目标生物；200-网状拓扑获得装置；210-图像获得模块；220-顶点检测模块；230-参数调整模块；300-电子设备；310-处理器；320-存储器；330-存储介质。具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
[0028]在介绍本申请实施例之前，先介绍本申请实施例所涉及到的一些概念，这些概念如下：
[0029]服务器，是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(Reduced Instruction Set Computing，RISC)、单字长定点指令平均执行速度(Million Instructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
[0030]本申请实施例提供了一种网状拓扑获得方法，该方法可以由电子设备来执行，这里的电子设备包括：具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由
8
CN 110807833 A
说 明 书
5/11页
器等；当然在具体的实施过程中，这里的电子设备也可以是服务器，即该方法可以由服务器来执行。
[0031]该网状拓扑获得方法的应用场景包括但不限于：动画建模和角色动画迁移等场景，以动画建模的场景为例，使用该网状拓扑获得方法对包括目标生物的图像进行处理获得该目标生物的网状拓扑，若使用该方法对包括目标生物的视频进行处理获得该目标生物的多个网状拓扑，即获得该目标生物的网状拓扑序列动画；进一步地，再以角色动画迁移的场景为例，可以将网状拓扑序列动画重定向至动画角色的肢体动作上，从而快速地生成与目标生物的肢体动作相同或者相似的角色动画。这里的网状拓扑应用方法将在介绍完网状拓扑获得方法之后，再对该网状拓扑获得方法的应用场景进行详细地介绍。
[0032]请参见图1示出的本申请实施例提供的网状拓扑获得方法的流程示意图；网状拓扑获得方法可以包括：图像采集、关键点检测、重建投影和模型拟合四个阶段；当然，在具体实施过程中，该方法还可以包括图像优化和网状拓扑应用两个阶段；其中，图像优化是可选阶段，为了加快模型拟合获得网状拓扑的过程可以执行图像优化，网状拓扑应用也是可选阶段，为了使获得的网状拓扑获得更好地应用可以执行该阶段的方法，因此，这两个阶段会在介绍完四个阶段之后详细地描述；这里先介绍网状拓扑获得方法的四个阶段，这四个阶段分别可以对应以下的四个步骤，因此，该网状拓扑获得方法的四个阶段可以包括如下步骤：
[0033]步骤S110：获得目标生物的多个二维图像，多个二维图像是从不同角度采集的。[0034]目标生物，是指需要被二维图像记录的生物或者生物部分肢体，具体地，可以是采集人的形体动作，也可以采集动物的形体动作，当然也可以采集人的手势，或者动物的手势，这里的手势是指手的形态动作。为了便于理解和说明，下面均以采集人的手势为例进行说明，即以人手的形状为例进行说明。[0035]二维图像，是指对目标生物从不同角度采集的二维图像，可以是利用同一个图像采集装置从不同角度采集的，也可以是利用多个不同的图像采集装置采集的。这里的图像采集装置采集的二维图像的设备装置，该设备装置可以是相机，当然在具体的实施过程中，也可以采用工业相机，即RGB相机，这里的RGB相机是指由三根不同的线缆给出了三个基本彩色成分(即红R、绿G、蓝B)的摄像头的相机，这种类型的摄像头通常是用三个独立的CCD传感器来获取三种彩色信号，RGB摄像头经常被用来采集非常精确的彩色图像。
[0036]请参见图2示出的本申请实施例提供的使用相机矩阵采集目标生物图像的示意图；上述的多个二维图像获得方法，即使用多个不同的图像采集装置111采集多个二维图像的方法例如：这里的图像采集装置111例如可以是相机，那么可以将多个相机固定在铁棒112搭建的架子上成为标定好的相机矩阵，以最大程度地从不同角度采集目标生物113的二维图像；其中，可以使用相机标定算法获得图像采集装置111在相机矩阵中的具体位置，常见的相机标定算法例如：OpenCV或者MATLAB中自带的相机标定算法，获得相机矩阵中的每个相机的内部参数和外部参数。在搭建好相机矩阵后，相机矩阵中的多个相机会同时采集目标生物113的图像，即同一时刻获得多个目标生物113的二维图像，则获得多个二维图像。当然，在具体的实施过程中，也可以适当地增加相机矩阵的覆盖范围，比如增加拍摄目标生物113的相机数量等。
[0037]在步骤S110之后，执行步骤S120：从多个二维图像中的每个二维图像检测出目标
9
CN 110807833 A
说 明 书
6/11页
生物的多个顶点位置。[0038]需要说明的是，在检测目标生物的多个顶点位置之前，若目标生物是生物部分肢体，例如这里采集的是人手图像，那么需要先定位到人手部分，以增加图像的有效面积；其中，定位到人手部分的具体实施方式可以采用已经训练过的神经网络模型来定位，这些神经网络模型例如：卷积神经网络(Convolutional Neural Networks，CNN)模型等。
[0039]请参见图3示出的本申请实施例提供的目标生物的二维图像中的顶点位置示意图；为了便于识别，图中没有标出顶点在二维图像中的二维坐标位置，这里的顶点位置表征目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置，换句话说，这个图中的顶点就可以理解为目标生物在二维图像的关键点。[0040]其中，从多个二维图像中的每个二维图像检测出目标生物的多个顶点位置的具体实施方式例如：若目标生物是生物部分肢体，例如这里采集的是人手图像，则可以使用目标检测框架检测人手的位置；在获得人手的位置后，再使用人手关键点检测算法确定该人手的关键点，这里的人手关键点检测算法具体的可以是openpose，从而获得人手图像的多个关键点的图像坐标，即获得目标生物的多个顶点位置。这里介绍重建投影阶段的方法，该阶段的方法可以包括如下步骤：[0041]在步骤S120之后，执行步骤S121：计算预先训练的生物特征模型的关键顶点在多个二维图像上的投影，获得多个顶点投影。[0042]这里的生物特征模型，又称为参数化模型，是指输入值为形状参数和姿态参数，且输出值为关键顶点和网状拓扑的函数模型；换句话说，改变该生物特征模型的形状参数或姿态参数，可以改变该生物特征模型的关键顶点或网状拓扑。具体地，生物特征模型可以为表征目标生物的关键顶点和目标生物的网状拓扑的函数模型，该函数模型例如可以是参数化人手模型。该参数化人手模型的获得方式，可以直接从开始训练该参数化人手模型，也可以从网上下载已经训练好的参数化人手模型，例如：从网上下载MANO人手模型作为生物特征模型，因此，该生物特征模型的具体获得方式不应理解为对本申请实施例的限制。这里的顶点投影是指关键顶点在每个二维图像上的投影，那么计算预先训练的生物特征模型的关键顶点在多个二维图像上的投影，获得多个顶点投影的具体实施方式例如：
[0043]
根据计算预先训练的生物特征模型的关键顶
点在多个二维图像上的投影，获得多个顶点投影；[0044]其中，i表示第i个二维图像，i满足的条件为1≤i≤n，n表示多个二维图像的数量，(Hxik,Hyik)分别表示生物特征模型的关键顶点的第k个顶点投影在第i个二维图像的横坐标和纵坐标，k表示多个顶点位置中的第k个顶点位置，K表示多个顶点位置的数量，k满足的条件为0≤k≤K，Ini表示第i个二维图像对应的图像采集装置的内部参数，Exi表示第i个二维图像对应的图像采集装置的外部参数，θ表示生物特征模型的形状参数，表示生物特征模型的姿态参数，置。
需要说明的是，在计算预先训练的生物特征模型的关键顶点在多个二维图像上的投影之前，将生物特征模型旋转、平移和/或缩放到上述的顶点坐标所在的坐标系中，在平移之前要将二维图像的多个顶点位置重建为三维的多个顶点坐标，因此，重建投影阶段的
[0045]
表示世界坐标系下的第k个顶点位置的三维坐标位
10
CN 110807833 A
说 明 书
7/11页
方法可以包括三维重建，以及将模型旋转、平移和/或缩放，其中，三维重建，以及模型旋转、平移和/或缩放可以包括如下步骤：[0046]步骤S122：根据多个二维图像的预设参数对多个顶点位置进行三维重建，获得目标生物的多个顶点坐标。
[0047]请参见图4示出的本申请实施例提供的生物特征模型的顶点坐标的示意图；其中，这里的顶点坐标表征目标生物的网状拓扑中的关键顶点在世界坐标系中的三维坐标位置；换句话说，将二维图像的顶点从二维坐标系转换为三维坐标系，将该顶点的二维坐标转换为三维坐标。
[0048]步骤S123：旋转、平移和/或缩放生物特征模型，以使生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标重合。[0049]需要说明的是，这里的旋转、平移和/或缩放可以包括七种情况：旋转、平移、缩放、旋转平移、平移缩放、旋转缩放、旋转平移缩放这七种情况；在具体的实际操作中，平移才能使生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标重合，但旋转和缩放是可选的，具体地例如：若生物特征模型的多个关键顶点的角度方向正好与多个顶点坐标的角度方向一致，那么可以不用旋转；以此类推，若生物特征模型的多个关键顶点的尺寸大小正好与多个顶点坐标的尺寸大小一致，那么可以不用缩放等。[0050]其中，旋转、平移和/或缩放该生物特征模型，以使生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标重合的具体实施方式例如：若这里的生物特征模型为人手模型，那么旋转、平移和/或缩放生物特征模型至上述重建出来的人手根节点位置，以使该人手模型的根节点与多个顶点坐标中的人手根节点重合，即以使生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标重合，具体地例如：生物特征模型的人手根节点位置与目标生物的网状拓扑中的关键顶点中的人手根节点位置重合。旋转、平移和/或缩放该生物特征模型的实施方式又例如：若生物特征模型为人脸模型，那么旋转、平移和/或缩放人脸模型，使人脸模型中的一个顶点与多个顶点坐标中的一个顶点重合，可以是鼻尖顶点重合，也可以是额头中间点重合，也可以是眉间的中心点重合，具体的重合点可以根据具体情况进行设置；因此，这里的生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标的具体重合顶点不应理解为对本申请实施例的限制。[0051]在上述的实现过程中，通过根据多个二维图像的预设参数对多个顶点位置进行三维重建，以及旋转、平移和/或缩放生物特征模型，有效地减少了模型拟合的时间，从而提高了多个顶点投影与多个顶点位置的拟合速度。[0052]在步骤S120之后，执行步骤S130：调整输入预先训练的生物特征模型的形状参数和姿态参数，以使生物特征模型输出的关键顶点满足预设条件，将满足预设条件时生物特征模型输出的网状拓扑确定为目标生物的网状拓扑。
[0053]这里的预设误差阈值可以根据具体实际需求进行设置，预设误差阈值例如可以小于0.001或0.0001等。误差值，可以采用误差平方和函数求得误差值，也可以采用其它函数求得误差值，这里的以采用误差平方和函数求得误差值为例进行说明，那么步骤S130的具体实施方式，即获得生物特征模型的网状拓扑的具体实施方式例如：
11
CN 110807833 A[0054]
说 明 书
8/11页
根据调整生物特征模型的
形状参数和生物特征模型的姿态参数，以使多个顶点投影与每个二维图像对应的多个顶点位置的误差值小于预设误差阈值时，获得生物特征模型的网状拓扑，生物特征模型的输入值为形状参数和姿态参数，生物特征模型的输出值为关键顶点和网状拓扑；[0055]其中，loss为多个顶点投影与每个二维图像对应的多个顶点位置的误差值，n表示多个二维图像的数量，k表示多个顶点位置中的第k个顶点位置，K表示多个顶点位置的数量，k满足的条件为0≤k≤K，weighti为第i个二维图像的权重值，conik为第i个二维图像的第k个顶点位置的置信度，(uik,vik)分别表示从第i个二维图像上检测出的第k个顶点位置的横坐标和纵坐标，(Hxik,Hyik)分别表示生物特征模型的关键顶点的第k个顶点投影在第i个二维图像上的横坐标和纵坐标。[0056]在上述的实现过程中，通过利用训练好的生物特征模型向每个二维图像做投影，使生物特征模型的关键顶点与二维图像检测出的关键点的顶点位置的误差值最小化，即拟合生物特征模型的关键顶点与二维图像检测出的关键点的顶点位置，从而有效地提高了拟合出来的目标生物的姿态信息的精确度。[0057]如上面所描述的，该方法还可以包括图像优化和网状拓扑应用两个阶段，这里先介绍图像优化阶段的方法，下面再介绍网状拓扑应用阶段的方法，图像优化阶段的方法可以包括如下步骤：[0058]步骤S101：计算目标生物的多个顶点位置在每个二维图像中上的多个置信度。[0059]置信度，是指统计学中的一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。这里的每个置信度表征目标生物的多个顶点位置在每个二维图像中上的信任程度。
[0060]步骤S102：根据多个置信度计算每个二维图像的权重值。[0061]其中，根据多个置信度计算每个二维图像的权重值的具体实施方式例如：
[0062]根据计算每个二维图像的权重值；
[0063]
其中，i表示第i个二维图像，weighti为第i个二维图像的权重值，k表示多个顶点位置中的第k个顶点位置，K表示多个顶点位置的数量，k满足的条件为0≤k≤K，conik为第i个二维图像的第k个顶点位置的置信度，threshold为置信阈值，置信阈值满足1>threshold>0。
[0064]步骤S103：若二维图像的权重值小于预设数值，则将置信度对应的二维图像从多个二维图像中删除。
[0065]可以理解的是，由于在图像采集装置进行拍摄的过程中，具体地可以使用相机或者相机矩阵实际拍摄中，并不是所有的相机都会拍摄到目标生物(例如人手)，那么就需要将没有拍摄到目标生物的二维图像剔除，以提高模型拟合的速度。
12
CN 110807833 A[0066]
说 明 书
9/11页
在上述的实现过程中，根据置信度筛选二维图像是否参与拟合计算，从而排除了
没有拍摄到目标生物的二维图像参与拟合运算这种情况，有效地提高了多个顶点投影与多个顶点位置的拟合速度。[0067]可选地，在本申请实施例中，如上面所描述的，该方法还可以包括图像优化和网状拓扑应用两个阶段，上面介绍了图像优化阶段的方法，下面介绍网络拓扑应用阶段的方法，那么在步骤S130之后，网络拓扑应用阶段的方法可以包括如下步骤：[0068]步骤S150：根据生物特征模型的网状拓扑确定动画角色的网状拓扑；或者根据生物特征模型的网状拓扑确定动画角色的骨骼形状。[0069]其中，步骤S150的具体实施方式例如：使用上述步骤S110至步骤S130获得网络拓扑，在具体实施的过程中，可以事先录制一段视频，该视频的每张图像均按照上述的步骤S110至步骤S130获得多个时间顺序排列的网络拓扑，那么可以根据网络拓扑转骨骼算法，将多个时间顺序排列的网络拓扑生成骨骼动画；进一步地，还可以将多个时间顺序排列的网络拓扑重定向到游戏角色上，从而获得游戏角色的动画，具体地可以是游戏角色的手指动画；或者是将多个时间顺序排列的网络拓扑生成骨骼动画重定向到游戏角色上，从而获得游戏角色的动画，具体地可以是游戏角色的手指动画等。[0070]在上述的实现过程中，通过根据生物特征模型的网状拓扑确定动画角色的网状拓扑，或者根据生物特征模型的网状拓扑确定动画角色的骨骼形状，加快了获得动画角色的网状拓扑或者骨骼形状的速度。
[0071]请参见图5示出的本申请实施例提供的网状拓扑获得装置结构示意图；本申请实施例提供了一种网状拓扑获得装置200，包括：[0072]图像获得模块210，用于获得目标生物的多个二维图像，多个二维图像是从不同角度采集的。
[0073]顶点检测模块220，用于从多个二维图像中的每个二维图像检测出目标生物的多个顶点位置，顶点位置表征目标生物的网状拓扑中的关键顶点在二维图像中的二维坐标位置。
[0074]参数调整模块230，用于调整输入预先训练的生物特征模型的形状参数和姿态参数，以使生物特征模型输出的关键顶点满足预设条件，将满足预设条件时生物特征模型输出的网状拓扑确定为目标生物的网状拓扑，预设条件为关键顶点在每个二维图像上的投影与每个二维图像对应的顶点位置的误差值小于预设误差阈值；其中，生物特征模型的输入为目标生物的形状参数和姿态参数，且输出为目标生物的关键顶点和目标生物的网状拓扑。
[0075]可选地，在本申请实施例中，该装置还包括：[0076]三维重建模块，用于根据多个二维图像的预设参数对多个顶点位置进行三维重建，获得目标生物的多个顶点坐标，顶点坐标表征目标生物的网状拓扑中的关键顶点在世界坐标系中的三维坐标位置。[0077]模型处理模块，用于旋转、平移和/或缩放生物特征模型，以使生物特征模型的多个关键顶点中的至少一个关键顶点与多个顶点坐标中的至少一个顶点坐标重合。[0078]可选地，在本申请实施例中，该装置还可以还包括：[0079]第一计算模块，用于计算目标生物的多个顶点位置在每个二维图像中上的多个置
13
CN 110807833 A
说 明 书
10/11页
信度，每个置信度表征目标生物的多个顶点位置在每个二维图像中上的信任程度。[0080]第二计算模块，用于根据多个置信度计算每个二维图像的权重值。[0081]图像删除模块，用于若二维图像的权重值小于预设数值，则将置信度对应的二维图像从多个二维图像中删除。[0082]可选地，在本申请实施例中，该网状拓扑装置还可以包括：[0083]拓扑确定模块，用于根据生物特征模型的网状拓扑确定动画角色的网状拓扑；或者根据生物特征模型的网状拓扑确定动画角色的骨骼形状。[0084]应理解的是，该装置与上述的方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
[0085]请参见图6示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上步骤S110至步骤S130的方法。[0086]本申请实施例还提供了一种存储介质330，该存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上步骤S110至步骤S130的方法。[0087]其中，存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。[0088]本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0089]另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0090]再者，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0091]在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另
14
CN 110807833 A
说 明 书
11/11页
一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0092]以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
15
CN 110807833 A
说 明 书 附 图
1/3页
图1
图2
16
CN 110807833 A
说 明 书 附 图
2/3页
图3
图4
17
CN 110807833 A
说 明 书 附 图
3/3页
图5
图6
18
因篇幅问题不能全部显示，请点此查看更多更全内容