脸部整形医院 三维人脸虚拟整形系统的临床应用
APP宣发
DOI:10.3760/cma.j.issn.1009-4598.2019.11.006
作者单位：1湘雅常德医院网络信息中心, 常德；2中南大学湘雅医院网络信息中心，长沙;3湖南拓视觉信息技术有限公司, 长沙; 4国防科技大学自动目标识别重点实验室, 长沙; 5中南大学湘雅医院麻醉科，长沙
通信作者：贺正华， Email：
【摘要】
方法 对2017年6月至2018年5月就诊于湘雅医院的行面部整形手术的80例患者（男28例，女52例，年龄18～40岁）连续采集多帧包含人脸的二维人体彩色图像和三维人体点云数据，对采集数据进行人脸检测，对检测到的多帧三维人脸点云进行超分辨率融合，利用融合后的三维人脸点云数据建立三维人脸模型，采用纹理映射技术实现二维彩色图像到三维人脸模型的映射。最后由患者和医生交互式地在三维人脸模型上实施虚拟手术，获取满意的目标三维人脸模型。通过对比虚拟手术前、后三维人脸模型的变化，获取患者面部的整形手术中需调整的数据，并根据数据对80例患者完成面部整形手术。于术后1年重建患者三维人脸模型，与虚拟手术后模型对比，评估整形手术的效果。
结果 80例患者采用上述方法进行整形手术，其中内眦开大术6例、外眦开大术9例、隆鼻术20例、唇部修薄术25例、全面部脂肪填充20例。术后1年，80例患者均对整形结果表示满意。
结论 三维人脸虚拟整形系统使得整形设计过程具有个性化、定量化、数字化特点，使患者对预后效果预先有了比较好的了解，便于医、患之间的交流，可减少不必要的医疗纠纷。
【关键词】面；虚拟,整形外科；三维建模
基金项目：国家自然科学基金()；湖南创新型省份建设专项()；湖南省知识产权战略推进专项()；三维重建及智能应用技术湖南省工程研究中心（2019–73-03-）
Three- face and
Hu ,2, Teng ,4, He
, , China;
，the of South , ,China;
, , China;
4ATR , of , , China; of ，the of South , , China
:
He ,Email:
【】
To the of three- face .
80 (28 males and 52 , aged 18-40 years) who in were with two- human color and three- human point cloud data 。 Face was on the data, and super- was on the three- human point 。 A three- face model was built using the fused three- face point cloud data, and the was used to the from two- color image to three- face model。
, and on the three- face model to three- face model。 By the of three- face model and after , the data to be in the were , and 80 to the data。 The three- face model of was one year after , and then with the model of to the of 。
80 with the above , 6 cases of , 9 cases of , 20 cases of , 25 cases of lip , and 20 cases of fat . One year after , 80 were with the of .
The three- makes the of , and . It to have a of in , the and , and .
【Key words】
Face;， ;Three|
Fund : of China(); High-Level of Hunan （）; for of Hunan (); on 3D and of Hunan (2019–73-03-)
of of : The have no to in to the of this .
: This study was in with the .
随着生活水平的提高，人们对容貌的要求越来越高，选择面部整形手术来改善相貌的人越来越多。但面部整形也是一个医疗纠纷高发的学科，目前已经成为全世界广泛关注的问题［1-3］。常规面部整形手术大多是通过医生的经验来进行临床治疗，手术设计及方法受个人习惯、经验等主观因素影响较大，随意性和盲目性大，因此手术风险大。数字化技术在整形外科领域中展现出了广阔的应用前景［4-5］。如三维数字化整形给医患之间提供了一个准确、直观的交流平台，患者不仅可以表达自己的意愿，更可以参与手术的设计过程，使整形更加个性化，可以有效减少不必要的医疗纠纷。此外，医生可以在数字化指导下进行精确的手术整形设计和操作，克服以往仅凭经验进行设计的缺点，避免手术风险，使得手术的安全性得到提高。我们构建了一种三维人脸虚拟整形系统并将其应用于临床，指导整形外科手术，取得较好效果。
资料与方法
一、临床资料
本组患者共80例，男28例，女52例，年龄18～40岁，平均28岁。均为2017年6月至2018年5月就诊于湘雅医院行面部整形的患者。本研究已参考赫尔辛基宣言，术前均与患者签署知情同意书。
二、方法
（一）三维人脸虚拟整形系统的构建（图1）
1. 人体数据采集
采用湖南拓视觉信息技术有限公司生产的三维扫描设备（tScan，图2），拍摄至少包括头面部正、侧位的体现人体多个角度特征的多帧三维人体点云数据和二维彩色图像数据。点云为在逆向工程中通过测量仪器得到的产品外观表面点的数据集合。所获取的多帧三维人体点云数据中，每帧数据至少包括面部的点云数据。
2. 面部检测
采用Wang等［6］的霍夫森林模型检测方法对上一步所获取的多帧三维人体点云数据进行三维人脸检测，截取多个对应于不同帧的初始人脸三维点云，使后续的处理专注于面部区域，进而大大降低后续处理的内存开销和计算复杂度。
3. 三维人脸点云超分辨率融合
为了获取高分辨率、低噪声、无孔洞的三维人脸点云数据，对获取的多帧三维人脸点云通过人脸姿态校正、由粗到精2步点云对准、多视角表面融合（图3），获得超出传感器分辨率的超分辨率人脸三维点云。
（1) 人脸姿态校正采用Mian等［7］提出的主成分分析法（ ，PCA）进行人脸姿态校正。PCA是最常用的线性降维方法,它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大。为了提高姿态校正的精度采用迭代校正的过程（图4）。令点云集P为3×n的矩阵，每一列对应1个点(x,y,z)坐标,即：
P=x1x2…y1y2…z1z2…，则对应的均值和协方差矩阵分别为：m=1n∑nk=1Pk和C=1n∑nk=－mmT，其中Pk是第k个点。奇异值分解( value , SVD)是一种用于将矩阵归约成其组成部分的矩阵分解方法，可使后面的某些矩阵计算更简单。本研究中求姿态校正的旋转矩阵就是对协方差C进行SVD，使得CV=DV，其中D是特征值构成的对角阵，V是特征向量构成的矩阵，则姿态校正的过程就是：P′=V(P－m)。
（2) 由粗到精的点云对准经典的点云对准算法是
迭代最近邻算法（ point, ICP）［8］，为一种点集对点集配准方法，每次迭代都要对初始点云中的每一个点，在备选点云中找1个与之最近邻的点，计算复杂度高,且容易陷入局部最优值。为提高算法效率并避开局部最优，采用由粗到精的对准策略，共2个步骤组成。粗对准采用的是一致对应验证法( , CCV)［9］。首先对输入点云进行降采样,得到Si与Sj，寻找使得Si与Sj对应点对最多的变换矩阵Ti,j。其中，对应点对是指2个数据集中距离小于2个数据分辨率的点对。设特征匹配得到的关键点对为Ci,j={cij1,cij2,…,cijN}，Ti,jk为第k对关键点对直接的变换矩阵。考察其他点对直接的变换矩阵与Ti,jk之间的距离，若满足门限约束则认为是对应的。其中对应点最多的1组进行最小二乘拟合(least- ,一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配)即可得到最终的变换矩阵Ti,j。精对准采用的是改进的迭代最近邻算法( point, AICP)。AICP在2个方面进行了改进，一个方面是为了加快寻找对应点的速度，将空间中的点投影到相机平面，认为两帧之间相同像素点对应的空间点对是1组对应点。另一个方面，优化的目标函数是所有对应点对的点到平面的距离之和，而不是点到点的距离。应用点到平面的距离可以加快收敛速度（图5）。
（3) 三视角点云集成点云集成的目的是将多帧点云中的同名点融合为模型表面上的一点，对于人脸点云而言，在3个视角进行点云集成即能获得较为完整准确的三维模型（图6）。
分别对3个视角观察到的点云进行融合，再集成到同1个三维模型，集成时仅需在边界上进行一致性处理。对于已经正则化(一种回归的形式，将系数估计朝零的方向进行约束、调整或缩小,即正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险)的人脸点云，左视点实际上是左半边脸的点云数据融合，相应的右视点和前视点对应的是右半边脸和正脸。融合方法类似，现以左视点为例进行说明。
A、同名点合并：将该部分点云投影到yoz平面，并将人脸在yoz平面的区域栅格化，栅格大小取决于空间分辨率（本研究为1 mm×1 mm）。落在同一栅格内的点合并为1个点，x坐标为该栅格内所有点x坐标的均值。
B、孔洞消除：采用cubic算法对yoz面的栅格数据进行插值。Cubic算法是一种多项式插值法，逐次以三次曲线的极小点逼近寻求函数的极小点的一种方法。
C、平滑滤波：采用双边滤波器对yoz面的栅格数据进行滤波，以降低噪声，平滑曲面。最后将栅格数据映射到xyz三维空间。双边滤波器为使影像平滑化的非线性滤波器，它除了使用像素之间几何上的靠近程度之外，还考虑了像素之间的光度或色彩差异，可有效地将图像上的噪声去除，同时保存图像上的边缘信息。
4. 三维建模
利用融合后的三维人脸点云数据进行建模，得到三维人脸模型数据，并将彩色图像映射到超分辨率三维点云人脸模型上，得到具有真实感的三维人脸点云模型。
三、临床应用
（一） 模拟整形
由患者和医生共同参考现有三维标准人脸模型，交互式地在三维人脸模型上实施虚拟手术，如下睑下至术、内外眦开大术、隆鼻术、唇部修薄术、除去斑、痣等，经过一系列的交互式操作，获得最终满意的目标三维人脸模型。
三维人脸虚拟整形系统的软件界面如图7所示，面部整形的部位主要包括肤色、眼部、鼻部、颊部、唇部和颏部。当用户点击界面上人脸的某个部位时，如点击“眼睛”，则界面上会相应弹出如图8所示的界面。眼睛整形的参数包括眼高、眼宽和眼角等，用鼠标拖动右侧的滑动条可以调整相应参数值，也可在右侧对话框中直接输入目标参数值，界面中央将实时给出眼部动态调整前、后对比效果图。同样，根据患者的需要，还可对其他部位进行虚拟整形(图8)。
（二） 完成整形手术
通过虚拟整形手术获得满意的目标三维人脸模型后，医生通过对比虚拟手术前、后三维人脸模型的变化，获取患者面部的整形手术中需调整的数据，在术前准备及实际手术中进行参考。
四、术后效果评估
术后1年时，采用类似于虚拟整形阶段的方法，对整形手术后的患者进行数据采集、人脸检测、三维人脸点云超分辨率融合以及三维建模，对比虚拟手术后的模型，来评估整形手术的效果（图9）。所需评估的量化指标，如扩大或缩小的区域面积、形状变化、特定点增加的厚度等， 以word格式导出结果报告，可为手术效果提供参考，便于医生不断提高自己的水平。对于比较典型的人脸模型，还可加入三维标准人脸模型数据库，作为后期虚拟整形手术的参考。
结果
……
您可以通过以下方式获得全文的内容
（备注：因微信识别问题，文章中的公式请以纸刊为准）
期刊官网：
