基于口内图像和三维模型的牙齿正畸治疗监测方法

著录项
申请号:
CN202010533803.9
申请日:
2020-06-12
公开(公告)号:
CN111685899A
公开日:
2020-09-22
申请(专利权)人:
上海银马科技有限公**
发明人:
苏**, 王贺**, 顾晨**
主分类号:
A61C7/00(20060101)
分类号:
A61C7/00(20060101), A61C19/04(20060101), G06N3/04(20060101), G06N3/08(20060101), G06T7/136(20170101), G06T17/00(20060101)
地址:
上海市嘉定区中国(上海)自由贸易试验区祥科路298号1幢401-**
国省代码:
上海市
代理机构:
31387 上海中外企专利代理事务所(特殊普通合伙)
代理人:
孙益青
优先权:
简介

本发明公开了一种基于口内图像和三维模型的牙齿正畸治疗监测方法,包括以下步骤:步骤一、获取经过预处理的P1阶段患者口内图像和牙颌三维数字模型;步骤二、基于P1阶段患者口内图像对牙颌三维数字模型进行牙齿‑牙龈、牙齿‑牙齿分割;获得分割后的牙颌三维数字模型;步骤三、获取经过预处理的P2阶段患者口内图像;步骤四、根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型、以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据。
本发明能够对牙齿正畸治疗后的患者仅仅通过拍摄口内图像即可得知牙齿的坐标变换、形态变化情况,避免了在治疗后使用扫描仪对口腔进行扫描。

专利说明

技术领域
本发明属于牙齿监测技术领域,尤其涉及一种基于口内图像和三维模型的牙齿正畸治疗监测方法。

背景技术
在牙齿正畸治疗领域,牙齿监测(Dental Monitoring)技术允许正畸医师能够更加方便、快捷、有效地监测病人治疗的状况。
借助智能手机等设备,甚至不需要病人前往医院或诊所,医生就可以远程监测牙齿治疗状态。
既节省了病人多次往返医院或诊所等待治疗的时间和金钱,也大大方便了医生对患者治疗过程的追踪和监测,更有助于治疗方案的及时推进、调整和完善。

随着计算机技术的发展,二维图像、三维数字模型的获取和处理技术也得到了快速的发展。
图像分割和识别方法、图像中物体的检测方法也变得越来越成熟完善。
三维数字模型的获取,因硬件设备的发展,也变得越来越便捷。
使用扫描仪对患者口腔内部进行扫描,获取三维数字模型并导入计算机,然后利用基于几何信息的分割方法或基于机器学习的方法对其进行分割和处理,最终将结果可视化呈现给医生和患者,辅助甚至是完全接管治疗方案的制定、推进,这种新模式的正畸治疗越来越广泛地应用于临床治疗。

目前,三维数字模型的获取还是更多依赖于扫描仪的数据采集,但在扫描过程中,需要使用脸颊牵引器打开、固定患者的口腔,整个数据采集过程会造成患者一定的不适,所以在牙齿正畸治疗监控中不宜多次对患者进行扫描仪扫描操作。

发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于口内图像和三维模型的牙齿正畸治疗监测方法,能够对牙齿正畸治疗后的患者仅仅通过拍摄口内图像即可得知牙齿的坐标变换、形态变化情况,避免了在治疗后使用扫描仪对口腔进行扫描。
方便了患者自行监控正畸状态,无需到店复诊,同时发现问题及时改进,缩短了正畸治疗周期。

本发明第一方面提供了一种基于口内图像和三维模型的牙齿正畸治疗监测方法,包括以下步骤:步骤一、获取经过预处理的P1阶段患者口内图像和牙颌三维数字模型;
步骤二、基于P1阶段患者口内图像对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割;获得分割后的牙颌三维数字模型;
步骤三、获取经过预处理的P2阶段患者口内图像;
步骤四、根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型、以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;
所述P1阶段指治疗前阶段,P2阶段指治疗后阶段。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述步骤二中对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割时包括以下步骤:
步骤A、对P1阶段的口内图像进行区域分割处理,每个牙齿为一个单独的区域,获得牙齿口内图像;将牙齿口内图像转换为口内图像二值图,该口内图像二值图中牙齿为1,其余部分为0;
步骤B、获取牙颌三维数字模型在二维平面的投影图,并将投影图转换为投影二值图,该投影二值图中投影覆盖区域为1,其余部分为0;输出投影矩阵的初始值;
步骤C、对投影矩阵初始值的波动范围内所有投影矩阵进行遍历,计算投影二值图和口内图像二值图的相关性匹配度,选取匹配度最高情况下的投影矩阵输出;
步骤D、选取牙齿口内图像中每颗牙齿的区域中心点,根据步骤C输出的投影矩阵信息,将选取的区域中心点映射到牙颌三维数字模型中,搜索最近的匹配点,并将搜索得到的点作为种子点;
步骤E、利用区域生长算法,根据种子点对牙颌三维数字模型中的牙齿-牙龈分割、牙齿-牙齿分割;获得分割后的三维数字模型。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述区域生长算法中包含曲率q、曲率变化值dq和曲率变化率dq/dl三个参数,在一个邻域点的三个参数均符合设定的阈值范围时,则可以判断该邻域点与种子点属于同一组成部分,并对该邻域点打上种子点对应的标签,并将该邻域点纳入新的种子点。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,在利用区域生长算法进行区域生长时,当一个种子点的所有邻域点完成搜索生长后,将其舍弃,进行下一个种子点的生长过程。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述区域生长算法中,还设定有生长点个数的阈值,当生长点个数超过阈值时,更新q、dq、dq/dl的阈值参数重新生长。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述步骤二中在完成牙齿-牙龈,牙齿-牙齿分割之后,还包括对分割结果进行优化处理,所述优化处理包括以下步骤:
步骤①、选取未标记的顶点;
步骤②、根据选取的未标记的顶点,搜索其邻域点;
步骤③、计算邻域点的标签占比,标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤④、判断最高占比的标签占比是否>阈值;若是,进入步骤⑤,若否,进入步骤⑥;
步骤⑤、按最高占比的标签对顶点进行标记;
步骤⑥、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤①。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述步骤二中在完成牙齿-牙龈,牙齿-牙齿分割之后,还包括对分割结果进行优化处理,所述优化处理包括以下步骤:
步骤⑴、选取未标记的顶点;
步骤⑵、根据选取的未标记的顶点,搜索其最近的已标记点;
步骤⑶、按照搜索到的已标记点的标签对顶点进行标记;标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤⑷、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤⑴。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述步骤二中在完成牙齿-牙龈,牙齿-牙齿分割之后,还包括对分割结果进行优化处理,所述优化处理包括第一次优化和第二次优化;
所述第一次优化包括以下步骤:
步骤①、选取未标记的顶点;
步骤②、根据选取的未标记的顶点,搜索其邻域点;
步骤③、计算邻域点的标签占比,标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤④、判断最高占比的标签占比是否>阈值;若是,进入步骤⑤,若否,进入步骤⑥;
步骤⑤、按最高占比的标签对顶点进行标记;
步骤⑥、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤①;
在第一次优化结束后,进行第二次优化;
所述第二次优化包括以下步骤:
步骤⑴、选取未标记的顶点;
步骤⑵、根据选取的未标记的顶点,搜索其最近的已标记点;
步骤⑶、按照搜索到的已标记点的标签对顶点进行标记;标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤⑷、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤⑴。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,步骤四中根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型,包括以下步骤:
步骤401、对分割后的牙颌三维数字模型可变换的姿态进行遍历;
步骤402、对每种姿态下牙颌三维数字模型按照投影方向β进行投影,获得投影图;所述投影方向β为:使P1阶段牙颌三维数字模型的投影图与P1阶段口内图像相关性匹配度最高的投影方向;
步骤403、对步骤402获得的所有投影图进行搜索,搜索出与P2阶段口内图像相关性匹配度最高的一张投影图;
步骤404、将步骤403中搜索出的投影图对应姿态下的分割后的牙颌三维数字模型作为P2阶段的牙颌三维数字模型输出、以及输出从P1阶段至P2阶段牙颌三维数字模型的坐标变换数据和形态变化数据。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,步骤四中根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型,包括以下步骤:
步骤401、对分割后的牙颌三维数字模型可变换的姿态进行遍历;
步骤402、对每种姿态下牙颌三维数字模型在每个投影方向上的投影图进行遍历;
步骤403、对步骤402获得的所有投影图进行搜索,搜索出与P2阶段口内图像相关性匹配度最高的一张投影图;
步骤404、将步骤403中搜索出的投影图对应姿态下的分割后的牙颌三维数字模型作为P2阶段的牙颌三维数字模型输出、以及输出从P1阶段至P2阶段牙颌三维数字模型的坐标变换数据和形态变化数据。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述步骤二中对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割时包括以下步骤:
步骤获取多个训练样本数据,每个训练样本数据中包括分割前的牙颌三维数字模型和分割后的牙颌三维数字模型;
步骤利用样本数据对深度神经网络模型或支持向量机模型进行训练;
步骤利用多个测试样本数据对训练出的深度神经网络模型或支持向量机模型进行测试,每个测试样本数据中包括分割前的牙颌三维数字模型和分割后的牙颌三维数字模型;若测试通过,则输出深度神经网络模型或支持向量机模型;若测试未通过,则调整深度神经网络模型或支持向量机模型的参数,重复步骤
步骤将P1阶段的牙颌三维数字模型输入测试通过的深度神经网络模型或支持向量机模型,输出分割后的牙颌三维数字模型。

本发明第二方面提供了一种基于口内图像和三维模型的牙齿正畸治疗监测方法,包括以下步骤:
步骤一、获取多个训练样本数据,每个训练样本数据中包括P1阶段的患者口内图像和P2阶段的患者口内图像,以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;
步骤二、利用样本数据对深度神经网络模型或支持向量机模型进行训练;
步骤三、利用多个测试样本数据对训练出的深度神经网络模型或支持向量机模型进行测试,每个测试样本数据中包括P1阶段的患者口内图像和P2阶段的患者口内图像,以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;若测试通过,则输出深度神经网络模型或支持向量机模型;若测试未通过,则调整深度神经网络模型或支持向量机模型的参数,重复步骤一至步骤三;
步骤四、获取当前患者P1阶段的患者口内图像和P2阶段的患者口内图像输入测试通过的深度神经网络模型或支持向量机模型,输出当前患者的P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;
步骤五、获取当前患者P1阶段的牙颌三维数字模型;根据当前患者的P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据,对当前患者P1阶段的牙颌三维数字模型进行坐标变换和形态变化,生成P2阶段的牙颌三维数字模型输出。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述深度神经网络模型或支持向量机模型为带注意力机制的模型。

上述基于口内图像和三维模型的牙齿正畸治疗监测方法,所述深度神经网络模型为卷积神经网络模型。

本发明与现有技术相比具有以下优点:
1.本发明通过利用P1阶段口内图像和牙颌三维数字模型之间的关联,对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割工作,提升了分割效率、准确性和鲁棒性。

2.本发明根据P2阶段口内图像,对分割后的牙颌三维数字模型进行变换,生成P2阶段的牙颌三维数字模型、以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据。
不仅生成P2阶段的牙颌三维数字模型准确度高、以及坐标变换数据和形态变化数据更加精确,而且能够避免实际牙齿正畸治疗中对患者口腔进行扫描。

3.本发明在牙齿-牙龈、牙齿-牙齿分割时,通过先牙齿-牙龈分割再牙齿-牙齿分割,分层次的分割思路也有助于分割结果的提高。

4.本发明通过对分割进行优化处理,能够对分割结果进一步的改善。

5.本发明结合治疗前后的口内图像和分割后的牙颌三维模型,能够准确地计算治疗过程中不同阶段的牙齿坐标变换和形态变化,并最终生成各个阶段下的牙颌三维模型,以提供正畸治疗过程中一个直观、有效且容易量化的牙齿状态反馈和监测,辅助正畸治疗过程的完成。
且本发明在和计算机视觉技术的结合,可以让整个正畸治疗过程更智能化、人性化、方便化,不仅为医生治疗提供了数据依据和帮助,也尽可能省却了病人治疗过程中的麻烦和不适。

6.本发明提供的第二种牙齿正畸治疗监测方法中,通过引进机器学习的思想,使实现过程中避免了繁杂的人工特征设计和提取,实现更加方便快捷。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明
图1为本发明一个实施例的方法流程图。

图2为本发明一个实施例的分割方法流程图。

图3为本发明一个实施例的区域生长参数自适应方法流程图。

图4为本发明一个实施例的优化方法流程图。

图5为本发明另一个实施例的优化方法流程图。

图6为本发明另一个实施例的分割方法流程图。

图7为本发明另一个实施例的方法流程图。

图8为一种卷积神经网络结构示意图;
图9为本发明提供的一组口内图像示例图;
图10为本发明提供的一组初始三维数字模型示意图;
图11为本发明提供的一组经过预处理后的三维模型示意图;
图12为本发明提供的一组分割后的各个牙齿模型(带虚拟牙根)的示意图。

具体实施方式
如图1所示,本发明包括以下步骤:
步骤一、获取经过预处理的P1阶段患者口内图像和牙颌三维数字模型;
步骤二、基于P1阶段患者口内图像对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割;获得分割后的牙颌三维数字模型;
步骤三、获取经过预处理的P2阶段患者口内图像;
步骤四、根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型、以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据。

需要说明的是,P1阶段指治疗前,P2阶段指治疗后。

需要说明的是,口内图像的获取和预处理包含以下步骤:
步骤1:使用面颊牵引器打开、固定口腔;
步骤2:按规定的角度、距离拍摄口腔上颌、下颌、左视图、右视图、正视图这五种视角图像,如图9所示;导入到计算机;
步骤3:使用OpenCV库中的滤波、形态学操作等方法对获取的口内图像进行预处理。

需要说明的是,P1阶段牙颌三维模型的获取和预处理包含以下步骤:
步骤1:使用面颊牵引器打开、固定口腔;
步骤2:使用规定的扫描仪(如iTero Element口腔内扫描仪)对口腔进行扫描,利用三维成像技术生成三维数字模型,保存为STL或PLY格式,如图10所示,导入到计算机;
步骤3:针对由扫描仪获取的初始牙颌三维模型,利用Geomagic studio或MeshLab等软件进行模型清理,切除一些不必要的部分,保留对于后续治疗过程有用的牙颌部位的模型数据;
步骤4:对清理过后的模型再进行顶点收缩简化、平滑等预处理,计算几何特征(如法向量、曲率等),如图11所示,最终结果保存为PLY格式。

进一步需要说明的是,由以上步骤一至步骤五可知,只需在P1阶段对患者的口腔使用扫描仪进行扫描,在P2阶段不需要再对口腔进行扫描,通过数据计算就能够得知P2阶段的牙颌三维数字模型,避免了对患者口腔的二次扫描,减少了患者在正畸治疗中的受到的痛苦,提升了医生的工作效率。

如图2所示,所述步骤二中对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割时包括以下步骤:
步骤A、对P1阶段的口内图像进行区域分割处理,每个牙齿为一个单独的区域,获得牙齿口内图像;将牙齿口内图像转换为口内图像二值图,该口内图像二值图中牙齿为1,其余部分为0;
步骤B、获取牙颌三维数字模型在二维平面的投影图,并将投影图转换为投影二值图,该投影二值图中投影覆盖区域为1,其余部分为0;输出投影矩阵的初始值;
步骤C、对投影矩阵初始值的波动范围内所有投影矩阵进行遍历,计算投影二值图和口内图像二值图的相关性匹配度,选取匹配度最高情况下的投影矩阵输出;(需要说明的是,相关性匹配评价函数,可以根据各个像素点的差异和整体的几何信息特征进行设计。
对投影二值图和口内图像二值图计算匹配度,通过相关性匹配的优化过程,计算二值图之间的最优匹配关系(匹配基元的对应关系,如像素点))
步骤D、选取牙齿口内图像中每颗牙齿的区域中心点,根据步骤C输出的投影矩阵信息,将选取的区域中心点映射到牙颌三维数字模型中,搜索最近的匹配点,并将搜索得到的点作为种子点;
步骤E、利用区域生长算法,根据种子点对牙颌三维数字模型中的牙齿-牙龈分割、牙齿-牙齿分割;获得分割后的三维数字模型。

本实施例中,所述区域生长算法中包含曲率q、曲率变化值dq和曲率变化率dq/dl三个参数,在一个邻域点的三个参数均符合设定的阈值范围时,则可以判断该邻域点与种子点属于同一组成部分,并对该邻域点打上对应的标签,并将该邻域点纳入新的种子点。

需要说明的是,在利用区域生长算法进行区域生长时,当一个种子点的所有邻域点完成搜索生长后,将其舍弃,进行下一个种子点的生长过程。
生长条件的参数判断,除了q、dq、dq/dl的独立判断,也可以进行三者的联合判断,即设计一个联合评价函数,将三者的信息融合在一起进行考量,以权重来平衡三者之间的关系。
关于邻域点的选取,充分利用三维几何模型的信息,搜索与种子点组成同一个平面的相邻点。

如图3所示,本实施例中,所述区域生长算法中,还设定有生长点个数的阈值,当生长点个数超过阈值时,更新q、dq、dq/dl的阈值参数重新生长。

需要说明的是,为了适应不同模型的差异性,同时又减少人工调试的工作,根据区域生长发生过腐蚀时生长点个数激增这一特性,故设定生长点个数的阈值,能够保证最终较好地完成所有种子点的生长。

实际中,在完成牙齿-牙龈,牙齿-牙齿分割之后,分割结果在边界处、牙齿咬合面(曲率变化大)、异常值和噪声点附近,会出现分割边界不平滑、分割错误、分割遗漏等情况,所以需要对分割结果进行进一步优化。

本实施例专门设计了两种利用三维模型中邻域标签信息的优化方法。

如图4所示,第一种分割优化方法包括以下步骤:
步骤①、选取未标记的顶点;
步骤②、根据选取的未标记的顶点,搜索其邻域点;
步骤③、计算邻域点的标签占比,标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤④、判断最高占比的标签占比是否>阈值;若是,进入步骤⑤,若否,进入步骤⑥;
步骤⑤、按最高占比的标签对顶点进行标记;
步骤⑥、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤①。

此处以一个实施例对第一种分割优化方法进行说明,选取到一未标记的顶点α,顶点α的邻域点的标签占比为牙龈标签10%、牙齿标签80%和间隙标签10%,其中牙齿标签中8号牙齿标签占80%,其他编号牙齿标签占20%,且8号牙齿标签占比最高,且标签占比80%>阈值20%;则对该顶点α标记8号牙齿标签。

如图5所示,第二种分割优化方法包括以下步骤:
步骤⑴、选取未标记的顶点;
步骤⑵、根据选取的未标记的顶点,搜索其最近的已标记点;
步骤⑶、按照搜索到的已标记点的标签对顶点进行标记;标签包括牙龈标签、牙齿标签和间隙标签,其中牙齿标签有牙齿的编号信息;
步骤⑷、判断顶点的队列中是否还有未被选取过的未标记的顶点,若有进入步骤⑴。

需要说明的是,对分割结果进行进一步优化可以仅使用第一种分割优化方法或第二种分割优化方法,也可以在第一种分割优化方法优化结束后,用第二种分割优化方法进一步优化。
在优化时第一种分割优化方法可重复多次进行优化,多次优化结束后再以第二种分割优化方法优化一次。

如图12所示,本实施例中,在对分割结果优化结束后,将带有分割后的各个牙齿的三维数字模型的牙颌三维数字模型中的牙龈三维数字模型进行虚拟化。

本实施例中,步骤四中根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型,包括以下步骤:
步骤401、对分割后的牙颌三维数字模型可变换的姿态进行遍历;
步骤402、对每种姿态下牙颌三维数字模型按照投影方向β进行投影,获得投影图;所述投影方向β为:使P1阶段牙颌三维数字模型的投影图与P1阶段口内图像相关性匹配度最高的投影方向;
步骤403、对步骤402获得的所有投影图进行搜索,搜索出与P2阶段口内图像相关性匹配度最高的一张投影图;
步骤404、将步骤403中搜索出的投影图对应姿态下的分割后的牙颌三维数字模型作为P2阶段的牙颌三维数字模型输出、以及输出从P1阶段至P2阶段牙颌三维数字模型的坐标变换数据和形态变化数据。

在另一个实施例中,步骤四中根据P2阶段患者口内图像,对分割后的牙颌三维数字模型进行变换;生成P2阶段的牙颌三维数字模型,包括以下步骤:
步骤401、对分割后的牙颌三维数字模型可变换的姿态进行遍历;
步骤402、对每种姿态下牙颌三维数字模型在每个投影方向上的投影图进行遍历;
步骤403、对步骤402获得的所有投影图进行搜索,搜索出与P2阶段口内图像相关性匹配度最高的一张投影图;
步骤404、将步骤403中搜索出的投影图对应姿态下的分割后的牙颌三维数字模型作为P2阶段的牙颌三维数字模型输出、以及输出从P1阶段至P2阶段牙颌三维数字模型的坐标变换数据和形态变化数据。

在本发明的另一个实施例中,所述步骤二中对牙颌三维数字模型进行牙齿-牙龈、牙齿-牙齿分割时采用基于机器学习的方法,如支持向量机、深度神经网络等;具体地,如图6所示,包括以下步骤:
步骤获取多个训练样本数据,每个训练样本数据中包括分割前的牙颌三维数字模型和分割后的牙颌三维数字模型;所述分割前的牙颌三维数字模型由几何数据组成,所述分割后的牙颌三维数字模型由对所述几何数据进行标签标记后形成;
步骤利用样本数据对深度神经网络模型或支持向量机模型进行训练;
步骤利用多个测试样本数据对训练出的深度神经网络模型或支持向量机模型进行测试,每个测试样本数据中包括分割前的牙颌三维数字模型和分割后的牙颌三维数字模型;若测试通过,则输出深度神经网络模型或支持向量机模型;若测试未通过,则调整深度神经网络模型或支持向量机模型的参数,重复步骤
步骤将P1阶段的牙颌三维数字模型输入测试通过的深度神经网络模型或支持向量机模型,输出分割后的牙颌三维数字模型。

需要说明的是,牙齿-牙龈、牙齿-牙齿分割采用基于机器学习的方法,对深度神经网络模型或支持向量机模型模型进行训练时牙齿-牙龈分割、牙齿-牙齿分割进行分开训练,牙颌三维数字模型的基础数据单元采用以边、三角平面等几何元素,充分利用三维数字模型的特征,避免了繁杂的人工特征设计和提取。

如图7所示,在另一个实施例中,本发明包括以下步骤:
步骤一、获取多个训练样本数据,每个训练样本数据中包括P1阶段的患者口内图像和P2阶段的患者口内图像,以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;
步骤二、利用样本数据对深度神经网络模型或支持向量机模型进行训练;
步骤三、利用多个测试样本数据对训练出的深度神经网络模型或支持向量机模型进行测试,每个测试样本数据中包括P1阶段的患者口内图像和P2阶段的患者口内图像,以及P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;若测试通过,则输出深度神经网络模型或支持向量机模型;若测试未通过,则调整深度神经网络模型或支持向量机模型的参数,重复步骤一至步骤三;
步骤四、获取当前患者P1阶段的患者口内图像和P2阶段的患者口内图像输入测试通过的深度神经网络模型或支持向量机模型,输出当前患者的P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据;
步骤五、获取当前患者P1阶段的牙颌三维数字模型;根据当前患者的P1阶段至P2阶段牙颌模型的坐标变换数据和形态变化数据,对当前患者P1阶段的牙颌三维数字模型进行坐标变换和形态变化,生成P2阶段的牙颌三维数字模型输出。

需要说明的是,所述深度神经网络模型或支持向量机模型为带注意力机制的模型。

需要说明的是,实际中,牙齿正畸治疗过程中牙颌三维模型的计算和生成,根据分割后的牙颌三维模型和治疗过程中不同阶段的牙齿坐标变换、形态变化,计算、生成各个阶段下的牙颌三维模型,保存为STL或PLY格式。

本实施例中,所述深度神经网络模型为卷积神经网络模型。
如图8所示,是一种卷积神经网络结构的示意图。

本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。
所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。
需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。
在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

附图