2023, Vol. 43
从2020全球癌症统计报告可知，2020年全球预计新发癌症病例数1 930万例[1]。放射治疗是癌症治疗的主要方法之一。由于呼吸运动、器官运动，在制定放疗计划时需将肿瘤靶区(GTV)外扩，形成计划靶区(PTV)将肿瘤运动范围囊括，但这会增加正常组织的受照剂量，增加引起放射性损伤的概率。图像引导放射治疗(IGRT)可以在每次治疗开始时获取验证图像，检测和纠正摆位等误差, 促进精确的辐射剂量覆盖GTV，最大限度地减少对邻近正常器官的辐射剂量。通过IGRT，可以使得PTV的范围最小化，减少正常组织的受照量。另外，放疗通常需要4~7周，治疗期间要定期查看患者计算机体层摄影(CT)图像以确定肿瘤形状是否发生较大变化，是否需要二次定位。锥形束CT(CBCT)可以在保证轮廓和主要灰度信息情况下减少患者的受照剂量，是目前IGRT中常用的医学图像之一。对CBCT图像的靶区及危及器官进行快速、准确地分割可以在治疗过程中观察到肿瘤和危及器官的位置，使辐射剂量更加精准地覆盖肿瘤区域，同时降低正常组织的受照剂量，也可以作为患者是否需要二次定位的依据，对放疗有重大意义。但CBCT图像的采集受到医疗设备及患者运动的影响，包含大量的物理和运动伪影，降低了图像的对比度且噪声极大[2]，对CBCT图像分割产生了巨大的挑战。
本文综述了放疗中CBCT的自动分割方法，以“锥形束CT/CBCT”和“分割/segment”为主题关键词检索近15年文献，除去以牙齿和骨结构为分割目标的文献后，PubMed检出39篇，中国知网检出9篇，相关文献量较少。本研究结合相关文献，将CBCT图像分割主要分为基于传统配准分割方法和基于深度学习的分割方法两类，针对发展现状、存在问题和发展方向进行综述。
一、基于传统配准的分割方法医学图像配准是指对不同成像时间、人体或模态的多幅图像进行空间变换, 使描述相同解剖结构的体素在同一空间坐标下匹配对应, 去除图像之间的几何不一致性[3]。通过配准，可以将计划CT图像/磁共振成像(MRI)图像上手动勾画的轮廓映射到CBCT图像上，实现CBCT图像的分割。国内外学者基于配准的方法对CBCT图像的器官分割做了相关研究[4-14]。
1. 基于刚性配准的分割方法：刚性配准是寻找一个6自由度(3个旋转，3个平移)的变换，使得源图像中的点映射到目标图像中的对应点[4]。Boydev等[5-6]使用基于灰度值的刚性配准方法对前列腺组织分割，进行了整体刚性配准、盆骨结构刚性配准和局部软组织改进的盆骨刚性配准3次实验，结果显示局部软组织改进的盆骨刚性配准结果优于整体配准和盆骨配准，但还未达到临床应用的标准。后来，Boydev等[6]提出因为直肠的高度膨胀会导致配准的失败，为了改善配准质量，将直肠内的空气用滤波器替换为软组织，结果显示滤波后的配准成功率达到了97%。但医学图像常因患者姿态、器官运动、充盈度等原因而产生不同程度的形变，且刚性配准的自由度低，难以用来描述复杂的非线性形变，限制了其在医学图像领域的应用。
2. 基于非刚性配准的分割方法：非刚性配准主要有基于空间变换和基于物理模型两大类[15]。基于空间变换的非刚性配准方法采用图像的空间变换来拟合图像的变形, 常用方法有多项式法、小波基函数法、样条函数法等。Xie等[8]提出的基于特征配准的策略，在直肠外构建窄带以排除直肠充盈对配准结果的影响，利用尺度不变特征变换(SIFT)匹配特征点，最后使用薄板样条插植(TPS)产生形变场，将计划CT上的轮廓映射到CBCT图像上，结果与人工分割相比，直肠体积一致性超过90%。但当变形较大时，特征密度较低，SIFT难以发现相应特征，会导致较大误差。Lu等[11]采用基于多分辨率3次B样条自由变形(FFD)变换对在计划CT图像中建立分割多目标的水平集模型进行变形，以自动分割CBCT图像，结果前列腺重合率为92.65%、膀胱重合率为94.79%、直肠重合率为90.13%。此外，部分学者利用可变性的图谱配准实现CBCT图像自动分割[13-14]。Godley等[13]生成了3种图谱：计划CT轮廓；前一天CBCT绘制的轮廓；将每一天CBCT和计划CT轮廓使用STAPLE算法组成一个最优集合，第3种图谱取得了最好的分割效果。为了更加关注边界信息，Li等[14]在基于图谱的基础上加入窄带，结果肝脏分割Jaccard相似系数为0.953。但基于图谱的分割方法难以建立通用图集，分割的精度主要取决于图谱的匹配程度，当分割图像与图谱在外观和形状上存在明显差异时，难以进行标签融合和图谱的选择，泛化能力较差[16]。另外，对于较小结构的组织，图谱的绘制结果也较差。基于物理模型的配准方法有基于物理模型的配准方法就是构造能够拟合图像间物理变形的物理模型, 主要的物理模型有弹性模型、粘性流体模型和光流场模型。Thor等[12]使用Demons算法实现的可变性配准，是一种非参数化的方法，可以表现更加复杂的形变，但要求解的变量也更多，不符合临床快速的要求。
基于配准的分割方法因其易于解释和在解剖变化小的区域的高性能而被广泛用于医学图像分割。然而，配准方法依赖于有标签的CT /MRI图像作为参考，随着治疗的进行，器官可能会产生形变或位置变化，这些变化会反映至CBCT图像中，从而导致分割结果产生较大的误差。并且，当器官产生大变形或因CBCT图像质量差时，配准方法经常会失效。此外，基于配准方法的速度相当慢，不符合临床快速、精准的要求。
二、基于深度学习的分割方法深度学习是一种基于数据的表征学习方法，通过计算机自动学习出数据特征，并将这种特征学习融入到了建立模型的过程中，不需要手动设计特征，从而减少了人为设计特征造成的不完备性。近年来，深度学习被广泛应用于医学图像分割领域[17-18]，与传统图像分割方法相比，深度学习速度更快，超参数的选择也更具有鲁棒性。常用的医学图像分割网络有CNN、U-Net、Res-UNet等[19-21]。因CT、MRI图像质量较好，且在治疗过程已经能获得手工勾画的轮廓，所以对CT/MRI图像分割的研究已有很多并且自动勾画的效果很好。但CBCT图像由于分辨率低、噪声多、不同观察者手动勾画可变性大等问题，只使用CBCT图像训练模型得到的分割结果较差，所以常与其他图像结合训练模型。表 1列出了基于深度学习的CBCT器官分割的部分文献[22-33]。
|
表 1 基于深度学习的CBCT器官分割应用方法、分割部位及评估指标 Table 1 Application method, segmentation site and evaluation index of CBCT organ segmentation based on deep learning |
1. 基于深度学习的配准分割方法：图像配准模型优化参数速度较慢，不符合临床需求，因此，研究人员提出了深度学习方法来加快配准过程。通过将计算的时间成本转移到训练阶段，深度学习方法在测试时比配准参数优化快几个数量级，同时保持配准精度[22]。Han等[22]提出一种基于大形变微分同胚度量映射(LDDMM)的深度网络，使用同一患者的CT-CBCT图像对和CT图像勾画轮廓来训练网络，输出经过平滑积分处理后得到一个映射变换，再将CT分割作为输入来预测CBCT图像中器官的分割，结果小肠的Dice相似系数(DSC)为0.820，胃、十二指肠的DSC为0.858。在预测阶段，仅需5s就可以得到分割结果。Jiang等[25]提出一个循环配准分割网络，使用卷积长短期记忆模型(CLSTM)实现同时训练循环配准网络(RRN)和循环分割网络(RSN)，逐步产生一个变形的图像序列，结果GTV的DSC得分为0.83，食管DSC得分为0.78。但研究表明在CT图像上勾画的前列腺体积会比在MR图像上勾画的体积大，为此，Fu等[23]提出一种具有生物力学约束的三维点云配准网络，将在MRI和CBCT图像通过CNN自动分割的前列腺轮廓网格化成点云，配准对齐后经过有限元模型建模产生运动矢量场，输入点云配准网络进行训练，使网络的运动预测具有生物力学约束，结果前列腺DSC为0.93。相较于表面配准，使用点云配准能够更加关注到分割器官的体积。另外，Chen等[24]尝试提高CBCT的图像质量来提高配准分割的精度，使用基于U-Net的深度卷积神经网络(DCNN)对CBCT图像进行去噪，减少模糊，提高软组织对比度和分辨率，得到增强CBCT图像，再与CT图像进行可变性配准，结果原CBCT图像和增强CBCT图像脑部危及器官平均DSC分别为0.70±0.13和0.83±0.06。
2. 基于图像合成的分割方法：利用图像合成的方法可以改善CBCT的图像质量，使分割结果更加精确。一种是使用基于物理数据增强的方法合成图像。Alam等[26]将CBCT图像中的伪影引入CT图像中，生成伪CBCT图像输入改进的3D U-Net网络进行训练，在CBCT图像上，食管平均DSC为0.74。Schreier等[27]提出一个基于U-net网络的BibNet，将300个CT图像生成300个伪CBCT图像，共600个图像输入网络训练在CBCT图像上，结果平均DSC为：前列腺0.840，直肠0.871，膀胱0.932，精囊0.701。另外，Schreier等[27]还指出，在人工给自动分割结果评分中显示CT图像的得分低于CBCT图像，可能是由于CT边缘更清晰，模型分割结果与图像边缘的偏差更明显。另一种是使用生成对抗网络(GAN)合成图像，原始GAN模型存在模型崩塌和梯度爆炸等固有缺陷，条件生成对抗网络(CGAN)和循环生成对抗网络(CycleGAN)等改进的GAN网络在图像合成方面的表现更好。Jia等[28]使用CycleGAN从CT中生成可以继承手工轮廓的伪CBCT图像，利用伪CBCT图像预训练深度分割网络，再将伪CBCT和CBCT的分割结果输入判别器判定轮廓的来源。因MRI图像的软组织对比度相较于CT图像更好，Lei等[29]使用CycleGAN从CBCT中合成伪MRI图像，训练深度注意UNet (DAUNet)对伪MRI上的盆腔器官进行分割，得到了更好的DSC得分。使用不配准的CBCT图像生成合成图像可能会导致生成的图像质量下降，从而导致不准确的生成、网络分割精度下降。所以以下研究人员都使用配准后的成对图像对生成网络进行训练。Dahiya等[30]将第1周提取的CBCT伪影添加到相应的计划CT中，并使用几何数据增强，将单个计划CT/第1周CBCT对生成17个完全配准的计划CT/伪CBCT/危及器官配对，再用CGAN将伪CBCT转换为无伪影的伪CT图像，并进行危及器官分割。研究发现，使用L1损失函数使生成的伪CT图像模糊，使用线性或最近邻上采样和卷积组合替代可以提高伪CT图像的对比，但对于较小解剖结构如脊髓、食管等，分割结果显著下降。因MRI图像的软组织对比度更好，Fu等[31]使用成对的CBCT-MRI图像训练CycleGAN生成伪MRI图像，考虑到伪MRI在骨结构分割方面不如CBCT，所以将CBCT图像和伪MRI图像分别输入基于U-Net的分割网络，最后引入深度融合网络将两个网络学习到的特征结合起来，结果膀胱平均DSC为0.96，前列腺平均DSC为0.91，直肠平均DSC为0.93。为了进一步提高分割精度，Dai等[32]使用Mask Scoring R-CNN网络，通过打分来提高分割的精度，结果平均DSC为：大肠0.91，小肠0.92，十二指肠0.89，左右肾0.95，肝0.97，脊髓0.90。基于深度学习的算法具有分割速度较快、质量较好等优点。对于边界清晰且变形小的器官如膀胱、肺等，基于深度学习的方法都能取得不错的分割效果。但精囊、脊髓、食管等器官，由于软组织边界不清晰、解剖结构小或变形大等原因，分割结果较差，仍需进一步的研究来改善。其次，深度学习通常需要大量数据集，但准备大量有标记的数据集是十分困难的。
三、展望刚性配准分割方法相较于非刚性配准速度更快，但无法描述复杂的线性变化。非刚性配准分割方法可以拟合更复杂的非线性变化，但计算更加复杂、优化算法常会陷入局部极值、耗时较长等，并且某些情况下需要人工干预和手动标记，无法实现全自动配准和分割，束缚了其在放疗中的应用。基于深度学习的分割方法可以实现端到端的分割，在测试阶段通常仅需数秒，在膀胱、前列腺等边界较为清晰和直肠等易产生大变形的区域，基于深度学习的方法也优于基于配准的方法。
CBCT图像快速、精准的分割对自适应放疗的发展具有重要意义，可以实现更加精准的放射治疗，减少正常组织受照剂量，及时判断是否需要重新定位等。以上所总结的工作为实现快速精准的CBCT图像分割提供了可行性。基于深度学习的分割方法在危及器官分割表现良好，大多数方法DSC都超过了0.8，但在较小器官和GTV上分割效果较差。大多数研究为针对二维平面的分割情况，对于三维分割情况与剂量情况没有做过多讨论。在下一步的工作中，可以对这些方面作进一步研究。总之，实现CBCT图像快速精准分割仍面临着一系列的机遇与挑战，需要继续努力，提出更加符合临床需求的理论与方法。
利益冲突 所有研究者未因该研究而接受任何不正当的职务或财务利益，在此对研究的独立性核科学性予以保障
作者贡献声明 王子怡负责文献收集和论文撰写；孙佳伟、倪昕晔指导论文撰写与修改；张赛、张恒参与论文修改
| [1] |
Sung H, Ferlay J, Siegel RL, et al. Global cancer statistics 2020:GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA Cancer J Clin, 2021, 71(3): 209-249. DOI:10.3322/caac.21660 |
| [2] |
王玉. 锥形束CT图像的散射校正[D]. 合肥: 中国科学技术大学, 2015. Wang Y. Scatter correction for cone beam CT images[D]. Hefei: University of Science and Technology of China, 2015. |
| [3] |
赵夫群. 刚体医学图像配准研究综述[J]. 科技展望, 2016, 26(15): 278-278. Zhao FQ. A survey of rigid medical image registration[J]. Sci Technol, 2016, 26(15): 278-278. DOI:10.3969/j.issn.1672-8289.2016.15.244 |
| [4] |
王海南, 郝重阳, 雷方元, 等. 非刚性医学图像配准研究综述[J]. 计算机工程与应用, 2005, 41(11): 180-184. Wang HN, Hao CY, Lei FY, et al. A survey of non-rigid medical image registration[J]. Comput Eng Appl, 2005, 41(11): 180-184. DOI:10.3321/j.issn.1002-8331.2005.11.059 |
| [5] |
Boydev C, Pasquier D, Derraz F, et al. Automatic prostate segmentation in cone-beam computed tomography images using rigid registration[J]. Annu Int Conf IEEE Eng Med Biol Soc, 2013, 2013: 3993-3997. DOI:10.1109/EMBC.2013.6610420 |
| [6] |
Boydev C, Taleb-Ahmed A, Derraz F, et al. Development of CBCT-based prostate setup correction strategies and impact of rectal distension[J]. Radiat Oncol, 2015, 10: 83. DOI:10.1186/s13014-015-0386-8 |
| [7] |
Rosewall T, Xie J, Kong V, et al. Automated delineation of the normal urinary bladder on planning CT and cone beam CT[J]. J Med Imaging Radiat Sci, 2016, 47(1): 21-29. DOI:10.1016/j.jmir.2015.09.011 |
| [8] |
Xie Y, Chao M, Lee P, et al. Feature-based rectal contour propagation from planning CT to cone beam CT[J]. Med Phys, 2008, 35(10): 4450-4459. DOI:10.1118/1.2975230 |
| [9] |
Zhou J, Kim S, Jabbour S, et al. A 3D global-to-local deformable mesh model based registration and anatomy-constrained segmentation method for image guided prostate radiotherapy[J]. Med Phys, 2010, 37(3): 1298-1308. DOI:10.1118/1.3298374 |
| [10] |
Chen T, Kim S, Zhou J, et al. 3D meshless prostate segmentation and registration in image guided radiotherapy[C]. Med Image Comput Comput Assist Interv, 2009, 12(Pt1): 43-50. DOI: 10.1007/978-3-642-04268-3_6.
|
| [11] |
Lu C, Chelikani S, Chen Z, et al. Integrated segmentation and nonrigid registration for application in prostate image-guided radiotherapy[C]. Med Image Comput Comput Assist Interv, 2010, 13(Pt 1): 53-60. DOI: 10.1007/978-3-642-15705-9_7.
|
| [12] |
Thor M, Petersen JB, Bentzen L, et al. Deformable image registration for contour propagation from CT to cone-beam CT scans in radiotherapy of prostate cancer[J]. Acta Oncol, 2011, 50(6): 918-925. DOI:10.3109/0284186X.2011.577806 |
| [13] |
Godley A, Sheplan Olsen LJ, Stephans K, et al. Combining prior day contours to improve automated prostate segmentation[J]. Med Phys, 2013, 40(2): 021722. DOI:10.1118/1.4789484 |
| [14] |
Li D, Liu L, Chen J, et al. Augmenting atlas-based liver segmentation for radiotherapy treatment planning by incorporating image features proximal to the atlas contours[J]. Phys Med Biol, 2017, 62(1): 272-288. DOI:10.1088/1361-6560/62/1/272 |
| [15] |
刘松涛, 杨绍清. 图像配准技术研究进展[J]. 电光与控制, 2007, 14(6): 99-105. Liu ST, Yang SQ. Progress in image registration techniques[J]. Elec Opt Control, 2007, 14(6): 99-105. DOI:10.3969/j.issn.1671-637X.2007.06.026 |
| [16] |
孙佳伟, 毕卉, 倪昕晔. MRI分割在肿瘤放疗中的应用研究[J]. 中华放射肿瘤学杂志, 2021, 30(10): 1094-1098. Sun JW, Bi H, Ni XY. Application of MRI segmentation in tumor radiotherapy[J]. Chin J Radiat Oncol, 2021, 30(10): 1094-1098. DOI:10.3760/cma.j.cn113030-20201025-00512 |
| [17] |
宫进昌, 赵尚义, 王远军. 基于深度学习的医学图像分割研究进展[J]. 中国医学物理学杂志, 2019, 36(4): 420-424. Gong JC, Zhao SY, Wang YJ. Research progress on deep learning-based medical image segmentation[J]. Chin J Med Phys, 2019, 36(4): 420-424. DOI:10.3969/j.issn.1005-202X.2019.04.010 |
| [18] |
施俊, 汪琳琳, 王珊珊, 等. 深度学习在医学影像中的应用综述[J]. 中国图象图形学报, 2020, 25(10): 1953-1981. Shi J, Wang LL, Wang SS, et al. Applications of deep learning in medical imaging: a survey[J]. J Image Graph, 2020, 25(10): 1953-1981. |
| [19] |
Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks[J]. Commun ACM, 2017, 60(6): 84-90. DOI:10.1145/3065386 |
| [20] |
Ronneberger O, Philipp F. U-Net convolutional networks for biomedical image segmentation[C]. Med Image Comput Comput Assist Interv, 2015, 9351: 234-241. DOI: 10.1007/978-3-319-24574-4_28.
|
| [21] |
Xiao X, Lian S, Luo Z, et al. Weighted Res-UNet for high-quality retina vessel segmentation[C]. ITME, 2018: 327-331. DOI: 10.1109/ITME.2018.00080.
|
| [22] |
Han X, Hong J, Reyngold M, et al. Deep learning based image registration and automatic segmentation of organs at risk in cone beam CT scans from high-dose radiation treatment of pancreatic cancer[J]. Med Phys, 2021, 48(6): 3084-3095. DOI:10.1002/mp.14906 |
| [23] |
Fu Y, Wang T, Lei Y, et al. Deformable MR-CBCT prostate registration using biomechanically constrained deep learning networks[J]. Med Phys, 2021, 48(1): 253-263. DOI:10.1002/mp.14584 |
| [24] |
Chen W, Li Y, Yuan N, et al. Clinical enhancement in AI-based post-processed fast-scan low-dose CBCT for head and neck adaptive radiotherapy[J]. Front Artif Intell, 2021, 3: 614384. DOI:10.3389/frai.2020.614384 |
| [25] |
Jiang J, Veeraraghavan H. One shot PACS: Patient specific anatomic context and shape prior aware recurrent registration-segmentation of longitudinal thoracic cone beam CTs[J]. IEEE Trans Med Imaging, 2022, 41(8): 2021-2032. DOI:10.1109/TMI.2022.3154934 |
| [26] |
Alam SR, Li T, Zhang P, et al. Generalizable cone beam CT esophagus segmentation using physics-based data augmentation[J]. Phys Med Biol, 2021, 66(6): 065008. DOI:10.1088/1361-6560/abe2eb |
| [27] |
Schreier J, Genghi A, Laaksonen H, et al. Clinical evaluation of a full-image deep segmentation algorithm for the male pelvis on cone-beam CT and CT[J]. Radiother Oncol, 2020, 145: 1-6. DOI:10.1016/j.radonc.2019.11.021 |
| [28] |
Jia X, Wang S, Liang X, et al. Cone-beam computed tomography (CBCT) segmentation by adversarial learning domain adaptation[C]. Med Image Comput Comput Assist Interv, 2019, 11769: 567-575. DOI: 10.1007/978-3-030-32226-7_63.
|
| [29] |
Lei Y, Wang T, Tian S, et al. Male pelvic multi-organ segmentation aided by CBCT-based synthetic MRI[J]. Phys Med Biol, 2020, 65(3): 035013. DOI:10.1088/1361-6560/ab63bb |
| [30] |
Dahiya N, Alam SR, Zhang P, et al. Multitask 3D CBCT-to-CT translation and organs-at-risk segmentation using physics-based data augmentation[J]. Med Phys, 2021, 48(9): 5130-5141. DOI:10.1002/mp.15083 |
| [31] |
Fu Y, Lei Y, Wang T, et al. Pelvic multi-organ segmentation on cone-beam CT for prostate adaptive radiotherapy[J]. Med Phys, 2020, 47(8): 3415-3422. DOI:10.1002/mp.14196 |
| [32] |
Dai X, Lei Y, Wynne J, et al. Synthetic CT-aided multiorgan segmentation for CBCT-guided adaptive pancreatic radiotherapy[J]. Med Phys, 2021, 48(11): 7063-7073. DOI:10.1002/mp.15264 |
| [33] |
陈杰, 王克强, 简建波, 等. 基于深度学习多模态风格迁移技术CBCT图像肺癌靶区自动分割方法研究[J]. 中华放射肿瘤学杂志, 2022, 31(1): 43-48. Chen J, Wang KQ, Jian JB, et al. Research on automatic segmentation of tumor target of lung cancer in CBCT images by multimodal style transfer technology based on deep learning[J]. Chin J Radiat Oncol, 2022, 31(1): 43-48. DOI:10.3760/cma.j.cn113030-20201103-00531 |