中华放射医学与防护杂志  2021, Vol. 41 Issue (3): 222-228   PDF    
基于深度学习方法的伪CT图像合成技术研究及在放疗中的应用进展
孙鸿飞1 , 倪昕晔2 , 杨建华1     
1. 西北工业大学自动化学院, 西安 710072;
2. 南京医科大学附属常州第二人民医院放疗科 南京医科大学医学物理研究中心 213003
[摘要] 随着医学图像合成任务复杂度的提高和对临床放疗精度的需求,深度学习算法在伪CT图像合成与分析中的角色越发重要。本文根据图像的模态种类对基于深度学习方法下的伪CT图像合成技术进行归类与分析,并介绍其在放疗应用中的最新进展。
[关键词] 深度学习    伪CT    图像引导放疗    
Research on pseudo CT image synthesis technology based on deep learning method and its application in radiotherapy
Sun Hongfei1 , Ni Xinye2 , Yang Jianhua1     
1. School of Automation, Northwest Polytechnic University, Xi'an 710072, China;
2. Department of Radiation Oncology, Affiliated Changzhou No.2 People's Hospital of Nanjing Medical University, Center for Medical Physics, Nanjing Medical University, Changzhou 213003, China
[Abstract] With the improvement of the complexity of medical image synthesis and the demand for the accuracy of clinical radiotherapy, deep learning algorithm plays an increasingly important role in pseudo CT image synthesis and analysis. This paper classifies and analyzes the pseudo CT image synthesis technology based on deep learning method in terms of the types of image modes, and describes the ongoing application in radiotherapy.
[Key words] Deep learning    Pseudo CT    Image guided radiotherapy    

近几年,放射治疗作为肿瘤治疗常用的三大手段之一,在治疗设备与治疗技术上均有较大的发展。放疗是指利用直线加速器等机器产生的高能X射线、电子线等放射线对患者体内的肿瘤区域进行照射,在尽量避免引起治疗并发症的同时,最大限度的将治疗剂量集中在肿瘤靶区内,从而抑制癌细胞的分裂生长。常规的放疗过程包括以下步骤:体模的制备、CT模拟定位、靶区及危及器官的勾画、放疗计划的制定、剂量验证及放疗计划的实施。其中,放疗过程中肿瘤靶区的判断及剂量的准确实施依靠计算机断层扫描(computed tomography, CT)、锥形束计算机断层扫描(cone-beam computed tomography, CBCT)等图像引导技术的辅助[1-2]。然而CT扫描具有辐射,多次的CT图像采集会对患者造成额外伤害。放疗中的摆位验证常基于CBCT图像来实现,其成像区域内具有伪影,会导致软组织分辨率下降且电子密度不准确,不能直接用于放疗计划的剂量修正[3]。另外,临床放疗中部分计划靶区(planning target volume, PTV)及危及器官(organs at risk, OARs)的勾画范围常结合核磁共振图像(magnetic resonance imaging, MRI)、超声图像(ultrasound, US)与定位CT图像间的配准融合来确定,但其放疗实施的准确程度受图像配准融合方法的影响较大,且MRI、US图像中的灰度信息与电子密度信息间没有相关性,同样不能直接用于放疗计划的剂量计算[4-5]

伪CT图像合成技术有望解决上述医学图像在临床应用中的局限性。医学伪图像合成是指通过算法模型提取两种模态图像内的特征信息来建立非线性映射关系,以其中一种模态的图像作为参考图像,通过迭代优化的方式对待生成模态的图像进行重建,最终获取目标模态的伪图像[6]。伪CT图像合成方法既可以解决单一模态医学图像的成像弊端,综合多种模态图像的信息来对肿瘤靶区或危及器官进行勾画,也可以避免患者多次重复采集图像,减少患者所受的额外辐射剂量。传统的伪CT图像获取方法多采用图像非线性形变配准算法,面临复杂的图像配准问题,需设定繁琐的目标函数以获取准确的特征信息,算法的普适性不强,鲁棒性低[7]。基于深度学习下的伪CT合成技术通过多层卷积神经网络构建两种图像域间的非线性关系,特征提取的效果及效率均较高,可解决上述传统方法在复杂配准任务上的不足。根据神经网络模型的不同,合成伪CT的深度学习方法主要分为两类:一是基于多层神经网络的方法[8-11]。该类方法首先由Gatys等[12]提出并应用于不同风格图像间的迁移合成任务中。其典型网络代表有全卷积神经网络、VGG-Net及U-Net网络等,它的网络结构主要包括卷积层,池化层,全连接层等,细节又分为滤波器、步长、卷积操作、池化操作等,根据实际的合成图像任务的难易程度,来对网络的结构及参数进行调整,从而获得伪CT结果图像。二是基于生成对抗网络的方法[13-14]。生成对抗网络模型最早由Goodfellow等[15]提出,该方法利用对抗的思想来学习生成式模型,自动的定义潜在损失函数并学习原始真实样本集的数据分布,使得生成器生成的样本分布能够趋近真实数样本分布,具备较好的泛化能力。基于生成对抗网络合成伪CT图像的方式主要分为:有监督方式与无监督方式。前者基于包含条件信息的生成对抗网络模型,学习源图像(CBCT、MRI图像等)到目标图像(CT图像)间的对应关系,改变了传统GAN通过随机向量学习到目标图像的映射方式,例如条件生成对抗网络(cGAN)等。后者则通过引入循环一致性约束等条件来替代对生成图像内容的条件约束,限制生成器的学习范围,其学习过程中缺乏明确的监督信息,用于不成对的源图像与目标图像间的合成操作,例如循环生成对抗网络(CycleGAN)等。本文就不同深度学习方法获取伪CT图像技术及其临床放疗应用进行综述,并介绍其最新的进展。

一、伪CT图像合成技术的分类

根据源图像模态的不同,合成伪CT的方法主要分为以下几种:PET→CT、MRI→CT、CBCT→CT及US→CT。对于PET合成伪CT,目前国内外学者主要研究基于伪CT图像对PET图像进行衰减校正,并没有涉及放疗方面的应用性研究[16-19]。目前已应用于临床的MRI-Linac机器主要有瑞典医科达公司的Unity及美国ViewRay公司的MRIdian。两种MRI-Linac均将MRI与直线加速器进行集成,MRI图像具有软组织分辨率高的优点,但不带电子密度值。利用深度学习方法在MRI合成的伪CT图像进行剂量计算,从而替代定位CT[20]。CBCT设备与直线加速器共用同一机架,是图像引导放疗常用的设备,所合成的伪CT图像可以用于校正患者体位和修正治疗计划[21]。US图像具备实施性、便携性、无辐射性及软组织分辨率高等优势,所合成的伪CT图像也可用于辅助患者的摆位验证及肿瘤区域勾画[22]。以下依据不同种类图像域合成伪CT的方法来分别展开综述。

二、基于深度学习下的伪CT图像合成技术的国内外研究进展

1.基于MRI图像的伪CT合成:CT图像是放疗计划制定和剂量评估的基础图像。由于不同的软组织及危及器官间的密度差异较小,在CT图像中对比度较低。MRI图像具有较高的软组织对比度,不同的器官间的轮廓边缘清晰,若通过MRI图像对部分肿瘤靶区及危及器进行勾画,会获得更加准确的勾画结果。但MRI图像中的灰度信息不能用于放疗计划的制定,因此通过基于MRI图像获取伪CT图像的方法,将MRI与CT的图像特征信息进行融合,所得的伪CT图像既有准确的(hounsfield unit, HU)值,可用于剂量计算,又具有准确的解剖结构信息,可结合原MRI图像进行准确的器官标定。

国内外学者将成熟的多层神经网络框架进行改进并应用于MRI与CT图像的合成任务中。Han等[23]提出包含27个卷积层和3 500万个训练参数的深度卷积神经网络(DCNN),对18例患者的T1加权MRI图像及CT图像进行六重交叉验证,将生成的伪CT图像与实际CT图像逐个像素进行比较,实验结果证明复杂的网络模型所获取的伪CT图像的灰度信息较为准确。Chen等[24]利用U-Net建立36例前列腺患者MRI与CT图像间HU值信息的非线性映射关系,预测阶段重新选取15位患者进行测试,对基于U-Net获取的伪CT所制定IMRT放疗计划进行剂量评估,金标准为具有相同优化参数的定位CT放疗计划,实验结果显示伪CT下放疗计划的1%/1 mm和2%/2 mm标准下的伽玛通过率分别超过98.03%和99.36%,且相对于处方剂量,PTV内最大点剂量与其差异 < 1.01%。Gupta等[25]利用2D的MRI图像作为Unet网络的输入,分别基于空气、软组织及骨骼3个类别建立与CT图像的映射关系,剂量验证结果显示,伪CT下的放疗计划与真实的CT相比平均靶区剂量误差为2.3%,标准差为0.1%。上述两种深度学习方法虽可以获得质量较好的伪CT图像,但模型均采用了2D的卷积神经网络,忽略了Z方向的解剖结构变化,所得的伪CT图像结果与真实CT图像在部分层面存在一定的偏差。Dinkla等[26]提出基于3D图像区块的U-Net网络计算模型来进行头颈部肿瘤患者MRI图像合成伪CT图像的训练,实验结果显示,与原计划相比,基于伪CT所制定的放疗计划内的总体剂量平均偏差为-0.03%±0.05%,在90%处方剂量的区域内剂量偏差为-0.07%±0.22%。Liu等[27]将40例头颈部肿瘤患者配准后的3D T1加权像的MRI图像与KVCT图像作为3D Unet网络模型的训练数据,与KVCT相比,伪CT图像整体的MAE(平均绝对误差)值为(75±23) HU,95%处方剂量包绕的PTV剂量误差为0.27%±0.79%,靶区最大剂量误差为1.39%±1.31%,在解剖结构与剂量差异方面均较小。3D MRI图像的成像区域内纹理特征信息丰富,对卷积神经网络的网络层及损失函数的设定要求较高,参数的设定对最终生成的伪CT图像的成像质量影响也较大,因此根据MRI图像特征信息对网络及损失函数的改进仍是目前研究的热点。

GAN网络在自然图像处理任务中已被证明具有较好的效果,很多学者对其改进并应用到基于MRI图像合成伪CT图像的任务中。亓孟科等[28]选取30例头颈肿瘤患者的MRI及CT图像,利用GAN建立两种模态间的映射模型,另取15例患者进行预测并比较伪CT与真实CT图像间的图像质量及剂量分布差异,结果显示两者间的解剖结构误差较小,体素平均绝对误差为(79.15±11.37)HU,结构相似性系数值为0.83±0.03,基于伪CT图像重计算的计划剂量分布在2 mm/2%与3 mm/3%标准下的伽马通过率分别超过92%与98%,满足临床要求。常规的GAN网络虽可以完成伪图像合成任务,但其训练结果受输入训练集的影响不具有稳定性,部分浅层的特征信息会随着网络层数的加深而丢失,因此需要进行改进。Emami等[29]使用生成器为带有残差网络的GAN,将脑癌患者的T1加权像的MRI合成伪CT图像,通过平均绝对误差(MAE)、结构相似性指数(SSIM)和峰值信噪比(PSNR)3种测度方法验证了伪CT与定位CT图像在解剖结构上具有较高的相似性[MAE: (89.3±10.3)HU,SSIM: 0.83±0.03,PSNR: 26.6±1.2]。GAN及其改进网络已被学者证明可以较好的完成MRI→CT的伪CT合成任务,但若训练集中MRI-CT图像对的成像范围不一致或成像质量较差,会导致生成的伪CT图像失真,因此伪CT图像的合成效果与图像预处理的关系较大。Wang等[30]在传统CycleGAN的生成器中添加可变形卷积网络层(DCN),并在总循环网络的损失函数中添加归一化互信息损失,证明了改进的CycleGAN可用于成像范围不一致的脑部或腹部MRI图像与CT图像间的相互合成。Lei等[31]提出一种基于密集连接CycleGAN合成伪CT的新方法,该模型可以同时训练MRI到CT与CT到MRI的两种对称映射关系,网络的参数权重是通过所合成的伪CT与原始的真实CT间的欧式距离损失函数及梯度损失函数进行动态优化,实验分别通过24例脑部肿瘤及20例前列腺肿瘤患者进行MAE、PSNR及归一化互相关(NCC)的测度分析,证明所合成伪CT图像在成像质量及HU值准确度方面均较高。随着GAN网络的不断改进与优化,其应用于MRI合成伪CT方面的研究也越来越多,无论是分次治疗间形变较小的头颈部肿瘤,还是由患者呼吸或胃肠蠕动所引起的形变较大的胸腹部肿瘤,GAN都可以较好的合成伪CT图像。如何提高基于MRI合成伪CT训练效率及合成精度并适应用立体定向放射治疗(SBRT)等大分割治疗,仍是今后研究的重点。

2.基于CBCT图像的伪CT合成: CBCT与CT图像皆为通过X射线穿过不同密度的组织器官,平板探测器测得X射线衰减后的放射能量,再经计算机处理并重建出的灰度图像。但两者的成像原理不同,CBCT采用3D锥形束扫描来替代诊断CT的扇形扫描以获取2D的投影数据,再将不同角度方向获取的投影数据进行重建,虽提高了X射线的利用率,却增加了更多的散射信号,进而引起CBCT图像的软组织分辨率降低,也会产生较多的条状或带状伪影,HU值不准确且难以校正[32]。利用深度学习方法获取的伪CT图像可以用于解决上述CBCT图像在临床放疗中的局限性,使得CBCT图像在患者分次间的摆位验证及自适应放疗过程中都具有更好的应用价值。

目前在临床自适应放疗过程中,用于校正CBCT中HU值的非深度学习方法主要包括基于散射校正板(beam stop array, BSA)校正方法、基于散射的模型卷积方法、蒙特卡洛模拟法与图像配准方法等[33-36]。基于BSA散射校正的方法中所采用的校正板为具有等间隔等尺寸的铅块所填充的有机玻璃板,BSA平行放置于平板探测器前面,根据测量的散射量来插值出整体的散射分布图像,再通过将不含BSA的正常扫描图像与其进行作差处理,得到最终的校正CBCT图像。此方法在临床上得到较好的应用,但需进行多次扫描,耗费时间且增加了X射线源的投剂量。基于散射的模型卷积方法利用合适的卷积核与带有散射的CBCT进行卷积或反卷积以得到散射图像,将原始的CBCT图像与散射图像做差以得到校正后的CBCT图像。该方法中所采用的卷积核不具备自适应性,且噪声因素的干扰也使得散射校正的效果不稳定。MC模拟法通过利用MC算法模拟光子的运输以修正散射,并进行剂量的重建。王玉[37]采用基于散射核反卷积校正方法校正后的标准模体CBCT图像建立HU-ED标定曲线,与CT-ED标定曲线结果相比较,在3%/3 mm标准下的伽马分析通过率由校正前的48%、75.2%提高至95.3%、97.7%,剂量计算精度提高明显。然而MC算法的计算时间较长,不能实时进行放疗计划的剂量修正。图像配准方法则利用形变配准或直方图匹配法来校正CBCT。Moteabbed等[38]通过盆腔模体实验,对扫描的CT图像与人为变形后的CBCT图像间进行形变配准来校正CBCT中的HU值,结果表明相比于CT图像上剂量计算的结果,未经校正与校正后的CBCT图像中所有危及器官的平均剂量差异分别为3.9%与0.2%。这类方法虽然可以修正CBCT图像内的CT值信息,但对图像配准算法及匹配方法的精度要求较高,且目标函数的设定也较为复杂。

近几年,基于多层卷积神经网络的合成伪CT的方法已被提出用于校正CBCT的HU值的不准确问题,相比于非深度学习方法,其所获取的校正后的CBCT图像(伪CT)具有更高的成像质量,HU值也更为准确。Chen等[39]利用U-Net网络来建立CBCT与CT两种图像域间的特征映射关系,在全局与局部两个方面抑制CBCT图像内噪声以消除伪影,所合成的伪CT图像与利用形变配准方法获得的CT图像在灰度信息上较为接近。Nomura等[40]通过带有残差级联的卷积神经网络消除原始的CBCT图像中因散射而形成的伪影,与基于散射的模型卷积方法得到的校正CBCT图像相比,经CNN方法校正后的CBCT图像具有更准确的HU值,4种图像质量度量结果[MAE、PSNR、SSIM及均方误差(Mean Square Error, MSE)]也表明经CNN校正后的图像质量要优于传统方法。上述研究已证明相较于传统方法,基于多层卷积神经网络合成的伪CT图像在CBCT伪影去除中的效果更好,但并未进行剂量学方面的研究。Li等[41]利用深度卷积神经网络将10例头颈部肿瘤患者的CBCT图像合成伪CT图像,并与原始CBCT图像及校正后的CBCT图像进行剂量学方面的比较,显示基于伪CT、原始CBCT及基于模型评估方法校正CBCT图像与定位CT图像(金标准CT)下所制备的放疗计划间的平均DVH剂量测度差异分别为0.2%±0.6%、0.8%±1.9%和0.4%±0.7%,1 mm/1%的伽马通过率分别为95.5%±1.6%、90.8%±6.2%和94.1%±4.4%,差异有统计学意义。有学者研究表明,在质子治疗方面,基于U-Net等多层CNN方法获取的伪CT图像在CBCT图像伪影校正及质子治疗计划的剂量计算方面同样具有较好的效果[11, 42]。Thummerer等[43]利用编码-解码模式的U-Net深度学习网络训练CBCT与真实CT图像对以获取伪CT图像,并分别与基于形变配准与HU值校正表的两种CBCT HU值校正方法所获取的伪CT图像进行解剖结构与剂量学方面的对比。质子放疗计划由Raystiton公司的TPS在真实CT图像上进行制备,并将其复制到伪CT图像上进行验证。实验结果表明,基于U-Net获得伪CT图像与真实CT图像间的DSC均值为0.96,MAE均值为44HU,均优于其余两种基于非深度学习CBCT HU值校正方法所得伪CT,2 mm/2%与3 mm/3%条件下的伽马通过率也最高。由此可知,基于深度卷积网络合成伪CT的方法在校正CBCT伪影及放疗计划剂量计算方面比传统的方法要更有优势,在放疗中具有较大的临床应用价值。

尽管在多层神经网络模型训练中所采集的CBCT与CT图像均为同一患者,但受制于不同时间段扫描过程中患者体位偏差或软组织形变差异,实际中很难获取解剖结构完全匹配的CBCT与CT图像对。为减小训练误差及提高伪CT合成的准确性,在进行伪CT图像合成前,需对待训练的CBCT-CT图像对进行配准处理,增加了伪CT图像合成的误差。传统的GAN网络及改进方法同样需要对待训练的图像数据集进行配准等预处理操作。为了解决上述问题,有学者提出利用CycleGAN网络将CBCT合成伪CT图像[44]。区别于传统的GAN网络,CycleGAN本质上是两个镜像对称的GAN所构成的一个环形网络。两个GAN共享两个生成器及判别器,即共有两个判别器和两个生成器。该网络通过引入循环损失一致性函数进行约束,可以保证模型更有效的学习CBCT与CT两个图像域中不成对图像数据间的非线性映射关系。Liang等[45]首次将CycleGAN网络应用于CBCT与定位CT图像间的伪图像合成任务,通过20例头颈部肿瘤患者验证发现,基于CycleGAN合成的伪CT图像与真实的CT图像间的MAE值为(29.89±4.9)HU,1 mm/1% 标准下的伽马通过率为(96.26±3.59)%,在解剖结构与剂量学方面均要优于基于DCGAN和PGGAN方法获取的伪CT图像。Harms等[46]通过将基于CycleGAN获取伪CT的方法与传统的CBCT图像散射校正方法进行比较,前者所得到的伪CT图像与真实CT图像间的HU值及解剖结构更为接近,且图像中的噪声也更低,这是因为传统的CBCT伪影校正方法侧重于提高CBCT中局部区域的成像质量,而基于CycleGAN的深度学习可以建立CBCT与CT图像域内所有像素点间的映射关系,使得训练后得到的伪CT图像在整体成像区域质量较原始的CBCT图像均有提高,HU值也更接近于真实的CT图像。除上述调强放疗的应用研究以外,CBCT→CT的伪CT合成技术在SBRT等大分割放疗中也有较好的应用。Liu等[47]提出基于自注意机制的CycleGAN网络并应用于CBCT与CT图像间的合成任务中,采用的自注意机制通过直接计算图像中任意两个像素间的关系,使网络更好地学习到组织器官间的相对位置关系及全局特征,通过对30例接受SBRT治疗的胰腺癌肿瘤患者进行测量验证,显示伪CT图像与真实CT图像间的图像相似程度较高,两者计划间的PTV及危及器官的DVH指标差异无统计学意义。CBCT与CT图像同属于同模态医学图像,相比于MRI图像,其纹理特征信息相对较少,同时CBCT图像内存在的伪影及噪声使得伪图像合成任务具有一定的难度。针对CBCT图像内伪影的去除及HU值的校正问题,提高GAN网络在提取低质量图像内语义特征信息的能力,并对校正后的CBCT图像进行剂量评估以应用于临床自适应放疗,仍是CBCT与CT图像间伪图像合成工作的研究热点。

3.基于超声图像下的深度学习方法合成伪CT的研究现状:超声凭借其便携性、实时性、无辐射性等优势,常结合CBCT进行图像引导放疗[48]。但超声图像内的灰度信息不能与组织器官的密度信息进行关联匹配,无法直接进行剂量计算,因此有学者通过基于超声图像的伪CT方法来解决上述问题[49-51]。然而超声图像内的噪声较大,使得传统的非深度学习方法在合成基于超声图像下伪CT图像较为困难。目前主要是基于图像配准下的超声形变场方法来获取伪CT图像,国内外学者对基于深度学习方法的下的超声与CT图像合成的工作研究较少。Sun等[53]提出一种基于CNN下解剖语义的图像风格迁移方法来分步局部合成伪CT图像,通过超声模体与5名宫颈癌患者的体数据证明,相比于传统的CNN网络及形变配准的方法,基于该方法所合成伪CT图像在解剖结构上与真实CT图像更为接近。基于超声图像下的深度学习方法合成伪CT图像的研究目前处于初步阶段,作为图像引导放疗的新方式,伪CT图像在超声引导放疗应用方面具有较大的研究价值。

三、展望

近年来,深度学习方法已逐渐应用于医学图像的合成任务中。由综述文献可知,基于深度学习方法的伪CT合成技术在提高原始图像的质量及临床放疗应用方面的研究均有较大的进展,且所获得的伪CT图像的成像质量及基于伪CT图像制备的放疗计划的剂量计算准确度与真实的CT图像较为接近。深度学习在今后的医学图像合成任务及临床放疗的应用中仍将发挥着重要作用。

尽管基于2D模型深度学习下的伪CT合成技术已在临床放疗的应用研究中日益成熟,但采用2D的卷积核会丢失空间和结构信息,目前已有学者就基于3D的卷积神经网络合成伪CT图像展开研究,然而在头颈或盆腔等解剖结构较为丰富的医学图像成像区域,就如何有效提取准确的3D特征信息以获取更加真实的伪CT图像仍是目前研究的热点[54-55]。另外,模型的训练效果与输入的图像训练集的大小及所包含的特征信息有关,若在测试阶段输入的图像与训练过程中的数据集差异较大(含有金属伪影,肥胖差异等),所得的伪CT图像结果也会不理想,因此,增加网络模型的鲁棒性和通用性也是基于深度学习获取伪CT图像技术的必要研究内容之一。

利益冲突  所有研究者未因该研究而接受任何不正当的职务或财务利益,在此对研究的独立性核科学性予以保障。

志谢 感谢常州市医学物理重点实验室项目(CM20193005)及西北工业大学博士论文创新基金(CX202039)对本研究的支持。

作者贡献声明  孙鸿飞负责文献收集和论文撰写;倪昕晔指导论文撰写与修改;杨建华参与论文修改。

参考文献
[1]
戴建荣, 胡逸民. 图像引导放疗的实现方式[J]. 中华放射肿瘤学杂志, 2006, 15(2): 132-135.
Dai J R, Hu YM. Implementation of image guided radiotherapy[J]. Chin J Radiat Oncol, 2006, 15(2): 132-135. DOI:10.3760/j.issn.1004-4221.2006.02.019
[2]
王晶晶. 图像引导放疗系统中图像配准和重建技术的研究[D]. 济南: 山东大学, 2017.
Wang JJ. Research on image registration and reconstruction technology in image guided radiotherapy system[D]. Jinan: Shandong University, 2017.
[3]
Meroni S, Mongioj V, Giandini T, et al. EP-1822:limits and potentialities of the use of CBCT for dose calculation in adaptive radiotherapy[J]. Radiother Oncol, 2016, 119: S854-S855. DOI:10.1016/s0167-8140(16)33073-0
[4]
Neppl S, Landry G, Kurz C, et al. Evaluation of proton and photon dose distributions recalculated on 2D and 3D Unet-generated pseudo CTs from T1-weighted MR head scans[J]. Acta Oncol, 58(10): 1429-1434, 2019, 58(10): 1429-1434, 2019. DOI:10.1080/0284186X.2019.1630754
[5]
Richter A, Polat B, Lawrenz I, et al. Initial results for patient setup verification using transperineal ultrasound and cone beam CT in external beam radiation therapy of prostate cancer[J]. Radiat Oncol, 2016, 11(1): 147-147. DOI:10.1186/s13014-016-0722-7
[6]
Yu B, Wang Y, Wang L, et al. Medical image synthesis via deep learning[J]. Adv Exp Med Biol, 2020, 1213: 23-44. DOI:10.1007/978-3-030-33128-3_2
[7]
Cao X, Yang J, Gao Y, et al. Dual-core steered non-rigid registration for multi-modal images via bi-directional image synthesis[J]. Med Image Anal, 2017, 41: 18-31. DOI:10.1016/j.media.2017.05.004
[8]
Fu J, Yang Y, Singhrao K, et al. Deep learning approaches using 2D and 3D convolutional neural networks for generating male pelvic synthetic computed tomography from magnetic resonance imaging[J]. Med Phys, 2019, 46(9): 3788-3798. DOI:10.1002/mp.13672
[9]
Xie S, Yang C, Zhang Z, et al. Scatter artifacts removal using learning-based method for CBCT in IGRT system[J]. IEEE Access, 2018, 6: 78031-78037. DOI:10.1109/ACCESS.2018.2884704
[10]
Nie D, Trullo R, Lian J, et al. Medical image synthesis with deep convolutional adversarial networks[J]. IEEE Trans Biomed Eng, 2018, 65(12): 2720-2730. DOI:10.1109/TBME.2018.2814538
[11]
Landry G, Hansen D C, Kamp F, et al. Comparing unet training with three different datasets to correct CBCT images for prostate radiotherapy dose calculations[J]. Phys Med Biol, 2019, 64(3): 035011. DOI:10.1088/1361-6560/aaf496
[12]
Gatys L A, Ecker A S, Bethge M, et al. Image style transfer using convolutional neural networks[C]. Computer vision and pattern recognition(CVPR), IEEE, LasVegas, NV, USA, 2016: 2414-2423. DOI: 10.1109/CVPR.2016.265.
[13]
朱冠菲. 基于MR数据生成伪CT数据的研究[D]. 杭州: 中国计量大学, 2018.
Zhu GF. Research on generating pseudo-CT data based on MR data[D]. Hangzhou: China Jiliang University, 2018.
[14]
Maspero M, Savenije MHF, Dinkla AM, et al. Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy[J]. Phys Med Biol, 2018, 63(18): 185001. DOI:10.1088/1361-6560/aada6d
[15]
Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Nets[C].Advances in neural information processing systems(NeurIPS), 2014, 27: 2672-2680.DOI: 10.5555/2969033.2969125.
[16]
Liu F, Jang H, Kijowski R, et al. A deep learning approach for 18 F-FDG PET attenuation correction[J]. EJNMMI Phys, 2018, 5(1): 1-15. DOI:10.1186/s40658-018-0225-8
[17]
Armanious K, Thomas Küstner, Reimold M, et al. Independent brain 18F-FDG PET attenuation correction using a deep learning approach with generative adversarial networks[J]. Hell J Nucl Med, 2019, 22(3): 179-186. DOI:10.1967/s002449911053
[18]
Hwang D, Kim KY, Kang SK, et al. Improving the accuracy of simultaneously reconstructed activity and attenuation maps using deep learning[J]. J Nucl Med, 2018, 59(10): 1624-1629. DOI:10.2967/jnumed.117.202317
[19]
Dong X, Wang T, Lei Y, et al. Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging[J]. Phys Med Biol, 2019, 64(21): 215016. DOI:10.1088/1361-6560/ab4eb7
[20]
Qi M, Li Y, Wu A, et al. Multi-sequence MR image-based synthetic CT generation using a generative adversarial network for head and neck MRI-only radiotherapy[J]. Med Phys, 2020, 47(4): 1880-1894. DOI:10.1002/mp.14075
[21]
Liang X, Chen L, Nguyen D, et al. Generating synthesized computed tomography (CT) from cone-beam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy[J]. Phys Med Biol, 2019, 64(12): 125002. DOI:10.1088/1361-6560/ab22f9
[22]
Kazemirad S, Bernard S, Hybois S, et al. Ultrasound shear wave viscoelastography: model-independent quantification of the complex shear modulus[J]. IEEE Trans Ultrason Ferroelectr Freq Control, 2016, 63(9): 1399-1408. DOI:10.1109/TUFFC.2016.2583785
[23]
Han X. MR-based synthetic CT generation using a deep convolutional neural network method[J]. Med Phys, 2017, 44(4): 1408-1419. DOI:10.1002/mp.12155
[24]
Chen S, Qin A, Zhou D, et al. Technical Note: U-net generated synthetic ct images for magnetic resonance imaging-only prostate intensity-modulated radiation therapy treatment planning[J]. Med Phys, 2018, 45(12): 5659-5665. DOI:10.1002/mp.13247
[25]
Gupta D, Kim MM, Vineberg KA, et al. Generation of synthetic CT images from MRI for treatment planning and patient positioning using a 3-Channel U-net trained on sagittal images[J]. Front Oncol, 2019, 9: 964. DOI:10.3389/fonc.2019.00964
[26]
Dinkla A M, Florkow M C, Maspero M, et al. Dosimetric evaluation of synthetic CT for head and neck radiotherapy generated by a patch-based 3D convolutional neural network[J]. Med Phys, 2019, 46(9): 4095-4104. DOI:10.1002/mp.13663
[27]
Liu F, Yadav P, Baschnagel AM, et al. MR-based treatment planning in radiation therapy using a deep learning approach[J]. J Appl Clin Med Phys, 2019, 20(3): 105-114. DOI:10.1002/acm2.12554
[28]
亓孟科, 李永宝, 吴艾茜, 等. 基于生成对抗网络的鼻咽癌患者伪CT合成方法研究[J]. 中华放射肿瘤学杂志, 2020, 29(4): 267-272.
Qi MK, Li BS, Wu AQ, et al. Generative adversarial networks based synthetic-CT generation for patients with nasopharyngeal carcinoma[J]. Chin J Radiat Oncol, 2020, 29(4): 267-272. DOI:10.3760/cma.j.cn113030-20190614-00004
[29]
Emami H, Dong M, Nejad-Davarani SP, et al. Generating synthetic CTs from magnetic resonance images using generative adversarial networks[J]. Med Phys, 2018, 45(8): 3627-3636. DOI:10.1002/mp.13047
[30]
Wang C, Macnaught G, Papanastasiou G, et al. Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks[C].Simulation and Synthesis in Medical Imaging(SASHIMI). Switzerland: Springer, Cham, 2018, 11037: 52-60.DOI: 10.1007/978-3-030-00536-8_6.
[31]
Lei Y, Harms J, Wang T, et al. MRI-only based synthetic CT generation using dense cycle consistent generative adversarial networks[J]. Med Phys, 2019, 46(8): 3565-3581. DOI:10.1002/mp.13617
[32]
Elstrom UV, Olsen, Muren LP, et al. The impact of CBCT reconstruction and calibration for radiotherapy planning in the head and neck region-a phantom study[J]. Acta Oncol, 2014, 53(8): 1114-1124. DOI:10.3109/0284186X.2014.927073
[33]
Jia FSS, Sechopoulos I. A software-based X-ray scatter correction method for breast tomosynthesis[J]. Med Phys, 2011, 38(12): 6643-6653. DOI:10.1118/1.3659703
[34]
Usui K, Inoue T, Kurokawa C, et al. SU-F-J-70:Monte Carlo study on a cone-beam computed tomography using a cross-type carbon fiber antiscatter grid[J]. Med Phys, 2016, 43(6): 3422-3425. DOI:10.1118/1.4955978
[35]
闫瑞菊. 基于散射核的锥束CT散射校正[D]. 南京: 南京邮电大学, 2017.
Yan R J. Scatter correction in cone beam CT using blind deconvolution[D].Nanjing: Nanjing University of Posts and Telecommunications, 2017.
[36]
Chevillard C, Dumas J L, Mazal A, et al. 42. Computation of the RT dose of the day from mapping CBCT information to the planning CT using an optimized elastic registration method[J]. Phys Med, 2017, 44: 20-21. DOI:10.1016/j.ejmp.2017.10.067
[37]
王玉. 锥形束CT图像的散射校正[D]. 合肥: 中国科学技术大学, 2015.
Wang Y. Scatter correction for cone beam CT Images[D].Hefei: University of Science and Technology of China, 2015.
[38]
Moteabbed M, Sharp GC, Wang Y, et al. Validation of a deformable image registration technique for cone beam CT-based dose verification[J]. Med Phys, 2015, 42(1): 196-205. DOI:10.1118/1.4903292
[39]
Chen L, Liang X, Shen C, et al. Synthetic CT generation from CBCT images via deep learning[J]. Med Phys, 2020, 47(3): 1115-1125. DOI:10.1002/mp.13978
[40]
Nomura Y, Xu Q, Shirato H, et al. Projection-domain scatter correction for cone beam computed tomography using a residual convolutional neural network[J]. Med Phys, 2019, 46(7): 3142-3155. DOI:10.1002/mp.13583
[41]
Li Y, Zhu J, Liu Z, et al. A preliminary study of using a deep convolution neural network to generate synthesized CT images based on CBCT for adaptive radiotherapy of nasopharyngeal carcinoma[J]. Phys Med Biol, 2019, 64(14): 145010. DOI:10.1088/1361-6560/ab2770
[42]
Hansen DC, Landry G, Kamp F, et al. ScatterNet: a convolutional neural network for cone-beam CT intensity correction[J]. Med Phys, 2018, 45(11): 4916-4926. DOI:10.1002/mp.1317
[43]
Thummerer A, Zaffino P, Meijers A, et al. Comparison of CBCT based synthetic ct methods suitable for proton dose calculations in adaptive proton therapy[J]. Phys Med Biol, 2020, 65(9): 095002. DOI:10.1088/1361-6560/ab7d54
[44]
Kida S, Kaji S, Nawa K, et al. Visual enhancement of cone-beam CT by use of CycleGAN[J]. Med Phys, 2020, 47(3): 998-1010. DOI:10.1002/mp.13963
[45]
Liang X, Chen L, Nguyen D, et al. Generating synthesized computed tomography (CT) from cone-beam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy[J]. Phys Med Biol, 2019, 64(12): 125002. DOI:10.1088/1361-6560/ab22f9
[46]
Harms J, Lei Y, Wang T, et al. Paired cycle-gan-based image correction for quantitative cone-beam computed tomography[J]. Med Phys, 2019, 46(9): 3998-4009. DOI:10.1002/mp.13656
[47]
Liu Y, Lei Y, Wang T, et al. CBCT-based synthetic CT generation using deep-attention cycleGAN for pancreatic adaptive radiotherapy[J]. Med Phys, 2020, 47(6): 2472-2483. DOI:10.1002/mp.14121
[48]
Li M, Ballhausen H, Hegemann N, et al. A comparative assessment of prostate positioning guided by three-dimensional ultrasound and cone beam CT[J]. Radiat Oncol, 2015, 10(1): 82. DOI:10.1186/s13014-015-0380-1
[49]
Van Der Meer S, Camps SM, Van Elmpt W, et al. Simulation of pseudo-CT images based on deformable image registration of ultrasound images: a proof of concept for transabdominal ultrasound imaging of the prostate during radiotherapy[J]. Med Phys, 2016, 43(4): 1913-1920. DOI:10.1118/1.4944064
[50]
Camps S, Skadi VDM, Verhaegen F, et al. Various approaches for pseudo-CT scan creation based on ultrasound to ultrasound deformable image registration between different treatment time points for radiotherapy treatment plan adaptation in prostate cancer patients[J]. Biomed Phys Eng Exp, 2016, 2(3): 035018. DOI:10.1088/2057-1976/2/3/035018
[51]
Sun H, Xie K, Gao L, et al. Research on pseudo-CT imaging technique based on an ultrasound deformation field with binary mask in radiotherapy[J]. Medicine, 2018, 97(38): e12532. DOI:10.1097/MD.0000000000012532
[52]
Sun H, Lin T, Xie K, et al. Imaging study of pseudo-CT images of superposed ultrasound deformation fields acquired in radiotherapy based on step-by-step local registration[J]. Med Biol Eng Comput, 2018, 57(3): 643-651. DOI:10.1007/s11517-018-1912-2
[53]
Sun H, Zhang K, Fan R, et al. Stepwise local synthetic pseudo-CT imaging based on anatomical semantic guidance[J]. IEEE Access, 2019, 7(99): 168428-168435. DOI:10.1109/ACCESS.2019.2953923
[54]
Maspero M, Savenije M H, Dinkla A M, et al. Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy[J]. Phys Med Biol, 2018, 63(18): 185001. DOI:10.1088/1361-6560/aada6d
[55]
Kazemifar S, McGuire S, Timmerman R, et al. MRI-only brain radiotherapy: assessing the dosimetric accuracy of synthetic CT images generated using a deep learning approach[J]. Radiother Oncol, 2019, 136: 56-63. DOI:10.1016/j.radonc.2019.03.026