2. 福州大学物理与信息工程学院, 福州 350108;
3. 清华大学工程物理系, 北京 100084
2. College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China;
3. Department of Engineering Physics, Tsinghua University, Beijing 100084, China
肺癌作为常见的恶性肿瘤,发病率和死亡率呈现逐年上升趋势[1]。随着放射治疗技术的快速发展,射波刀(Cyberknife)的出现可以提高肺癌的局部控制率与治疗疗效[2]。在采用射波刀系统治疗肺癌患者时,为保证其治疗精度,对于肺部外周病灶较小、密度较低时,呼吸运动幅度大[3],需要植入金标,以便于在开展射波刀追踪治疗时真正做到靶区的跟踪治疗。目前支气管镜智能导航下植入定位标记的技术逐渐兴起[4],尤其是电磁导航支气管镜(electromagnetic navigation bronchoscopy,ENB)的出现,可通过支气管内带微传感器的探头进入更细的支气管分支到达病灶或者周围进行定位,减少气胸风险的同时可以安全高效地实时追踪肿瘤位置。然而,射波刀属于大型的放疗设备,存在辐射安全隐患。鉴于技术进步和新技术在临床应用中的重要性,对于支气管镜智能导航金标植入新技术的临床培训方法需要转变,以适应临床不断变化的要求。
当前计算机技术的快速发展[5],虚拟现实(virtual reality,VR)技术正被用于解决辐射设施的限制,为使用者提供一个安全的教学环境[6]。因此,本团队基于支气管镜智能导航金标植入新技术的重要性及其在放射治疗专业人才的相关培训时,由于辐射防护安全带来的实习难、见习难的问题,研发了支气管镜智能导航金标植入技术的虚拟仿真教学实验软件。本研究将探讨该软件应用于放疗临床实践的可行性及成为临床工具的可能性,以促进精准放疗。
资料与方法1.系统架构:本系统分为前端开发、后端开发,开发流程与本团队前期研究基础类似[7-9],技术路线见图 1。系统使用Unity3D引擎开发3D虚拟操作及交互系统,后端服务通过PHP- FPM工具对代码进行编辑,开发后台账号管理与系统版本管理,最后部署到服务器。
![]() |
图 1 虚拟仿真教学实验软件技术路线 Figure 1 Technical route of the virtual simulation teaching experiment software |
系统以设计性虚拟仿真实验的方式把射波刀金标植入技术的原理和构造进行剖析介绍并用于临床教学培训。内容知识点包括:金标材料选择、金标刚体的设计原则、金标刚体的植入设计、金标刚体形成质心的运动和金标刚体植入技术等模块。系统包含培训指南、实验培训、培训报告、数据统计、考核系统、帮助中心、安全中心、资源中心、协同服务等。针对金标植入中的重难点本系统分为12个步骤、10个知识点进行仿真展示演练。具体仿真设计包括:
(1) 支气管解剖结构仿真:根据人体支气管解剖结构,仿真出各个支气管分支结构,由于左右肺设计一样,标注出左下肺各段支气管段名,便于放大演示,且可从多角度观察支气管。
(2) 金标结构设计仿真:实验仿真不同的金标材质及结构,直观展示植入体内后金标的刚体结构,将多个金标形成刚体的三维结构及其相互关系表现出来,让操作者可以旋转、拖动仿真结构,全方位观察金标刚体结构的变化对整体金标组的影响,另外添加呼吸运动因素,展示金标质心随呼吸变化而产生的变化。同时,在金标刚体设计、验证及参数计算等部分还原出其设计与计算过程。
(3) 射波刀及其他设备仿真:实验仿真用于放射治疗的大型仪器设备以及介入手术使用的仪器,通过对仪器的外观、简单操作使用的仿真,还原设备仪器的客观结构与功能。
(4) 操作环境仿真:实验操作环境友好,还原临床操作真实场景,做到可以以虚代实,反复练习。
(5) 操作结果仿真:针对操作的规范与否,实验反馈出不同的结果,如在支气管镜金标取出时,若多次碰壁将会模拟出血情况。
2.系统培训模式:系统设计教学模式以及考核模式。
教学模式以“教”为主,分为实验预习、实验展示与实验评价3个模块(图 2)。内容设置为学生自评与教师评价的评价体系,多方位评价实验完成情况,并在后台统计操作者完成情况。该模式主导自主探究的教学方法,提供开放的实验平台,操作者通过选择不同的工具进行自主研究设计并实施,寻找最佳的金标放置位置,并进行操作和验证计算。同时基于多种虚拟仿真技术体现情景式、交互式的教学特点,软件中设计“虚拟场景、虚拟医生、虚拟患者、虚拟步骤、虚拟对话”等情景化虚拟仿真实验操作。借助虚拟仿真技术,设计多个实验步骤及互动环节,有语音对话、互动问答、操作反馈等,同时操作者可以通过留言实现在线交流。
![]() |
图 2 教学模式模块 A.实验预习;B.实验内容;C.实验评价 Figure 2 Teaching mode modules A. Experiment preview; B. Experimental content; C. Experimental evaluation |
考核模式重在对学习模式学习效果的检测,操作者需要在没有知识点的提示下独立操作,根据所学知识自己做出判断进行选择。考核题库建立及答案识别方法:系统通过预留题库,包括选择题和填空题,涉及金标植入过程中容易出错和遗漏的知识点。选择题利用题库录入和答案实时判断的方法,当完成全部操作流程后系统会自动判断对错,并在评分系统上记录得分。同时显示实验报告环节,针对考核过程中操作有误的地方,实验报告会提示知识点,让操作者可以了解自己较为薄弱的知识点,以此针对性地多次重复练习。
3.系统评价方式
(1) 内部测试:由研发团队及同领域专家测试,对系统完整流程进行测试评价,具体流程包括软件下载及安装、系统操作测试、系统评价。研发团队根据收集的专业意见,对软件调试修改。
(2) 远程联网测试:借助VR实验教学平台——实验空间进行面向全国的正式投入前测试反馈,具体流程包括电脑端进入实验空间网站、点击网站右上角注册入口、填写手机号码等信息完成注册并登录、登录后在首页点击实验中心、点击专业大类中的医学技术类、输入关键词“支气管镜智能导航射波刀金标植入技术”找到本研究项目、点击“我要做实验”按照提示进行操作,即可开始实验进行测试,并且可以在评价处反馈测试意见,项目运行后台也能获取每位测试者的测试情况,根据测试结果和出现的问题进行完善。
结果1. 整体完成情况:依照实验内容逻辑设计流程和框架,结合VR技术手段,基本完成系统的设计开发、测试及完善。系统采用3D仿真技术、运用3Dmax、Maya等工具开发而成,以SQL作为数据库支持, 最终网页版可使用Win7或以上操作系统, 支持Intel或以上浏览器。系统的场景采用现在主流的次时代制作流程, 单场景模型面数达152 384个,每张贴图分辨率为500 × 500,每帧渲染次数为30帧,动作反馈时间为0.05 ms,显示刷新率为60帧/秒;软件运行的分辨率为1 730 × 900。
2. 系统培训完成情况:本系统提供5个功能模块,根据不同的匹配结果和选择,出现虚拟治疗动画,将支气管解剖结构与金标刚体质心随呼吸运动情况直观地展示给操作者,突出VR应用于临床的优势:
(1) 治疗方案的选择:该部分以1例肺癌患者引入,对患者临床症状进行仔细分析确定符合诊断,再根据患者的病史、肿瘤特点、不同技术的应用范围选用合适的治疗方案,最后确定使用射波刀金标追踪联合同步呼吸追踪对患者进行治疗。
(2) 金标放置原则设计:在实施穿刺前实验者需要根据金标植入原则设计最佳的放置位置,系统提供4种金标放置的方案,并引导学生判断方案是否满足金标放置原则,以及选出不满足原则的原因,使操作者在方案的判断中掌握并运用金标放置的原则(图 3)。不同的金标间距、角度以及金标与肿瘤距离都会影响金标组质心的变化,操作者可利用工具栏中的工具测量金标间的距离、角度,观察两正交视角上金标的位置,理解在三维空间内金标原则的判定。确定好合适的方案后,操作者需要通过读表填入每个金标在呼吸运动中的偏移量,通过读表输入4个金标的3个方向偏移量,模拟金标组合在呼吸运动中的位移情况,观察呼吸运动对金标质心变化的影响(图 4)。射波刀追踪肿瘤以金标组的质心为目标进行追踪,单个金标的变化会影响一对金标的变化,最终影响整个金标组质心的变化。通过这一部分操作,操作者将学会综合考虑影响金标追踪精度的因素,对呼吸运动中金标的运动管理有整体认识。
![]() |
图 3 金标设计方案 Figure 3 Fiducial marker design scheme |
![]() |
图 4 金标质心移动情况 Figure 4 Movement of the mass center of a fiducial marker |
(3) 金标植入:该部分是在设计好金标放置位置后的具体实施。操作者需要选择合适的材质作为标记物并确定标记物的形状。结合治疗方案选择中金标追踪方法的原理,将更容易理解金属作为标记物的原因,同时对比不同形状金标在植入后的优势与劣势,了解形状对治疗的重要性,有助于理解上一步金标植入原则的设计原理。在金标植入实施中,首先了解穿刺过程,仿真模拟出从准备用品、体位选择、CT扫描、选点、消毒、麻醉、穿刺植入等一系列临床穿刺植入步骤,引导操作者逐步实施。操作过程中步骤正确即得分,操作错误会发生出血、气胸等并发症危险情况。学习后,操作者可对能减轻穿刺并发症风险的不同材质和形状的标记物组合进行探索。
(4) 金标配准:该部分将显示实际操作常见的问题。在获取Live图像后需要将Live图像中的金标与DRR图像中的金标进行配准获取符合治疗要求的平移和旋转差值(图 5)。在配准过程中操作者可调节图像窗宽窗位显示适合配准的合适图像对比度,当金标被脂肪骨骼遮挡显示不清时可调节管电压、管电流和曝光时间等参数获取最佳的金标图像。配准过程中,操作窗口将会显示当前刚体阈值并提示对刚体误差影响最大的金标,操作者需考虑弃用刚体误差较大的金标用或者扩大阈值继续使用,配准值大于规定值时不予治疗。该过程将使操作者了解成像参数对金标配准的影响,同时理解金标配准过程中金标识别的原理,特别是在无法配准的情况下学会分析造成无法配准的原因。
![]() |
图 5 金标配准流程 A.获取Live图像;B.获取配准位移值 Figure 5 Process for fiducial marker alignment A. To obtain Live images; B. To obtain the alignment displacement |
(5) 金标取出:该部分将展示金标在取回过程中可能出现的突发情况。操作者可操作鼠标和键盘的相应按钮,操作支气管镜到达指定金标位置,通过抓钳取出金标(图 6)。当手法不正确时将导致金标对支气管壁的摩擦出血,或取回途中金标夹取不稳导致丢失。结合前面的金标植入部分,在学员取回过程中,引导操作者比较目前常用的几种金标植入方式,相对于经血管植入和经皮植入的方式,经支气管植入的优势有哪些。同时,思考当前金标滞留体内的问题,为正确理解金标取出提供理论依据。
![]() |
图 6 金标取回 Figure 6 Withdrawal of a fiducial marker |
内部测试与远程互联网测试参加人员均顺利完成系统的安装与测试,测试过程中收集的反馈均在软件中调试修改。系统投入使用以来运行稳定。截至2022年5月1日,系统访问量高达2 409,参与实验测试人数425人次,实验完成率为100%,实验通过率为96.5%,获得167位操作者评价,涵盖福建医科大学多级医学影像技术系、医学影像学等相关专业学生及放疗相关工作人员,均表示该软件的应用对于新技术的学习吸收效果良好,为操作者提供了一个具有成本效益和安全的学习环境,能够实践基本和具有挑战性的技能。
讨论肺癌是全球癌症死亡的主要原因[10],随着放射治疗技术蓬勃发展,射波刀作为全身肿瘤立体定向放射外科治疗设备之一,可以使得肿瘤患者病灶区域获得更高的生物有效剂量[11]。而在采用射波刀治疗肺癌患者的过程中,为解决肺部肿瘤及其周围正常组织、器官呼吸运动对治疗带来的影响[12],需要在治疗前对患者的肺部肿瘤植入金标便于在治疗过程中实施追踪肿瘤位置,以提高治疗精度。传统的金标植入方式是在CT引导下经皮穿刺技术,存在着并发症发生率高以及CT扫描增加额外辐射剂量的风险。ENB可通过支气管内带微传感器的探头进入更细的支气管分支到达病灶或周围进行定位,具有安全高效的发展潜力。然而,射波刀作为新型的全身立体定位放射外科治疗设备,许多县级医院的放疗科室无法配备[13]。且射波刀是高精尖的大型甲类医疗设备,价格昂贵,在教学培训过程中存在设备缺乏、教学成本高、辐射环境等问题,对学员的教学培训、患者宣教等造成了不便,限制了人才的培养与技术进步。金标刚体的工学知识对于医学专业人员相对抽象,不同学科之间的信息点杂糅,在传统的教学中显得晦涩难懂。精准医学是现代医疗科技和模式的改革和创新,是当前医学科技的主要发展方向[14]。新技术的应用需要经过长期的教育与培训,技术强化学习也被证明是临床应用中的重要组成部分,基于虚拟仿真的技术也成为了许多临床培训不可或缺的部分[15]。
针对传统金标植入技术存在的问题,本团队着眼于经智能导航支气管镜引导下在肿瘤周围的支气管或细支气管内植入金标的技术,开发了一套基于导航技术的肺部追踪金标放置路径软件,通过CT二维图像的三维重建,对病灶准确识别并且智能规划植入路径以及准确根据射波刀金标植入技术原则计算出患者个性化的金标最佳三维空间位置,旨在推动该技术成为一项无创、安全、精确的植入追踪金标技术。结合互联网信息技术的快速发展,为实现技术从概念到应用的转化,基于VR和AR等技术设计了支气管镜智能导航射波刀金标植入技术及实验的虚拟仿真实验,将生物医学工程类学科中放射治疗技术课程的教学重点和难点提取出来,与前沿科研成果相结合,以设计性虚拟仿真实验的方式把射波刀金标植入技术的原理和构造进行剖析介绍,并应用于临床培训。
VR等互联网技术在医学领域已经有了广泛应用,结合精准医学时代背景下人才培养的紧迫性,团队前期将VR技术与放疗相关技术的人才培养结合,进行了线上线下课程的理论和实践教学,具有高效便捷的特点,值得大力推广[7-8]。但是在金标植入技术的应用软件上,还未见有相关软件的文献报道。
本团队在实验过程中采用了中英文两种语言环境,可同时供国内外实验者操作使用,加强学科建设,拓宽了实验教学的覆盖面;实验软件服务于放射治疗技术专业的学员,是医工交叉成果向教学培训转换的产物,将金标刚体构造与原理的工学知识融入医学的实践操作,将抽象的知识点具像化,提高操作者的学习兴趣与效率;实验可反复操作且允许出错,操作者在重复的学习中不断巩固知识,掌握操作技巧。本实验软件自建设以来,在课堂教学中已经培养了210余名学生,广受好评;同时用于附属医院的医学影像技术专业、肿瘤放射治疗专业、医学影像学专业的在岗职工以及规培实习医生培训,效果良好;在患者宣教的应用中,可以让患者处于逼真的放疗环境中模拟真实的放疗场景,有助于理解复杂的放疗流程,显著减少患者在放射治疗过程中的紧张与焦虑,有效减少医患沟通分歧,增加了放疗过程的便捷。此外,实验软件响应智慧医疗、智慧教育的国家政策,将智能技术嫁接于健康医疗服务体系,在我国医疗资源相对发展不平衡的情况下,本研究的应用在解决资源供需矛盾上发挥其重要作用,并且在疫情防控下实现资源共享的最大化,有助于提升医疗服务的效率及效能。
互联网新兴技术手段以其独特的优势打破了传统教学的诸多限制,应用于医学教育中取得的成效有目共睹。然而,新兴技术仍存在着发展瓶颈与挑战,现有的VR技术软件不能模拟无实物物理触摸,这在需要触觉感受的临床学科中应用受限[9]。支气管镜智能导航金标植入技术在术前通过磁导航对靠近支气管的早期肺癌轴向、矢状面、冠状面进行运算整合,形成虚拟的3D支气管图像,智能规划导航金标植入路径。进而准确根据射波刀金标植入技术原则,术前计算出个性化的金标最佳三维空间位置,精确定点植入所需金标。该操作在规划植入路径的临床应用中仅需依靠鼠标键盘等电子设备,经过支气管镜智能导航金标植入技术虚拟仿真教学实验软件将抽象化为具体,引导实验者进行交互式的实践操作学习在定点植入金标这一环节缺少触觉反馈及检测实验者的手工技能,这将是未来本团队的研究方向,将更复杂的任务知识融入系统,关注现实反馈与性能检测,考虑到与最佳金标植入相关的各种因素。此外,本研究系统的研究结果是基于操作者的主观评价及技能的客观测量进行的定量评估,接下来会开展详细的学习成果研究,系统收集和定性参与者报告的数据,以评估系统在更普遍的医疗培训中的获益。
综上所述,支气管镜智能导航金标植入技术的虚拟仿真教学实验软件在学生的教学和相关专业的工作人员的培训中具有应用价值。未来本研究将加强资源的开发与建设,在界面友好性、与系统适配性等方面继续改进,使本软件适用于不同型号的电脑、不同版本的浏览器,以达到新医科背景下智慧教育的全覆盖,营造出新的教学培训生态,促进肿瘤放疗的精准化发展。
利益冲突 本研究有署名作者按以下贡献声明独立开展,未因进行该研究接受任何不正当的职务或财务利益,再次对研究的独立性和科学性予以保证
作者贡献声明 傅芬芳、陈静负责设计研究方案,研究实施及论文撰写;邓显智、陈明辉负责研究实施及收集数据;李诺兮负责文献查找,收集实验数据;董芳芬、郑芬负责数据分析与研究的实施;姚剑敏、李小波提出研究思路与论文修改;徐本华负责技术指导
[1] |
Bray F, Ferlay J, Soerjomataram I, et al. Global cancer statistics 2018:GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA Cancer J Clin, 2018, 68(6): 394-424. DOI:10.3322/caac.21492 |
[2] |
于旭耀, 王煜雯, 袁智勇, 等. 射波刀治疗周围型非小细胞肺癌中金标位移统计分析[J]. 医疗卫生装备, 2020, 41(12): 63-66. Yu XY, Wang YW, Yuan ZY, et al. Statistical analysis of fiducial marker displacement in peripheral non-small cell lung cancer[J]. Med Health Equip, 2020, 41(12): 63-66. DOI:10.19745/j.1003-8868.2020277 |
[3] |
Kupelian PA, Forbes A, Willoughby TR, et al. Implantation and stability of metallic fiducials within pulmonary lesions[J]. Int J Radiat Oncol Biol Phys, 2007, 69(3): 777-785. DOI:10.1016/j.ijrobp.2007.03.040 |
[4] |
Casutt A, Noirez L, Bernasconi M, et al. Endobronchial coil spring fiducial markers for CyberKnife® stereotactic body radiation therapy[J]. Respirology, 2021, 26(5): 469-476. DOI:10.1111/resp.14006 |
[5] |
Son H, Ross A, Mendoza-Tirado E, et al. Virtual reality in clinical practice and research: viewpoint on novel applications for nursing[J]. JMIR Nurs, 2022, 5(1): e34036. DOI:10.2196/34036 |
[6] |
Bridge P, Trapp JV, Kastanis L, et al. A virtual environment for medical radiation collaborative learning[J]. Australas Phys Eng Sci Med, 2015, 38(2): 369-374. DOI:10.1007/s13246-015-0348-3 |
[7] |
郑芬, 徐本华, 黄妙云, 等. 基于虚拟现实技术的放疗CT模拟定位远程培训系统研发[J]. 中华放射肿瘤学杂志, 2020, 29(12): 1070-1074. Zheng F, Xu BH, Huang MY, et al. Research and development of remotetraining system for radiotherapy CT simulation based on virtual reality technology[J]. Chin J Radiat Oncol, 2020, 29(12): 1070-1074. DOI:10.3760/cma.j.cn113030-20200725-00380 |
[8] |
董芳芬, 江柳清, 郑芬, 等. 新医科下图像引导放疗误差分析虚拟仿真教学培训系统的研发应用[J]. 中国医疗设备, 2021, 36(4): 157-161. Dong FF, Jiang LQ, Zheng F, et al. Designand application of virtual simulation teaching and training system for error analysis of image guided radiotherapy in new medical mode[J]. Chin Med Devices, 2021, 36(4): 157-161. DOI:10.3969/j.issn.1674-1633.2021.04.036 |
[9] |
李小波, 董芳芬, 宋文芳, 等. 虚拟现实技术在放疗技术教学中的应用[J]. 中华放射肿瘤学杂志, 2018, 27(12): 1093-1096. Li XB, Dong FF, Song WF, et al. Application of virtual reality technology in radiotherapy technology teaching[J]. Chin J Radiat Oncol, 2018, 27(12): 1093-1096. DOI:10.3760/cma.j.issn.1004-4221.2018.12.014 |
[10] |
Slagowski JM, Colbert LE, Cazacu IM, et al. Evaluation of the visibility and artifacts of 11 common fiducial markers for image guided stereotactic body radiation therapy in the abdomen[J]. Pract Radiat Oncol, 2020, 10(6): 434-442. DOI:10.1016/j.prro.2020.01.007 |
[12] |
史玉静, 李金凯, 鞠孟阳, 等. 肺部肿瘤在放疗分次间随呼吸模式变化的研究[J]. 中国医学物理学杂志, 2018, 35(5): 509-513. Shi YJ, Li JK, Ju MY, et al. Displacements of pulmonary tumors with the changes of respiratory patterns in fractionated radiotherapy[J]. Chin J Med Phys, 2018, 35(5): 509-513. DOI:10.3969/j.issn.1005-202X.2018.05.003 |
[13] |
邢宇. 2019年中国27省份地区县级放疗单位人员设备配置现状及公平性分析[D]. 蚌埠: 蚌埠医学院, 2022. DOI: 10.26925/d.cnki.gbbyc.2022.000029. Xing Y. Analysis of the status and fairness of personnel and equipment allocation of county-level radiotherapy units in 27 provinces in China in 2019[D]. Bengbu: Bengbu Medical College, 2022. DOI: 10.26925/d.cnki.gbbyc.2022.000029. |
[14] |
高艳玲. 浅析精准医学大数据的分析与共享[J]. 电脑知识与技术, 2021, 17(28): 27-29. Gao YL. The analysis and sharing of precision medicine big data[J]. Comput Know Technol, 2021, 17(28): 27-29. DOI:10.14004/j.cnki.ckt.2021.2978 |
[15] |
Bartlett JD, Lawrence JE, Stewart ME, et al. Does virtual reality simulation have a role in training trauma and orthopaedic surgeons?[J]. Bone Joint J, 2018, 100-B(5): 559-565. DOI:10.1302/0301-620X.100B5.BJJ-2017-1439 |