肝恶性肿瘤包括肝细胞癌(HCC)、肝内胆管细胞癌(ICC)和转移性肝癌等，是常见且预后极差的恶性肿瘤。影像学诊断为治疗决策和预后判断提供了不可或缺的支持，然而不同肝恶性肿瘤通过影像学诊断常有误诊。临床上不同肝恶性肿瘤的治疗策略差异巨大，医生在手术、靶向、免疫等治疗前对患者肿瘤类别的准确诊断至关重要。近期，附属新华医院顾劲扬教授团队、上海交通大学生命科学技术学院俞章盛教授团队、杭州市第一人民医院徐骁教授团队、附属仁济医院刘颖斌教授团队合作在Journal of Hematology & Oncology杂志发表的研究提出了一种运用深度学习基于患者术前多期造影增强CT和临床数据对肝脏恶性肿瘤进行判别的智能诊断系统，达到与资深放射科医生相当的判别水平。更可喜的是，在该系统辅助下，放射科医生诊断准确率得以提升，结果在多中心数据中得到验证。该系统可以作为辅助诊断工具，指导医生鉴别肝恶性肿瘤，有望为医疗欠发达地区提供强有力的影像学诊断支持，并提高三甲医院放射科的诊断准确率，为肝癌患者制定最佳治疗方案，促进肝癌的精准治疗。

研究者提出的STIC模型以多期造影增强CT和临床特征作为输入，最后输出每类肝恶性肿瘤的分值，其框架包含四个不同的模块。SpatialExtractor模块利用卷积神经网络(CNN)提取CT的空间特征，TemporalEncoder模块使用门控循环神经网络(RNN)挖掘不同期CT之间的变化模式，Integration模块将提取到的影像特征与临床特征融合，Classifier模块通过softmax激活函数实现分类任务。

图一 研究设计的流程图

该智能诊断系统对于三类肝恶性肿瘤的判别在测试集上达到72.6%的准确率，与高年资放射科医生的共识诊断水平(70.8%)相当。在系统辅助下，进一步研究发现三位高年资医生的诊断水平均优于医生共识诊断，判别准确率平均提高8.3%，对ICC诊断的敏感性平均提高26.9%。在来自中心2的外部测试集中，智能诊断系统达到82.9%的准确率，验证了模型的泛化能力。

图二 肝恶性肿瘤智能诊断系统的结构示意图

之前已有研究利用深度学习对肝肿瘤进行初步鉴别，但大多聚焦于良恶性分类，对肝恶性肿瘤缺乏精准的细分，尤其对ICC的诊断精度较低。本研究构建的智能系统运用深度CNN和门控RNN，整合包含患者术前多期造影增强CT和临床特征的多模态数据，实现了对HCC、ICC和转移性肝癌的有效鉴别，具有与经验丰富的医生相当的诊断水平，并且在不同中心验证中表现出良好的泛化能力。

此次发表论文的第一作者为上海交通大学生命科学技术学院“致远荣誉计划”博士研究生高瑞恬，共同第一作者为附属新华医院赵帅博士、克德尔亚·艾山江硕士研究生、蔡浩博士以及交大生命科学技术学院博士研究生魏婷。附属新华医院顾劲扬教授、交大生命科学技术学院俞章盛教授、杭州市第一人民医院徐骁教授、附属仁济医院刘颖斌教授为共同通讯作者。该研究受到国家自然科学基金重点项目、面上项目、上海申康“三年行动计划”重大临床研究专项、上海交通大学“医工交叉研究基金”等项目资助。