长崎大学用Hololens2和Azure Kinect DK构建远程医疗系统

　　在日本偏远的岛屿和农村地区，没有大型医院提供专门护理。为了缩小医疗保健方面的差距，长崎大学把目光投向了拥有巨大潜力的混合现实和3D技术。

　　2021年，研究团队开发了长崎大学类风湿关节炎远程医疗系统(Nagasaki University Rheumatoid Arthritis Remote Medical System;NURAS)，而这是日本第一个用于治疗类风湿关节炎的远程医疗系统。同年3月，长崎大学和位于长崎县离岛的五岛中央病院开始了示范实验，并以MicrosoftAzureKinect DK和Hololens2作为基础。未来，远程医疗将在日本各个地区的偏远岛屿和偏远地区实现。

　　1. 消除医疗保健方面的差距

　　长崎县拥有大量的离岛。出生率下降和人口老龄化导致医疗人员长期短缺。特别是，在急需专家的地区，与市中心的医疗差距已成为一个重大问题。

　　由于风湿性关节炎治疗需要高水平的专业知识，岛上居民一般会前往本岛医院咨询专家。但是，长途旅行是患者的主要生理和心理负担，而且自新冠疫情爆发以来，长途旅行变得更加困难。

　　长崎大学大学院医齿药学综合研究科的离岛医疗研究所助教野中文阳表示：“很多患者都希望在五岛中央病院完成治疗。”

　　类风湿性关节炎是一种难以治疗的疾病。不过，生物制剂和其他治疗剂已使早期诊断和适当治疗成为可能。为了帮助偏远岛屿居民以及主岛居民能够接触到相关专家，长崎大学选择了微软的混合现实和3D技术。

　　野中文阳指出：“我们曾尝试通过可穿戴的摄像设备向远程专家发送图像和声音。但是，专家很难看到受影响的区域，而且患者无法直接与专家沟通。”

　　2. 使用HoloLens2来实现远程诊疗

　　2019年春天，微软日本的首席技术官榊原彰在日本风湿病学会主办的演讲会中介绍了使用HoloLens和Azure Kinect DK的诊疗技术。长崎大学大学院医齿药学综合研究科的讲师川㞍真也有参加所述活动，并确信3D影像的巨大信息量可以用于离岛偏僻地区的关节风湿诊疗。后来，HoloLens 2的技术演示给川㞍真也带来了灵感。

　　川㞍真也回忆道：“真实世界和全息图能够融合在一起，你仿佛就是在科幻小说的世界里。在临床实践中使用混合现实设备将在不久的将来实现。”

　　在2020年的春天，作为一个行业-学术联合项目，研究团队开始将HoloLens 2和Azure Kinect DK用于开发远程医疗系统NURAS。

　　系统开发由Rocket Studio和微软日本提供支持。2020年夏天，由于疫情影响，团队选择通过Microsoft Teams举行了在线会议，讨论了一系列的重要事项。2020年10月，原型测试在长崎大学和五岛中央病院远程进行，并于12月完成。2021年3月，这所大学开启了实验演示。

　　川㞍真也指出：“项目开发的重点是，偏远地区的专家是否能够像面对面护理那样提供医疗护理。我们已经构建出一系列的原型，而每次我们都要求他们进行改进，例如调整手指图像，并使其能够尽可能精确地表达皮肤皱纹和不规则表面。我们能够快速做出反应，并获得比预期更好的结果。”

　　3. 重新发现成功的概念验证，Microsoft Teams带来了有效沟通

　　在远程医疗中，偏远地区的患者和当地医师，以及远程专家之间的成功合作非常重要。

　　团队在位于离岛的五岛中央病院安装了一台摄影仪器，然后三台Azure Kinect DK设备设置在患者周围，从而在三个方向同时成像病理情况。成像设备本身约为半平方厘米，而患者与当地医师之间的距离非常接近，这能够减少患者的不适感。

　　图像实时传输到长崎大学，并允许专家使用HoloLens 2查看图像。病理区域的全息3D图像可以从不同角度查看，并且可以使用手指操纵移动。在检查周围区域的同时能够在办公室内移动是混合现实设备的一个重要优势。

　　另外，团队使用Microsoft Teams来帮助患者、当地医师和远程专家进行实时沟通。

　　野中文阳解释道：“通过Teams，病人可与他们的当地医师及远程专科医生沟通，从而实现安全感和满意感。当地医师可以在专家的适当建议下诊查病人。三方通信是这个系统的吸引人之处之一。”

　　4. 使用人工智能支持远程专家

　　2018年，日本风湿病学会成立了人工智能医学促进委员会，而委员会的第一任主席是长崎大学的风湿病和自身免疫/炎症疾病领域教授川上纯。

　　川上纯解释道：“AI在诊断成像和癌症基因组学研究方面已经取得了显著的成果。我们相信AI可以用于类风湿性关节炎领域的标准化数据，并通过超声波、患者档案和血液检测对关节进行图像分析。”

　　类风湿性关节炎的诊查必不可少，患者报告的结果(PROs)同样重要。目前的衡量标准包括评估身体功能的健康评估问卷和与健康相关的生活质量量表。然而，人工智能对PROs信息的分析将有助于医生发现细微变化，并为患者提供更为合理的医疗护理。

　　野中文阳希望“人工智能能够检测出医生难以判断的细微面部变化”，他进一步指出：“(人工智能)有助于在测量患者满意度或总结重新考虑治疗的必要性等方面提供支持。”

　　作为下一步，川上纯将大力推广实施Microsoft Azure AI技术。

　　第一，Azure Cognitive Services(AI)可用于Azure Kinect DK评估患者的面部表情，并自动衡量患者的情绪。

　　第二，Azure Custom Vision用于从病理图像中检测肿胀的关节，从而提高混合现实诊查的准确性。

　　第三，Teams中的语言识别功能用于会诊期间的文本对话，然后保存在医疗图表中。理想情况下，从对话中收集信息的能力将提高系统层面的医疗质量，并减少医疗咨询所需的时间。

　　5. 将远程医疗业务扩展到日本各地

　　川上纯指出：“风湿性关节炎远程诊疗在日本是第一次，而在世界范围内同样是一次非常先进的实验。我们希望我们在这项实验测试中的经验能够帮助所述系统推广到更广泛的地区。同时，我们希望将这个系统应用于其他医疗领域，如神经系统、运动神经系统、或者皮肤病。”

　　野中文阳则表示：“通过推广远程医疗，我们可以提高偏远岛屿和偏远地区患者的生活质量。”

　　川上纯进一步补充道：“到目前为止，与不同部门的合作尚不充分。为了提升研究成果，我们必须与不同领域的人合作开发这一项目。”他观察到，没有不同部门之间的合作，创新就不会发生。

　　在日本进行的首次实验演示反映了相关人员的热情以及不同行业之间的合作。如今，人们普遍认为生活质量的提升是由各种技术的发展所支撑，而这显然包括医疗领域。但当然，长崎大学这群先驱者将继续致力于解决前方的挑战，从而为患者带来真正的福音。