人工智能的合成数据在机器人辅助手术中优于真实数据

虽然人工智能继续改变医疗保健，但该技术有一个致命弱点：训练人工智能系统执行特定任务需要大量带注释的数据，而工程师有时没有或无法获得这些数据。在一个完美的世界中，研究人员将能够在需要时以数字方式生成所需的精确数据，从而释放 AI 的新功能。

SyntheX 的整体概念。上图：基于学习的医学成像任务的传统方法。管理真实 X 射线样本的相关数据库需要领域专家的真实数据采集和昂贵的注释。底部：SyntheX 可以简化和扩大数据管理，因为数据生成是合成的，合成数据可以通过 3D 模型的传播自动注释，3D 模型可以是 CT 扫描或体积手术工具模型。SyntheX 生成的深度学习图像分析模型的性能与真实数据训练模型相当或更好。使用Biorender.com创建的图形。

然而，实际上，即使以数字方式生成这些数据也很棘手，因为现实世界的数据，尤其是医学数据，是复杂且多方面的。但解决方案正在酝酿之中。怀廷工程学院计算传感和机器人实验室的研究人员已经创建了软件来逼真地模拟开发 AI 算法所需的数据，这些算法在手术中执行重要任务，例如 X 射线图像分析。

该研究于 3 月 20 日发表，发现使用名为 SyntheX 的新系统构建的算法在多个应用程序中的性能与根据真实数据构建的算法一样好，甚至更好，包括让机器人能够检测手术手术过程中的仪器。

“我们表明，生成逼真的合成数据是开发人工智能模型的可行资源，而且比收集真实临床数据更可行，后者可能非常难以获得，或者在某些情况下根本不存在，”说Mathias Unberath，计算机科学助理教授，该论文的高级作者。

以 X 射线引导手术为例。假设您想开发一种新的手术机器人和相关算法，使其能够在手术过程中将器械放置在正确的位置。只有一个障碍：所需的训练数据集——在这种情况下，高度特定的 X 射线图像——不存在。

答案？研究人员说，通过模拟生成所需的数据。在其研究中，该团队着手模拟 X 射线图像，这些图像将反映真实患者接受这种机器人辅助手术时拍摄的图像。为此，研究人员利用了类似于《模拟人生》或《我的世界》等流行模拟视频游戏中的复杂计算机模拟的力量。

为了准确评估基于模拟的 AI 算法与基于真实数据的算法的叠加程度，研究人员进行了一项史无前例的研究，他们在现实和模拟中创建了相同的 X 射线图像数据集平台。

首先，他们进行了一系列真实的 X 射线和 CT 扫描，这些扫描是使用外科 C 型臂 X 射线系统从尸体上采集的。接下来，他们生成了“合成”X 射线图像，精确地再现了真实世界的实验。然后使用真实和模拟数据集开发和训练新的 AI 算法，这些算法能够对真实的 X 射线图像做出具有临床意义的预测：髋关节成像分析、机器人手术器械检测和 COVID 诊断。归根结底，该团队发现在模拟数据上训练的算法的性能与在真实数据上训练的 算法一样好。

“传统上，在合成数据上训练的模型在真实临床数据上效果不佳，但 SyntheX 的情况并非如此，”Unberath 说。“我们证明了仅使用模拟 X 射线训练的模型可以应用于来自诊所的真实 X 射线，而不会损失任何性能。”

该团队表示，该系统似乎是第一个证明真实模拟对于开发 X 射线图像分析模型既方便又有价值的系统，这为各种新颖算法铺平了道路。

“健康数据，尤其是手术数据，是一个挑战，合成数据可以产生巨大的影响。与获取真实的患者数据相比，生成大规模模拟数据更灵活、更高效、更便宜，并且避免了隐私问题，”主要作者补充道Cong Gao，Unberath 实验室的前研究生，现在是 Intuitive Surgical 的图像算法工程师。

该团队计划将 SyntheX 打造成一个用于数据模拟的开源工具，以便其他研究人员可以获得他们需要的数据集。

“如果你需要来自尸体或诊所的真实数据，那么全世界只有极少数大学可以进行这项研究。我们的系统允许研究人员仅使用模拟和模拟数据来开发有意义的算法，这意味着更多的人可以在这个领域做出有意义的贡献和创新， “Unberath 说。