机器人超声学家：在贝叶斯优化中使用领域专业知识的自主机器人超声-1 Deepak Raina12、SH Chandrashekhara3、Richard Voyles2、Juan Wachs2、Subir Kumar Saha1摘要超声是一种重要的成像方式，用于各种诊断和介入手术。然而，需要专业的声谱学家在人体上准确地操纵探头，同时为了诊断目的理解超声图像。这一程序需要大量的培训和长达几年的经验。在本文中，我们提出了一种自主机器人超声系统，该系统使用贝叶斯优化（BO）与领域专业知识相结合来预测并有效扫描可以获得诊断质量超声图像的区域。质量图是扫描区域中图像质量的分布，使用BO中的高斯过程进行估计。这依赖于使用专家对高质量探测操作的演示建模的先验质量图。将超声图像质量反馈提供给BO，BO使用深度卷积神经网络模型进行估计。该模型之前是在放射科医生为诊断质量标记的图像数据库上进行训练的。在三种不同膀胱模型上的实验验证了所提出的自主超声系统可以获取超声图像其探测位置和力的准确度分别为98.7%和97.8%。引言超声由于其低成本、非电离性质、便携性和实时反馈，是诊断和手术干预中最常用的成像方式。与其他成像方式（如磁共振成像（MRI）和计算机断层扫描（CT））相比，超声具有几个优势，然而，超声诊断是一种高度依赖于操作员的方式这是因为手动控制探头和对采集图像进行质量评估所需的技能。超声学家采用定向和随机探索策略来搜索诊断质量的图像。超声探头最初通过手动操作在感兴趣区域内移动，随后对探头的平移和旋转运动进行微调。这些操作还包括通过探头安全精确地调整压力，同时分析采集图像的质量。如此复杂的手术需要声谱学家的大量技能、专注力、经验和手动操作。在农村地区，熟练的声谱师的可用性有限并且需要替代的解决方案。 这项工作得到了SERB（印度）OVDF奖SB/S9/Z-03/2017-VIII的部分支持；PMRF-印度理工学院德里分校，参考F.第35号-2017年5月TS.I:PMRF；美国国家科学基金会（NSF）2140612；Daniel C.Lewis教授和PU-IUPUI种子基金。为了减轻专家的负担，介绍了一种机器人超声系统。RUS由一个dex-terous机械臂和一台超声波机组成，超声波机的探头连接在机器人的末端执行器上，如图 1所示，RUS可以帮助确保超声程序的准确性、安全性和一致性。最近，为了满足上述需求，已经提出了几种远程机器人或人类辅助超声系统与这些系统相比，全自动超声系统提供了各种潜在的好处，包括更短的手术时间、更短的学习曲线、最小的通信延迟和降低的认知负荷然而，有效的自主RUS面临着关键挑战。最重要的挑战之一与超声图像采集的手部运动有关。这样的图像表现出相当大的受试者间和受试者内的可变性，并且图像质量高度依赖于超声探头的精确位置、定向和压力。如果探头操作不正确，生成的图像会出现噪声、伪影、边界模糊和能见度低，从而无法进行诊断。超声学家依靠视觉和触觉反馈、解剖信息以及先前医学教育中的诊断专业知识来快速获取高质量图像。因此，RUS必须以最少的探索步骤定位具有可接受诊断图像质量的区域，用于患者间和患者内手术。在本文中，我们提出了一种自主机器人超声系统，该系统使用基于贝叶斯优化搜索的领域专业知识来扫描解剖区域，以获取诊断质量的超声图像，从而消除了彻底扫描整个区域的需要。我们工作的主要贡献如下：我们在BO中提出了从专家对高图像质量探测姿态的演示中收集的先验，称为专家的先验。BO然后将区域的未知图像质量估计为具有专家先验的半参数高斯过程模型。提出了一种新的图像质量度量，该度量使用由专业放射科医生标记为诊断质量的超声图像数据集进行训练，该数据集向BO提供该区域的图像反馈。我们使用三个膀胱模型进行了实验验证，这些模型需要不同的探测操作来获得高图像质量。结果表明，我们的系统在所有体模中一致且自主地获取高质量的超声图像。我们相信，将BO与领域专业知识相结合来进行自主超声扫描，将减少对专家可用性的依赖，并在偏远和服务不足的人群中更广泛地应用。A.相关工作自主式机器人超声系统：近年来，人们提出了一系列自主式机器人超声波系统，以最大限度地减少人类干预。早期的工作将图像特征用于基于超声图像的视觉伺服后来，各种系统使用了基于像素的置信图方法以及用于优化探针姿态和力的结构分割。然而，这些基于图像特征和像素的方法是模态特定的，计算成本高昂，并且没有考虑诊断方面的重要性。Hennersperger等人。使用术前MRI扫描开发了自主系统，然而，MRI的获取成本相当高。Ma等人。提出了通过使用RGB-D传感器数据定位目标区域的自主肺部扫描。然而，该系统仅使用力反馈，不依赖于超声图像反馈，从而限制了其诊断准确性。最近，李等人提出了一种深度强化学习（RL）框架来控制脊柱超声探头，将图像质量优化纳入奖励公式中。然而，这些系统的成功仅限于在训练期间包含数据的模型和患者。此外，在医疗系统中部署RL非常具有挑战性，因为它需要与人体进行大量的物理交互，并带来安全和伦理问题。与这些系统相比，所提出的自主超声系统缩小了使用BO扫描的区域，消除了彻底扫描整个区域的需要。我们进一步建议以BO先验和图像质量度量的形式使用从专家那里收集的领域专业知识，以获取诊断质量的超声图像。医疗机器人的贝叶斯优化：由于其快速优化能力，BO已被用于安全关键的机器人医疗程序，如自主机器人触诊，半自主手术机器人, 髋关节外骨骼的控制器调谐和自主机器人超声波。 我们的工作是对Goel等人的工作的非琐碎扩展。他们提出使用BO进行自主超声，利用超声图像中血管的分割作为对BO的反馈，扫描具有高血管密度的区域。他们使用混合位置力控制在（x，y）平面上移动机器人，同时保持恒定沿z方向施加力至接触点。在里面相比之下，我们的工作提出了两个技术改进以增强这种方法的实用性。首先，我们建议使用深度学习模型来生成超声图像的质量分数，作为对BO的反馈，而不是依赖于组织或结构的分割掩模。后一种方法对专家来说可能非常耗时和耗费精力，因为他们需要注释解剖结构的边界，同时考虑到超声图像噪声和由于机器设置、探头压力和患者解剖结构引起的可变性。其次，我们扩展了BO的功能，使其能够沿（x，y，z）轴搜索最佳扫描区域。值得注意的是，z轴处于可变力控制下，以应对变化的生理条件。BO中的领域专业知识：BO可以以专家（从业者）对最优的潜在位置的先验（信念）的形式利用专家的知识。 这种技术主要用于图像和文本数据集的超参数调整。开源机器学习数据集和机器人仿真实验。最近的一些工作将专家的知识以先验的形式用于医疗机器人，Ayvali等人提出了使用BO检测组织异常的机器人触诊。他们修改了BO的采集功能，其值在用户提供的位置达到峰值。朱等提出了一种使用BO定位最佳音质位置的自主机器人听诊系统。方法论自主机器人超声系统的管道如图 2所示，在离线阶段，专家将展示潜在的探测姿态，以获取诊断质量的图像。该演示的数据将用于构建先验质量图，该先验质量图对关于预期图像质量的先验解剖近似进行编码。我们还建立了一个具有标记图像质量的人类和幻影膀胱超声图像数据集，并训练了图像质量评估指标的深度学习模型。在在线阶段，我们使用BO来选择探头姿态，以利用先前的映射和从领域专业知识中收集的质量度量来找到最佳超声图像质量。A.贝叶斯优化公式我们使用BO自适应地搜索探测姿态，以在指定的范围内产生高质量的超声图像解剖区域。设A是人体上包围解剖结构的感兴趣区域，则BO的目标是解决： 其中q(I(p))表示超声图像的质量分数, I在探头姿态p处。BO将计算概率使用先验和图像质量度量形式的领域专业知识来估计整个人体的未知质量图q(I(p))。采集功能被优化以产生新的探测姿态。一旦发现新的观察结果，就将估计值重新拟合到数据中，并重复该过程，直到达到终止标准，终止标准是最大合理迭代Nmax或充分诊断所需的估计质量分数阈值。算法1概述了整个算法。完成度{progress percentage="25%" color="#e172e3"/}