Paper List

期刊: Journal of Biomedical Informatics
发布日期: 2026-03-18
BioinformaticsMedical Imaging

基于病例相似性搜索的放射学印象多模态检索增强草稿生成

Independent AI Researcher, Austin, Texas, USA

Himadri Sekhar Samanta
Figure
Figure
Figure
Figure
Figure

30秒速读

IN SHORT: 通过将印象草稿基于检索到的历史病例，并采用明确引用和基于置信度的拒绝机制，解决放射学报告生成中的幻觉问题。

核心创新

  • Methodology Multimodal fusion of CLIP-based image and text embeddings improves retrieval performance from Recall@5=0.633 (image-only) to 0.956 (fusion).
  • Methodology Citation-constrained draft generation with explicit case identifiers ensures traceability and reduces unsupported claims.
  • Biology Demonstrates that textual impression semantics provide complementary clinical information beyond visual appearance alone for chest X-ray interpretation.

主要结论

  • 多模态融合（α=0.5）在临床相关发现上实现了Recall@5=0.956，显著优于仅图像检索（Recall@5=0.633）。
  • 部署的系统实现了平均引用覆盖率为0.867，平均top-1检索相似度为0.980，展示了强大的证据基础。
  • 基于置信度的拒绝机制通过相似度阈值防止对分布外输入生成报告，增强了临床安全性。
研究空白： 当前放射学报告生成的生成式方法存在幻觉和缺乏临床基础的问题，而现有的检索方法通常使用单一模态，缺乏明确的证据归因和安全机制。

摘要: 随着深度学习和大型语言模型的兴起，自动化放射学报告生成受到越来越多的关注。然而，完全生成式方法经常出现幻觉和缺乏临床基础的问题，限制了其在真实工作流程中的可靠性。本研究提出了一种多模态检索增强生成系统，用于胸部X光印象的基于事实的草稿生成。该系统结合了对比图像-文本嵌入、基于病例的相似性检索和引用约束的草稿生成，以确保与历史放射学报告的事实一致性。使用MIMIC-CXR数据集的精选子集构建了多模态检索数据库。图像嵌入使用CLIP编码器生成，而文本嵌入则从结构化的印象部分提取。使用FAISS索引实现了融合相似性框架，用于可扩展的最近邻检索。检索到的病例用于构建基于事实的提示以生成印象草稿，并通过安全机制强制执行引用覆盖和基于置信度的拒绝。实验结果表明，与仅使用图像的检索相比，多模态融合显著提高了检索性能，在临床相关发现上实现了Recall@5超过0.95。基于事实的草稿生成流程产生了具有明确引用可追溯性的可解释输出，相比传统生成方法提高了可信度。这项工作突显了检索增强多模态系统在可靠临床决策支持和放射学工作流程增强方面的潜力。