然后我们通过缩写每个扩展来重

ditihekhatun16

写这些句子从而产生看起来像是由医生编写的网络数据。例如如果一个网站包含短语房颤患者可能有胸痛我们会将这句话重写为房颤患者可能有胸痛。然后我们使用缩写文本作为模型的输入并使用原始文本作为标签。这种方法为我们提供了大量数据来训练我们的模型来执行缩写扩展。在之前的研究中引入了反向替换长形式缩写的想法但我们的分布式算法允许我们将该技术扩展到大型网络大小的数据集。我们的算法称为网络规模反向替换旨在确保稀有术语更频繁地出现并在公共网络上对常见术语进行下采样以获得更平衡的数据集。有了这些数据我们训练了一系列基于的大型语言模型来扩展网络文本。

我们通过从具有相  格鲁吉亚电话号码列表 应医学缩写左侧阴影框的公共网页中提取短语然后替换为适当的缩写右侧阴影点生成文本来训练我们的模型进行解码任务。由于某些单词的出现频率比其他单词高得多患者比胫骨后肌多这两个单词都可以缩写为因此我们对常见扩展进行了下采样以在数千个缩写中得出更平衡的数据集。由等人在下使用。使蛋白质比对算法适应非结构​​化临床文本在缩写扩展的特定任务上评估这些模型是很困难的。因为它们生成非结构化文本作为输出所以我们必须弄清楚输入中的哪些缩写对应于输出中的哪些扩展。为了实现这一目标我们创建了算法的修改版本该算法最初是为分子生物学中的发散序列比对而设计的用于比对模型输入和输出并提取相应的缩写扩展对。




使用这种对齐技术我们能够评估模型准确检测和扩展缩写的能力。我们评估了各种大小从万到超过亿个参数的文本到文本传输转换器模型发现较大的模型比较小的模型执行翻译效果更好其中最大的模型实现了最佳性能。创建新的模型推理技术来诱导模型然而我们确实发现了一些意想不到的事情。当我们根据真实临床记录评估多个外部测试集的性能时我们发现模型会留下一些未扩展的缩写而对于较大的模型扩展不完全的问题甚至更严重。这主要是因为虽然我们用网络上的扩展来代替缩写但我们无法处理已经存在的缩写。这意味着缩写词出现在用作各自标签和输入的原始文本和重写文本中并且模型学会不扩展它们。