构造成句子段落和部分这对于人类读者和模型的

hegopev132d

理解内容都起着关键作用。 3）处理长文本可能会引发内存管理方面的实际问题。 SMITH 模型经过训练可以理解整个文档上下文中的段落，因为它将输入文本的最大长度从 512 增加到 2048。 SMITH 的一个重要部分是“预训练和调优”范式，这也提供给了 BERT。不同的是，这里不仅隐藏了单个单词，还隐藏了句子块。 我们对史密斯算法的了解是，谷歌已经发布了描述其主要优点的研究论文，但尚未正式宣布其实现。一些人猜测它是在谷歌 2020 年 12 月的更新中实现的，但尚未得到验证，而另一些人则认为这只是一个停留在“纸面上”的项目，但从未实施过。

Google MUM：多任务统一模型。 在一年一度的 Google I/O 2021 大会上，Google 的 Prabhakar Raghavan 展示了一项名为 MUM 的新技术，它代表多任务统一模型。 借助 MUM，Google 或许能够更好地理解更复杂的问题和需求。与 BERT 一样，它也是基于Transformer 架 WhatsApp 号码数据 构构建的，但功能强大 1000 倍，并且能够同时执行多个任务。MUM 接受了多达 75 种不同语言的训练，能够理解文本和图像等不同格式的信息，但在未来，它将能够扩展到音频和视频等其他模式。 在 I/O 大会上，Raghavan 举了这样一个例子：“我徒步旅行了亚当斯山，明年秋天我想徒步旅行富士山。我应该做哪些不同的准备？” 。今天要给出这个答案，谷歌应该会收到具体的搜索，例如“富士山的高度是多少？



富士山秋天的平均气温是多少？”、 “富士山徒步路线的难度是什么？ ” ”、“富士山徒步适合使用什么装备”等。 然而，通过单个推理查询，MUM 可能能够理解您正在比较两座山，因此它会自动提供有关海拔和路线的信息。此外，您会明白，在徒步旅行的背景下，“准备”可能包括有关培训和正确设备的信息。MUM 可能会参考网络上有用的文章、视频和图像，提出相关主题以进行更深入的探索。此外，用户还可以拍摄登山鞋的照片并询问：“我可以用这些登山鞋去徒步富士山吗？” MUM 会理解图像并将其与问题联系起来，设法提供有关所选设备是否合适的答案。最后，很高兴知道 MUM 可以从不是用执行搜索的用户所使用的语言编写的源中学习。