[音乐]
[播音员] 这是公共资源
[卡尔·马拉默德] 你好，我是卡尔·马拉默德。
欢迎使用通用索引。
我们在这里为您免费且无限制地呈现 使用一组从 1.07 亿中提取的 n-gram，
23.3 万篇，728 篇期刊文章。
n-grams 范围从单个单词，已知 作为 unigrams，到两个词的短语（bigrams）
最多 5 个单词的短语，称为 5-gram。
总共有 3550 亿行 n-gram 在本次发布的综合指数中，每个
对应于期刊文章中的命中。
一个名为 Spacy 的工具包用于提取 我们拆分的 n-gram
跨越十六个文件。
与每一行相关联的是一个 md5 哈希，它 代表期刊文章。
此外，我们列出了 文章中的 n-gram。
我们希望随着时间的推移也列出频率 在整个语料库中，相关性度量
称为 TD/IDF。
除了 n-grams，General Index 包含使用 Yake 提取的关键字
toolkit.Yake “基于文本统计 从单个文档中提取的特征
选择文本中最重要的关键词。”
一般索引关键字表包含 共190亿个关键词。
最后，通用索引包含元数据 表，将 md5 哈希映射到诸如
期刊文章的 DOI 唯一地址， 标题、作者和期刊。
这是通用指数的早期发布， 一项正在进行的工作。
在某些情况下，文本提取失败。
有时，元数据不可用，或者是 甚至可能不正确。
虽然底层语料库很大， 不完整，也不是最新的。
有很多方法可以改进， 我们期待让将军
随着时间的推移索引更好。
综合指数约占38 Postgres 形式的 TB 级数据
转储，但是通过压缩，这个 ASCII 数据减少到 8.5 TB。
您可以直接从这里下载数据， 或使用诸如 bittorrent 之类的工具。
随意创建镜像或其他公共 重新分配通用索引的存储库。
我们希望它可以被赋予一个数字 用途。我们一直在使用 Postgres 数据库，
并使用通用索引进行搜索 主列表中的植物名称。
该索引可用于搜索其他 物体，如化学物质、各种基因
编码、蛋白质、材料、地名、 或其他实体。
代替 Postgres 数据库，其他技术， 例如BERT，可以应用于数据。
这是一个查找工具，一个知识词典， 知识地图，我们相信的工具
是实践的必要设施 我们现代的科学。
这种对知识的一般索引并不能使 可用的基础语料库，而是事实
是从语料库中提取的。
这是一个非消费 和转化使用。
我们将此视为公共事业。我们断言 对一般索引没有所有权。
它致力于公共领域，一系列 无障碍的事实，你可以
做你想做的。
不保留任何权利。
探索之路上的学者可以咨询 这个路线图可以更快地找到目的地
他们希望参观。我们只是在 世界庞大档案馆的走廊，
学者和科学家的集体社区 以及创造过的工程师和艺术家
这些知识的殿堂。
这些寺庙，来自亚历山大图书馆 从僧侣到亚历山德拉图书馆
从爱尔兰到庞大的现代研究图书馆 今天，来自阿拉伯和犹太文士
携手共建智慧之家 在巴格达的知识工厂
在现代东印度贸易公司，如 牛津和剑桥的出版社，这些
是学者必去的目的地 提高他们的手艺，向他们学习
那些出现在我们面前的。
这些寺庙包含了所有知识的总和， 但我们必须能够找到这些知识。
一般索引是一张地图。
这不是所有人类知识总和的地图，
但它肯定是一个重要的子集。
为了增加和传播知识 继续，如果我们要站在肩膀上
巨人，我们必须提供这些地图 广阔的思想世界。
一般索引只是一个工具，一个工具 我们希望随着时间的推移质量会提高
在范围内，我们希望提供的工具 有用的贡献
你的科学实践。
我们希望你也把这个通用索引 令人惊讶的用途，我们可以制作索引
更好的是，您可以创建其他工具， 学者社区可以一起工作
共同寻求挖掘广阔的深处 在这学习的海洋中。
我相信我们都有一个共同的目标， 共同的希望。
作为科学家、学者、艺术家、作家， 作为世界公民，作为希望
学习，作为好奇的人，我相信 我们都希望增加和扩散
知识将使我们的世界变得更美好 地方，它将帮助我们了解我们的
世界，治愈疾病和贫困，促进进步 科学和商业的进步和
人文和艺术。
科学是一种我们都必须说的语言，如果 我们要改善我们的世界。
谢谢收听。
[海豹在吠叫]
[音乐]