[音樂]
[播音員] 這是公共資源
[卡爾·馬拉默德] 你好，我是卡爾·馬拉默德。
歡迎使用通用索引。
我們在這里為您免費且無限制地呈現 使用一組從 1.07 億中提取的 n-gram，
23.3 萬篇，728 篇期刊文章。
n-grams 範圍從單個單詞，已知 作為 unigrams，到兩個詞的短語（bigrams）
最多 5 個單詞的短語，稱為 5-gram。
總共有 3550 億行 n-gram 在本次發布的綜合指數中，每個
對應於期刊文章中的命中。
一個名為 Spacy 的工具包用於提取 我們拆分的 n-gram
跨越十六個文件。
與每一行相關聯的是一個 md5 哈希，它 代表期刊文章。
此外，我們列出了 文章中的 n-gram。
我們希望隨著時間的推移也列出頻率 在整個語料庫中，相關性度量
稱為 TD/IDF。
除了 n-gram，General Index 包含使用 Yake 提取的關鍵字
toolkit.Yake “基於文本統計 從單個文檔中提取的特徵
選擇文本中最重要的關鍵詞。”
一般索引關鍵字表包含 共190億個關鍵詞。
最後，通用索引包含元數據 表，將 md5 哈希映射到諸如
期刊文章的 DOI 唯一地址， 標題、作者和期刊。
這是通用指數的早期發布， 一項正在進行的工作。
在某些情況下，文本提取失敗。
有時，元數據不可用，或者是 甚至可能不正確。
雖然底層語料庫很大， 不完整，也不是最新的。
有很多方法可以改進， 我們期待讓將軍
隨著時間的推移索引更好。
綜合指數約佔38 Postgres 形式的 TB 級數據
轉儲，但是通過壓縮，這個 ASCII 數據減少到 8.5 TB。
您可以直接從這裡下載數據， 或使用諸如 bittorrent 之類的工具。
隨意創建鏡像或其他公共 重新分配通用索引的存儲庫。
我們的希望是它可以放在一個數字上 用途。我們一直在使用 Postgres 數據庫，
並使用通用索引進行搜索 主列表中的植物名稱。
該索引可用於搜索其他 物體，如化學物質、各種基因
編碼、蛋白質、材料、地名、 或其他實體。
代替 Postgres 數據庫，其他技術， 例如BERT，可以應用於數據。
這是一個查找工具，一個知識詞典， 知識地圖，我們相信的工具
是實踐的必要設施 我們現代的科學。
這種對知識的一般索引並不能使 可用的基礎語料庫，而是事實
是從語料庫中提取的。
這是一個非消費 和轉化使用。
我們將此視為公共事業。我們斷言 對一般索引沒有所有權。
它致力於公共領域，一系列 無障礙的事實，你可以
做你想做的。
不保留任何權利。
探索之路上的學者可以諮詢 這個路線圖可以更快地找到目的地
他們希望參觀。我們只是在 世界龐大檔案館的走廊，
學者和科學家的集體社區 以及創造過的工程師和藝術家
這些知識的殿堂。
這些寺廟，來自亞歷山大圖書館 從僧侶到亞歷山德拉圖書館
從愛爾蘭到龐大的現代研究圖書館 今天，來自阿拉伯和猶太文士
攜手共建智慧之家 在巴格達的知識工廠
在現代東印度貿易公司，如 牛津和劍橋的出版社，這些
是學者必去的目的地 提高他們的手藝，向他們學習
那些出現在我們面前的。
這些寺廟包含了所有知識的總和， 但我們必須能夠找到這些知識。
一般索引是一張地圖。
這不是所有人類知識總和的地圖，
但它肯定是一個重要的子集。
為了增加和傳播知識 繼續，如果我們要站在肩膀上
巨人，我們必須提供這些地圖 廣闊的思想世界。
一般索引只是一個工具，一個工具 我們希望隨著時間的推移質量會提高
在範圍內，我們希望提供的工具 有用的貢獻
你的科學實踐。
我們希望你也把這個通用索引 令人驚訝的用途，我們可以製作索引
更好的是，您可以創建其他工具， 學者社區可以一起工作
共同尋求挖掘廣闊的深處 在這學習的海洋中。
我相信我們都有一個共同的目標， 共同的希望。
作為科學家、學者、藝術家、作家， 作為世界公民，作為希望
學習，作為好奇的人，我相信 我們都希望增加和擴散
知識將使我們的世界變得更美好 地方，它將幫助我們了解我們的
世界，治癒疾病和貧困，促進進步 科學和商業的進步和
人文和藝術。
科學是一種我們都必須說的語言，如果 我們要改善我們的世界。
謝謝收聽。
[海豹在吠叫]
[音樂]