[音楽]
【アナウンサー】これは公開リソースです
[カール・マラムド]こんにちは、カール・マラムドです。
一般的なインデックスへようこそ。
私たちはあなたの無料で無制限のためにここに提示します 1億700万から抽出されたn-gramのセットを使用します。
233千、728のジャーナル記事。
n-gramは、既知の単一の単語からの範囲です。 ユニグラムとして、2単語のフレーズ（バイグラム）に
5グラムと呼ばれる最大5語のフレーズ。
総じて、3550億行のn-gramがあります 一般的なインデックスのこのリリースでは、それぞれ
ジャーナル記事のヒットに対応します。
Spacyと呼ばれるツールキットを使用して抽出しました 分割したn-gram
16個のファイルにわたって。
各行に関連付けられているのはmd5ハッシュです。 ジャーナル記事を表します。
さらに、の頻度をリストします 記事のn-gram。
時間の経過とともに、頻度もリストすることを望んでいます コーパス全体で、関連性メトリック
TD / IDFとして知られています。
n-gramに加えて、General Index ヤケを使用して抽出されたキーワードが含まれています
toolkit.Yake「テキスト統計に基づいています 単一のドキュメントから抽出された特徴
テキストの最も重要なキーワードを選択してください。」
一般的なインデックスキーワードテーブルには、 合計190億のキーワード。
最後に、一般的なインデックスにはメタデータが含まれています テーブル、md5ハッシュをそのようなアイテムにマッピングする
ジャーナル記事のDOI固有のアドレス、 タイトル、著者、ジャーナル。
これは、一般的なインデックスの初期リリースです。 進行中の作業。
場合によっては、テキストの抽出に失敗しました。
メタデータが利用できない場合や、 おそらく間違っています。
基礎となるコーパスは大きいですが、 完全ではなく、最新ではありません。
これを改善する方法はたくさんありますが、 将軍を作るのを楽しみにしています
時間の経過とともにインデックスが改善されます。
一般的なインデックスは約38を占めます Postgres形式のテラバイトのデータ
ダンプ、ただし圧縮あり、このASCII データは8.5テラバイトに削減されます。
ここから直接データをダウンロードできます。 またはbittorrentなどのツールを使用します。
ミラーやその他のパブリックを自由に作成してください 一般的なインデックスを再配布するためのリポジトリ。
私たちの希望は、それが数に入れられることです 用途の。 Postgresデータベースを使用していますが、
一般的なインデックスを使用して検索します マスターリストからの植物の名前。
インデックスは他の検索に使用できます 化学物質、さまざまな遺伝子などのオブジェクト
エンコーディング、タンパク質、材料、地名、 または他のエンティティ。
Postgresデータベースの代わりに、他の手法、 BERTなどをデータに適用できます。
これはルックアップツール、知識の辞書、 知識への地図、私たちが信じるツール
練習に欠かせない施設です 私たちの現代の科学の。
知識に対するこの一般的な指標は、 利用可能な基礎となるコーパス、むしろ、事実
コーパスから抽出されます。
これは非消費的です と変革の使用。
私たちはこれを公益事業と見なしています。 一般的なインデックスに対する所有権はありません。
それはパブリックドメイン、シリーズに捧げられています あなたができる邪魔されない事実の
あなたがすることをしなさい。
予約されている権利はありません。
発見への道を歩む学者は相談することができます 目的地をより迅速に見つけるためのこのロードマップ
彼らは訪問したいと思っています。 世界の広大なアーカイブの廊下、
学者と科学者の集合的なコミュニティ と作成したエンジニアやアーティスト
これらの知識の神殿。
アレクサンドリア図書館のこれらの寺院 修道士からアレクサンドラ図書館へ
アイルランドの広大な現代研究図書館へ 今日の、アラブ人とユダヤ人の書記から
知恵の館を建てるために一緒に働く バグダッドにある知識の工場へ
のような現代の東インドの商社で オックスブリッジとケンブリッジのプレス、これら
学者が訪問しなければならない目的地です 彼らの技術を進歩させるために、から学ぶために
私たちの前に来たもの。
これらの寺院には、すべての知識の合計が含まれています、 しかし、私たちはその知識を見つけることができなければなりません。
一般的なインデックスはマップです。
これはすべての人間の知識の合計への地図ではありません、
しかし、それは確かに実質的なサブセットです。
知識の増加と普及のために 肩に立つなら続ける
巨人の、私たちはそれにこれらのマップを提供する必要があります 広大なアイデアの世界。
一般的なインデックスは1つのツール、ツールにすぎません 時間の経過とともに品質が向上することを願っています
そして範囲内で、私たちが提供することを望んでいるツール 有益な貢献
あなたの科学の実践に。
この一般的なインデックスも入れていただければ幸いです 驚くべき用途、インデックスを作成できること
より良いのは、他のツールを作成できることです。 学者のコミュニティは一緒に働くことができます
広大な深さを採掘するための一般的な探求で この学習の海の。
私たちは皆、共通の目標を共有していると信じています。 共通の希望。
科学者、学者、芸術家、作家として、 世界の市民として、子供たちが望むように
好奇心旺盛な人間として学ぶために、私は信じています 私たちは皆、増加と拡散を望んでいます
知識の蓄積は私たちの世界をより良くするでしょう 場所、それは私たちが私たちを理解するのに役立ちます
世界、病気と貧困を治し、前進する 科学と商業の進歩と
人文科学と芸術。
科学は私たち全員が話さなければならない言語です 私たちは私たちの世界をより良くすることです。
聞いてくれてありがとう。
[アザラシが吠えている]
[音楽]