[Muzik]
[Penyiar] Ini adalah Sumber Awam
[Carl Malamud] Helo, saya Carl Malamud.
Selamat datang ke Indeks Umum.
Kami hadir di sini secara percuma dan tidak terhad gunakan satu set n-gram yang diekstrak daripada 107 juta,
233 ribu, 728 artikel jurnal.
N-gram berkisar dari satu perkataan, yang diketahui sebagai unigram, hingga frasa dua perkataan (bigrams)
hingga 5 frasa perkataan, dikenali sebagai 5 gram.
Terdapat, semuanya diberitahu, 355 bilion baris n-gram dalam keluaran indeks umum ini, masing-masing
sesuai dengan hit dalam artikel jurnal.
Kit alat yang disebut Spacy digunakan untuk mengekstrak n-gram, yang telah kita bahagikan
di enam belas fail.
Dihubungkan dengan setiap baris adalah hash md5, yang mewakili artikel jurnal.
Di samping itu, kami menyenaraikan kekerapan n-gram dalam artikel.
Kami berharap dari masa ke masa juga menyenaraikan kekerapannya dalam korpus keseluruhan, metrik perkaitan
dikenali sebagai TD / IDF.
Sebagai tambahan kepada n-gram, Indeks Umum mengandungi kata kunci yang diekstrak menggunakan Yake
toolkit.Yake “bergantung pada statistik teks ciri yang diekstrak dari satu dokumen ke
pilih kata kunci teks yang paling penting. "
Jadual kata kunci indeks umum mengandungi sejumlah 19 bilion kata kunci.
Terakhir, indeks umum mengandungi metadata jadual, memetakan hash md5 ke item seperti itu
alamat unik DOI untuk artikel jurnal, tajuk, pengarang, dan jurnal.
Ini adalah pelepasan awal indeks umum, kerja yang sedang dijalankan.
Dalam beberapa kes, pengekstrakan teks gagal.
Kadang kala, metadata tidak tersedia, atau ada malah mungkin tidak betul.
Walaupun korpus yang mendasarinya besar, ia tidak lengkap, dan tidak terkini.
Terdapat banyak cara untuk diperbaiki, dan kami berharap dapat menjadikan Jeneral
Indeks lebih baik dari masa ke masa.
Indeks umum menduduki sekitar 38 terabyte data dalam bentuk Postgres
membuang, namun dengan pemampatan, ASCII ini data dikurangkan menjadi 8.5 terabyte.
Anda boleh memuat turun data secara langsung dari sini, atau gunakan alat seperti bittorrent.
Jangan ragu untuk membuat cermin atau orang lain repositori untuk mengagihkan semula indeks umum.
Harapan kami ialah dapat dihitung jumlahnya kegunaan. Kami telah menggunakan pangkalan data Postgres,
dan menggunakan indeks umum untuk mencari nama tumbuhan dari senarai induk.
Indeks dapat digunakan untuk mencari yang lain objek, seperti bahan kimia, gen dalam pelbagai
pengekodan, protein, bahan, nama tempat, atau entiti lain.
Daripada pangkalan data Postgres, teknik lain, seperti BERT, dapat diterapkan pada data.
Ini adalah alat carian, kamus pengetahuan, peta pengetahuan, alat yang kami percaya
adalah kemudahan penting untuk latihan ini sains pada zaman moden kita.
Indeks umum pengetahuan ini tidak menghasilkan korpus asas yang ada, Sebaliknya, fakta
diekstrak dari korpus.
Ini adalah tidak konsumtif dan penggunaan transformasi.
Kami melihat ini sebagai kemudahan awam. Kami menegaskan tiada pemilikan atas indeks umum.
Ia didedikasikan untuk domain awam, satu siri fakta yang tidak dibebankan dengan yang anda boleh
buat apa yang anda mahu.
Tidak ada hak terpelihara.
Para sarjana dalam perjalanan ke penemuan boleh berunding peta jalan ini untuk mencari destinasi dengan lebih pantas
mereka ingin melawat. Kami hanyalah dokumen di lorong-lorong arkib dunia yang luas,
komuniti kolektif cendekiawan dan saintis dan jurutera dan seniman yang telah mencipta
kuil-kuil pengetahuan ini.
Kuil-kuil ini, dari Perpustakaan Alexandria ke Perpustakaan Alexandra, dari para sami
dari Ireland ke perpustakaan penyelidikan moden yang luas hari ini, dari ahli kitab Arab dan Yahudi
bekerjasama untuk membina Rumah Kebijaksanaan di Baghdad ke kilang-kilang pengetahuan yang ditempatkan
di rumah perdagangan India Timur moden seperti akhbar Oxford dan Cambridge, ini
adalah destinasi yang mesti dilawati para sarjana untuk memajukan kemahiran mereka, untuk belajar dari
yang datang sebelum kita.
Kuil-kuil ini mengandungi jumlah semua pengetahuan, tetapi kita mesti dapat mencari pengetahuan itu.
Indeks umum adalah peta.
Ini bukan peta jumlah pengetahuan manusia,
tetapi ia pasti merupakan subset yang besar.
Untuk peningkatan dan penyebaran pengetahuan untuk meneruskan, jika kita mahu berdiri di bahu
gergasi, kita mesti memberikan peta ini untuk itu dunia idea yang luas.
Indeks umum hanyalah satu alat, satu alat yang kami harap dari masa ke masa akan bertambah berkualiti
dan dalam ruang lingkup, alat yang kami harap dapat disediakan sumbangan berguna
untuk amalan sains anda.
Kami harap anda akan meletakkan indeks umum ini juga penggunaan yang mengejutkan, bahawa kita boleh membuat indeks
lebih baik, anda boleh membuat alat lain, itu komuniti ulama dapat bekerjasama
dalam usaha bersama untuk menambang kedalaman yang luas lautan pembelajaran ini.
Saya percaya kita semua mempunyai matlamat bersama, harapan bersama.
Sebagai saintis, sarjana, seniman, penulis, sebagai warganegara dunia, seperti yang diinginkan oleh kanak-kanak
untuk belajar, sebagai manusia yang ingin tahu, saya percaya kita semua berharap peningkatan dan penyebaran
pengetahuan akan menjadikan dunia kita lebih baik tempat, yang akan membantu kita memahami kita
dunia, untuk menyembuhkan penyakit dan kemiskinan, untuk maju kemajuan sains dan perdagangan dan
kemanusiaan dan seni.
Ilmu adalah bahasa yang mesti kita semua bercakap sekiranya kita untuk memperbaiki dunia kita.
Terima kasih kerana mendengar.
[Anjing laut itu menyalak]
[Muzik]