[Musik]
[Penyiar] Ini adalah Sumber Daya Publik
[Carl Malamud] Halo, saya Carl Malamud.
Selamat datang di Indeks Umum.
Kami hadir di sini untuk Anda gratis dan tidak terbatas menggunakan satu set n-gram yang diekstraksi dari 107 juta,
233 ribu, 728 artikel jurnal.
N-gram berkisar dari kata tunggal, dikenal sebagai unigram, menjadi frasa dua kata (bigram)
hingga frase 5 kata, yang dikenal sebagai 5-gram.
Ada, semua mengatakan, 355 miliar baris n-gram dalam rilis indeks umum ini, masing-masing
sesuai dengan hit dalam artikel jurnal.
Sebuah toolkit bernama Spacy digunakan untuk mengekstrak n-gram, yang telah kita bagi
di enam belas file.
Terkait dengan setiap baris adalah hash md5, yang mewakili artikel jurnal.
Selain itu, kami mencantumkan frekuensi n-gram dalam artikel.
Kami berharap dari waktu ke waktu untuk juga mencantumkan frekuensi dalam keseluruhan korpus, metrik relevansi
dikenal sebagai TD/IDF.
Selain n-gram, Indeks Umum berisi kata kunci yang diekstraksi menggunakan Yake
toolkit.Yake “berpijak pada statistik teks fitur yang diekstraksi dari satu dokumen ke
pilih kata kunci yang paling penting dari sebuah teks.”
Tabel kata kunci indeks umum berisi: total 19 miliar kata kunci.
Terakhir, indeks umum berisi metadata tabel, memetakan hash md5 ke item seperti
alamat unik DOI untuk artikel jurnal, judul, pengarang, dan jurnal.
Ini adalah rilis awal dari indeks umum, sebuah pekerjaan yang sedang berlangsung.
Dalam beberapa kasus, ekstraksi teks gagal.
Terkadang, metadata tidak tersedia, atau bahkan mungkin salah.
Sementara korpus yang mendasarinya besar, itu adalah tidak lengkap, dan tidak up-to-date.
Ada banyak cara ini dapat ditingkatkan, dan kami berharap dapat membuat Jenderal
Indeks lebih baik dari waktu ke waktu.
Indeks umum menempati sekitar 38 terabyte data dalam bentuk Postgres
dump, namun dengan kompresi, ASCII ini data dikurangi menjadi 8,5 terabyte.
Anda dapat mengunduh data langsung dari sini, atau gunakan alat seperti bittorrent.
Jangan ragu untuk membuat cermin atau publik lainnya repositori untuk mendistribusikan ulang indeks umum.
Harapan kami adalah dapat dimasukkan ke nomor kegunaan. Kami telah menggunakan database Postgres,
dan menggunakan indeks umum untuk mencari nama tanaman dari daftar induk.
Indeks dapat digunakan untuk mencari yang lain objek, seperti bahan kimia, gen di berbagai
pengkodean, protein, bahan, nama tempat, atau entitas lainnya.
Alih-alih database Postgres, teknik lain, seperti BERT, dapat diterapkan pada data.
Ini adalah alat pencarian, kamus pengetahuan, peta menuju pengetahuan, alat yang kami yakini
adalah fasilitas penting untuk latihan ilmu pengetahuan di zaman modern ini.
Indeks umum untuk pengetahuan ini tidak membuat korpus yang mendasari tersedia, Sebaliknya, fakta
diekstraksi dari korpus.
Ini adalah nonkonsumtif dan penggunaan transformasional.
Kami melihat ini sebagai utilitas publik. Kami menegaskan tidak ada kepemilikan atas indeks umum.
Ini didedikasikan untuk domain publik, seri fakta yang tidak terbebani yang dapat Anda gunakan
lakukan apa yang kamu mau.
Tidak ada hak yang dilindungi undang-undang.
Cendekiawan di jalan menuju penemuan dapat berkonsultasi peta jalan ini untuk lebih cepat menemukan tujuan
mereka ingin mengunjungi. Kami hanyalah pemandu di lorong-lorong arsip besar dunia,
komunitas kolektif cendekiawan dan ilmuwan dan insinyur dan seniman yang telah menciptakan
kuil-kuil pengetahuan ini.
Kuil-kuil ini, dari Perpustakaan Alexandria ke Perpustakaan Alexandra, dari para biarawan
Irlandia ke perpustakaan penelitian modern yang luas hari ini, dari ahli-ahli Taurat Arab dan Yahudi
bekerja sama untuk membangun Rumah Kebijaksanaan di Baghdad ke pabrik-pabrik pengetahuan bertempat
di rumah perdagangan India Timur modern seperti mesin cetak Oxford dan Cambridge, ini
adalah tujuan yang harus dikunjungi para sarjana untuk memajukan keahlian mereka, untuk belajar dari
mereka yang datang sebelum kita.
Kuil-kuil ini berisi jumlah semua pengetahuan, tetapi kita harus dapat menemukan pengetahuan itu.
Indeks umum adalah peta.
Ini bukan peta untuk jumlah semua pengetahuan manusia,
tapi itu pasti subset substansial.
Untuk peningkatan dan penyebaran pengetahuan untuk melanjutkan, jika kita ingin berdiri di atas bahu
raksasa, kita harus menyediakan peta ini untuk itu dunia ide yang luas.
Indeks umum hanyalah satu alat, alat yang kami harap seiring waktu akan mendapatkan kualitas
dan dalam ruang lingkup, alat yang kami harap akan memberikan kontribusi yang bermanfaat
untuk praktik sains Anda.
Kami harap Anda akan menempatkan indeks umum ini juga penggunaan yang mengejutkan, bahwa kita dapat membuat indeks
lebih baik, Anda dapat membuat alat lain, itu komunitas cendekiawan dapat bekerja sama
dalam pencarian bersama untuk menambang kedalaman yang luas lautan pembelajaran ini.
Saya percaya kita semua memiliki tujuan yang sama, harapan bersama.
Sebagai ilmuwan, cendekiawan, seniman, penulis, sebagai warga dunia, sebagai anak-anak yang berharap
untuk belajar, sebagai manusia yang ingin tahu, saya percaya kita semua berharap bahwa peningkatan dan difusi
pengetahuan akan membuat dunia kita menjadi lebih baik tempat, itu akan membantu kita memahami
dunia, untuk menyembuhkan penyakit dan kemiskinan, untuk memajukan kemajuan ilmu pengetahuan dan perdagangan dan
humaniora dan seni.
Sains adalah bahasa yang harus kita semua gunakan jika kita untuk memperbaiki dunia kita.
Terima kasih untuk mendengarkan.
[Segel Menggonggong]
[Musik]