[Musik]
[Penyiar] Iki minangka Sumber Daya Publik
[Carl Malamud] Halo, aku Carl Malamud.
Sugeng rawuh ing Indeks Umum.
Kita saiki ing kene gratis lan tanpa wates gunakake sekumpulan n-gram sing diekstrak saka 107 yuta,
233 ewu, 728 artikel jurnal.
N-gram kalebu saka siji tembung, sing dingerteni minangka unigram, nganti rong tembung (bigrams)
nganti frasa 5 tembung, dikenal kanthi 5 gram.
Ana, kabeh ngandhani, 355 milyar jajar n-gram ing rilis indeks umum iki, masing-masing
cocog karo hit ing artikel jurnal.
Toolkit sing diarani Spacy digunakake kanggo ngekstrak n-gram, sing wis dibagi
liwat nembelas file.
Digandhengake karo saben baris yaiku hash md5, yaiku nggambarake artikel jurnal.
Kajaba iku, kita dhaptar frekuensi ing n-gram ing artikel kasebut.
Muga-muga suwe-suwe uga dhaptar frekuensi kasebut ing korpus umume, metrik relevansi
dikenal kanthi jeneng TD / IDF.
Saliyane n-gram, Indeks Umum ngemot tembung kunci sing diekstrak nggunakake Yake
toolkit.Yake "dumateng statistik teks fitur sing diekstrak saka siji dokumen menyang
pilih tembung kunci sing paling penting ing teks. ”
Tabel tembung kunci indeks umum ngemot total 19 milyar tembung kunci.
Pungkasan, indeks umum ngemot metadata tabel, pemetaan hash md5 menyang item kayata
alamat unik DOI kanggo artikel jurnal, judhul, panganggit, lan jurnal.
Iki minangka rilis awal indeks umum, karya ing proses.
Ing sawetara kasus, ekstraksi teks gagal.
Kadhangkala, metadata ora kasedhiya, utawa ora ana mbok malah salah.
Nalika korpus sing ndasari gedhe, yaiku ora lengkap, lan ora nganyari.
Ana macem-macem cara supaya bisa ditingkatake, lan kita ngarep-arep nggawe Jenderal
Indeks luwih apik tinimbang wektu.
Indeks umum mapan udakara 38 terabyte data kanthi wujud Postgres
mbucal, nanging kanthi kompresi, ASCII iki data dikurangi dadi 8,5 terabyte.
Sampeyan bisa ndownload data langsung saka kene, utawa nggunakake alat kayata bittorrent.
Bebas nggawe mirror utawa umum repositori kanggo nyebar maneh indeks umum.
Muga-muga bisa ditrapake kanthi jumlah panggunaan. Kita wis nggunakake database Postgres,
lan nggunakake indeks umum kanggo digoleki jeneng tanduran saka dhaptar induk.
Indeks bisa digunakake kanggo nggoleki liyane obyek, kayata bahan kimia, gen ing macem-macem
enkoding, protein, bahan, jeneng papan, utawa entitas liyane.
Tinimbang basis data Postgres, teknik liyane, kayata BERT, bisa ditrapake ing data.
Iki alat telusuran, kamus ilmu, peta kanggo ilmu, alat sing dipercaya
minangka fasilitas sing penting kanggo praktik kasebut ilmu pengetahuan ing jaman modern kita.
Indeks kanggo ilmu umum iki ora bisa ditindakake korpus ndasari kasedhiya, Luwih, kasunyatan
diekstrak saka korpus.
Iki nonkonsep lan panggunaan transformasional.
Kita ndeleng iki minangka sarana umum. Kita negesake ora duwe kepemilikan ing indeks umum.
Iki darmabakti kanggo domain umum, seri kasunyatan tanpa wates sing sampeyan bisa
tindakake apa sing kokkarepake.
Ora ana hak dilindhungi undhang-undhang.
Sarjana ing dalan nemokake bisa takon roadmap iki kanggo golek tujuan sing luwih cepet
dheweke pengin dolan. Kita nanging ora ana dokumen ing lorong-lorong arsip sing jembar ing jagad iki,
komunitas kolektif para sarjana lan ilmuwan lan insinyur lan seniman sing wis nggawe
candhi ilmu kasebut.
Kuil-kuil kasebut, saka Perpustakaan Alexandria menyang Perpustakaan Alexandra, saka para biksu
Irlandia menyang perpustakaan riset modern sing jembar saiki, saka juru tulis Arab lan Yahudi
makarya bebarengan mbangun Omah Kawicaksanan ing Baghdad menyang pabrik-pabrik ilmu sing dununge
ing omah dagang India Wétan modern kaya pers ing Oxford lan Cambridge, iki
minangka tujuan sing kudu dikunjungi para sarjana kanggo majune kerajinan, sinau saka
sing teka sadurunge kita.
Kuil-kuil kasebut ngemot kabeh ilmu, nanging kita kudu bisa nemokake ilmu kasebut.
Indeks umum yaiku peta.
Iki dudu peta babagan kabeh ilmu manungsa,
nanging mesthine minangka subset substansial.
Kanggo nambah lan nyebarake ilmu terus, yen kita kudu ngadeg ing pundhak
saka raksasa, kita kudu nyedhiyani peta kasebut jagad gagasan.
Indeks umum mung siji alat, alat muga-muga bisa suwe-suwe bisa ngasilake kualitas
lan ing ruang lingkup, alat sing diarep-arep bakal diwenehake kontribusi migunani
kanggo laku ilmu sampeyan.
Muga-muga sampeyan uga bakal nyelehake indeks umum iki panggunaan sing ngagetne, yen kita bisa nggawe indeks
luwih apik, sampeyan bisa nggawe alat liyane, yaiku komunitas sarjana bisa kerja bareng
ing nggoleki umum kanggo tambang jerone jembar samodra sinau iki.
Aku percaya kita kabeh duwe target sing padha, pangarep-arep umum.
Minangka ilmuwan, sarjana, seniman, panulis, minangka warga jagad, kaya bocah sing pengin
kanggo sinau, minangka manungsa sing kepengin weruh, aku percaya kita kabeh ngarep-arep bisa nambah lan nyebar
ilmu bakal nggawe jagad iki dadi luwih apik papan, sing bakal mbantu kita ngerti babagan
jagad, kanggo ngobati penyakit lan mlarat, supaya maju kemajuan ilmu pengetahuan lan perdagangan lan
kamanungsan lan seni.
Ilmu minangka basa sing kabeh kudu kita gunakake kita bakal luwih apik jagad iki.
Matur suwun.
[Seal lagi Barking]
[Musik]