[Musik]
[Penyiar] Ieu Sumber Daya Publik
[Carl Malamud] Halo, abdi Carl Malamud.
Wilujeng sumping kana Indéks Umum.
Kami nampilkeun didieu gratis sareng tanpa batas anggo sakumpulan n-gram sasari ti 107 juta,
233 rebu, 728 tulisan jurnal.
N-gram dibasajankeun kecap tunggal, dikenal salaku unigrams, kana frasa dua kecap (bigrams)
nepi ka frasa 5 kecap, katelah 5-gram.
Aya, sadayana nyarios, 355 milyar jajar n-gram dina sékrési indéks umum ieu, masing-masing
pakait sareng hit dina tulisan jurnal.
Pakakas anu disebat Spacy dianggo nimba n-gram, anu parantos kami beulah
ngalangkungan genep belas file.
Patali sareng unggal baris nyaéta Hash md5, anu ngagambarkeun tulisan jurnal.
Salaku tambahan, urang daptar frékuénsi tina n-gram dina tulisan.
Kami arepkeun waktosna ogé daptar frékuénsi dina korpus sacara umum, métrik patalina
katelah TD / IDF.
Salaku tambahan pikeun n-gram, Indéks Umum ngandung kecap konci sasari nganggo Yake
toolkit.Yake "dumasarkeun kana statistik téks fitur sasari tina dokumén tunggal pikeun
pilih kecap konci anu paling penting dina téks. ”
Tabel tabel indéks umum ngandung jumlahna aya 19 milyar kecap konci.
Anu pamungkas, indéks umum ngandung metadata méja, pemetaan md5 Hash kana barang sapertos kitu
alamat unik DOI pikeun tulisan jurnal, judul, panulis, sareng jurnal.
Ieu mangrupikeun sékrési awal indéks umum, hiji karya dina prosés.
Dina sababaraha kasus, ékstraksi téks gagal.
Kadang-kadang, metadata henteu sayogi, atanapi éta bahkan mungkin salah.
Sedengkeun korpus handapeunana ageung, éta henteu lengkep, sareng henteu mutakhir.
Aya seueur cara ieu tiasa ditingkatkeun, sareng urang ngarepkeun ngadamel Jenderal
Indéks langkung saé kana waktos.
Indéks umum nempatan kira-kira 38 terabyte data dina bentuk Postgres
miceun, tapi ku komprési, ASCII ieu data diréduksi janten 8,5 terabyte.
Anjeun tiasa ngaunduh data langsung ti dieu, atanapi nganggo alat sapertos bittorrent.
Ngarasa Luncat pikeun nyieun kaca spion atanapi umum gudang pikeun ngadistribusikaeun indéks umum.
Kami ngarepkeun yén éta tiasa dilebetkeun kana sajumlah tina kagunaan. Kami parantos nganggo database Postgres,
sareng ngagunakeun indéks umum pikeun milarian ngaran tutuwuhan tina daptar induk.
Indéks tiasa dianggo pikeun milarian anu sanés objék, sapertos bahan kimia, gén dina sababaraha rupa
enkoding, protéin, bahan, nami tempat, atanapi badan sanés.
Daripada basis data Postgres, téhnik anu sanés, sapertos BERT, tiasa dilarapkeun kana data.
Ieu alat milarian, kamus ilmu, peta pikeun élmu, alat anu urang percanten
mangrupikeun fasilitas penting pikeun latihan élmu dina jaman modéren urang.
Indéks umum pikeun élmu ieu henteu dilakukeun awak korpus anu aya, Sabalikna, kanyataan
anu sasari tina korpus.
Ieu mangrupikeun anu teu konsép sareng panggunaan transformasional.
Kami ningali ieu salaku utilitas umum. Kami negeskeun henteu kapimilik kana indéks umum.
Éta didaptarkeun pikeun domain publik, séri tina kanyataan anu teu kabebanan ku anjeun tiasa
lakukeun naon anu anjeun pikahoyong.
Teu aya hak ditangtayungan.
Sarjana dina jalan pamanggihan tiasa konsultasi peta jalan ieu pikeun langkung gancang mendakan tujuan
aranjeunna hoyong didatangan. Kami tapi dokumén dina lorong-lorong arsip lega dunya,
komunitas koléktif sarjana sareng ilmuwan sareng insinyur sareng seniman anu parantos nyiptakeun
kuil-kuil ilmu ieu.
Candi-candi ieu, ti Perpustakaan Alexandria ka Perpustakaan Alexandra, ti biarawan
Irlandia nepi ka perpustakaan riset modéren anu lega ti ayeuna, ti juru tulis Arab sareng Yahudi
damel babarengan ngawangun Imah Hikmah di Baghdad ka pabrik-pabrik ilmu anu disimpen
di imah dagang India Wétan modéren sapertos tekenan Oxford sareng Cambridge, ieu
mangrupikeun tujuan anu kedah didatangan ku sarjana pikeun mayunan karajinanana, diajar tina
jalma anu sumping sateuacan kami.
Kuil-kuil ieu ngandung sakumna élmu, tapi urang kedah tiasa mendakan élmu éta.
Indéks umum nyaéta peta.
Ieu sanés peta pikeun sakumna élmu manusa,
tapi pastina mangrupikeun subset anu penting.
Pikeun nambihan sareng nyebarkeun élmu teraskeun, upami urang kedah nangtung dina taktak
tina raksasa, urang kedah nyayogikeun peta-peta ieu pikeun éta dunya ideu anu lega.
Indéks umum ngan ukur hiji alat, alat yén urang ngarep-ngarep bakal nambahan kualitasna
sareng dina lingkup, alat anu kami ngarepkeun bakal disayogikeun sumbangan anu manpaat
kana prakték élmu anjeun.
Kami arepkeun anjeun ogé bakal nempatkeun indéks umum ieu kagunaan héran, yén urang tiasa ngadamel indéks
langkung saé, éta anjeun tiasa nyiptakeun alat anu sanés, éta komunitas sarjana tiasa damel babarengan
dina usaha umum pikeun nambangan bojong jero tina sagara ieu diajar.
Kuring yakin urang sadayana ngagaduhan tujuan umum, harepan umum.
Salaku ilmuwan, sarjana, seniman, panulis, salaku warga dunya, salaku barudak anu hoyong
pikeun diajar, salaku manusa anu panasaran, kuring yakin urang sadayana ngarepkeun yén paningkatan sareng difusi
élmu bakal ngajantenkeun dunya urang langkung saé tempat, éta bakal ngabantosan urang ngartos urang
dunya, pikeun ngubaran panyakit sareng kamiskinan, maju kamajuan sains sareng perdagangan sareng
humaniora jeung seni.
Élmu mangrupikeun bahasa anu urang sadayana kedah nyarios upami urang pikeun hadé dunya urang.
Nuhun parantos nguping.
[Segelna Ngabuburit]
[Musik]