[Muziki]
[Mtangazaji] Hii ni Rasilimali za Umma
[Carl Malamud] Halo, mimi ni Carl Malamud.
Karibu kwenye Kielelezo cha Jumla.
Tunawasilisha hapa kwa bure na isiyo na ukomo tumia seti ya gramu n zilizochorwa kutoka milioni 107,
233,000, nakala za jarida 728.
N-gramu hutoka kwa maneno moja, inayojulikana kama unigrams, kwa misemo ya maneno mawili (bigrams)
hadi misemo ya neno 5, inayojulikana kama gramu 5.
Kuna, yote yameambiwa, safu za bilioni 355 za n-gramu katika kutolewa hii ya faharisi ya jumla, kila moja
inalingana na hit katika nakala ya jarida.
Zana inayoitwa Spacy ilitumika kutoa gramu n, ambazo tumegawanyika
kwenye faili kumi na sita.
Kuhusishwa na kila safu ni md5 hash, ambayo inawakilisha nakala ya jarida.
Kwa kuongezea, tunaorodhesha masafa ya n-gramu katika kifungu hicho.
Tunatumahi baada ya muda kuorodhesha masafa katika jumla ya jumla, kipimo cha umuhimu
inayojulikana kama TD / IDF.
Kwa kuongeza n-gramu, Kielelezo cha Jumla ina maneno muhimu yaliyotolewa kwa kutumia Yake
Yake "inategemea takwimu za maandishi makala yaliyotolewa kutoka hati moja hadi
chagua maneno muhimu zaidi ya maandishi. ”
Jedwali la neno kuu la muhtasari lina jumla ya maneno bilioni 19.
Mwishowe, faharisi ya jumla ina metadata meza, ramani ya md5 hash kwa vitu kama hivyo
anwani ya kipekee ya DOI ya nakala ya jarida, kichwa, mwandishi, na jarida.
Hii ni kutolewa mapema kwa faharisi ya jumla, kazi inaendelea.
Katika visa vingine, uchimbaji wa maandishi haukufaulu.
Wakati mwingine, metadata haipatikani, au inapatikana labda hata sio sahihi.
Wakati corpus ya msingi ni kubwa, ni haijakamilika, na haijasasishwa.
Kuna njia nyingi ambazo zinaweza kuboreshwa, na tunatarajia kufanya Jenerali
Kielelezo bora zaidi kwa wakati.
Faharisi ya jumla inachukua takriban 38 terabytes ya data kwa njia ya Postgres
dampo, hata hivyo kwa kubana, hii ASCII data imepunguzwa hadi terabytes 8.5.
Unaweza kupakua data moja kwa moja kutoka hapa, au tumia zana kama bittorrent.
Jisikie huru kuunda vioo au umma mwingine hazina za kusambaza faharisi ya jumla.
Matumaini yetu ni kwamba inaweza kuwekwa kwa idadi ya matumizi. Tumekuwa tukitumia hifadhidata ya Postgres,
na kutumia faharisi ya jumla kutafuta majina ya mimea kutoka orodha kuu.
Faharisi inaweza kutumika kutafuta nyingine vitu, kama kemikali, jeni katika anuwai
encodings, protini, vifaa, majina ya mahali, au vyombo vingine.
Badala ya hifadhidata ya Postgres, mbinu zingine, kama vile BERT, inaweza kutumika kwa data.
Hii ni zana ya kutafuta, kamusi ya maarifa, ramani ya maarifa, chombo ambacho tunaamini
ni kituo muhimu kwa mazoezi ya sayansi katika zama zetu za kisasa.
Faharisi ya jumla ya maarifa haifanyi shirika la msingi linapatikana, Badala yake, ukweli
hutolewa kutoka kwa corpus.
Huu ni ujinga na matumizi ya mabadiliko.
Tunaona hii kama huduma ya umma hakuna umiliki juu ya faharisi ya jumla.
Imejitolea kwa uwanja wa umma, safu ya ukweli ambao hauwezekani ambao unaweza
fanya utakalo.
Hakuna haki zimehifadhiwa.
Wasomi kwenye barabara ya ugunduzi wanaweza kushauriana ramani hii ya barabara kupata haraka zaidi marudio
Tunataka kutembelea barabara za ukumbi wa kumbukumbu kubwa za ulimwengu,
jamii ya pamoja ya wasomi na wanasayansi na wahandisi na wasanii ambao wameunda
mahekalu haya ya maarifa.
Hekalu hizi, kutoka Maktaba ya Alexandria kwa Maktaba ya Alexandra, kutoka kwa watawa
ya Ireland kwa maktaba kubwa za kisasa za utafiti ya leo, kutoka kwa waandishi wa Kiarabu na Wayahudi
kufanya kazi pamoja kujenga Nyumba ya Hekima huko Baghdad kwa viwanda vya maarifa vilivyowekwa
katika nyumba za kisasa za biashara za India Mashariki kama mashinikizo ya Oxford na Cambridge, haya
ni mahali ambapo wasomi wanapaswa kutembelea kuendeleza ufundi wao, kujifunza kutoka
wale waliotutangulia.
Hekalu hizi zina jumla ya maarifa yote, lakini lazima tuweze kupata maarifa hayo.
Faharisi ya jumla ni ramani.
Hii sio ramani ya jumla ya maarifa yote ya kibinadamu,
lakini hakika ni sehemu ndogo.
Kwa kuongezeka na kuenezwa kwa maarifa kuendelea, ikiwa tunapaswa kusimama kwenye mabega
ya makubwa, lazima tupe ramani hizi kwa hiyo ulimwengu mkubwa wa maoni.
Faharisi ya jumla ni zana moja tu, zana kwamba tunatarajia kwa muda utapata ubora
na kwa upeo, zana tunayotarajia ambayo itatoa mchango muhimu
kwa mazoezi yako ya sayansi.
Tunatumahi kuwa utaweka faharisi hii ya jumla pia matumizi ya kushangaza, ambayo tunaweza kutengeneza faharisi
bora, kwamba unaweza kuunda zana zingine, hiyo jamii ya wasomi inaweza kufanya kazi pamoja
katika hamu ya kawaida ya kuchimba kina kirefu ya bahari hii ya ujifunzaji.
Ninaamini sote tunashirikiana lengo moja, matumaini ya kawaida.
Kama wanasayansi, wasomi, wasanii, waandishi, kama raia wa ulimwengu, kama watoto wanavyotaka
kujifunza, kama wanadamu wadadisi, naamini sote tunatumahi kuwa kuongezeka na kuenea
ya maarifa itaifanya dunia yetu kuwa bora mahali, ambayo itatusaidia kuelewa yetu
ulimwengu, kutibu magonjwa na umaskini, kusonga mbele maendeleo ya sayansi na biashara na
ubinadamu na sanaa.
Sayansi ni lugha ambayo lazima sote tuzungumze ikiwa tunapaswa kuboresha ulimwengu wetu.
Asante kwa kusikiliza.
[Muhuri unabweka]
[Muziki]