[Mużika]
[Ħabbar] Dan huwa Riżors Pubbliku
[Carl Malamud] Hello, jien Carl Malamud.
Merħba fl-Indiċi Ġenerali.
Aħna nippreżentaw hawn b'xejn u bla limitu uża sett ta 'n-grammi estratti minn 107 miljun,
233 elf, 728 artiklu tal-ġurnal.
In-n-grammi jvarjaw minn kliem wieħed, magħruf bħala unigrammi, għal frażijiet b'żewġ kelmiet (bigrammi)
sa frażijiet ta '5 kelmiet, magħrufa bħala 5-grammi.
Hemm, kollox qal, 355 biljun ringiela ta 'n-grammi f'dan ir-rilaxx tal-indiċi ġenerali, kull wieħed
li jikkorrispondi għal hit f'artiklu ta 'ġurnal.
Ġabra ta 'għodda msejħa Spacy intużat biex tiġi estratta l-n-grammi, li għandna maqsuma
fuq sittax-il fajl.
Assoċjat ma 'kull ringiela hemm hash md5, li jirrappreżenta artiklu tal-ġurnal.
Barra minn hekk, aħna nniżżlu l - frekwenza tal - n-gramma fl-artiklu.
Nisperaw maż-żmien li niżżel ukoll il-frekwenza fil-korpus ġenerali, metrika ta 'rilevanza
magħrufa bħala TD / IDF.
Minbarra n-grammi, l-Indiċi Ġenerali fih kliem ewlieni estratt bl-użu tal-Yake
toolkit.Yake “tistrieħ fuq test statistiku karatteristiċi estratti minn dokumenti singoli lil
agħżel il-kliem kjavi l-aktar importanti ta 'test. "
It-tabelli tal-kliem prinċipali tal-indiċi ġenerali fihom total ta '19-il biljun kliem ewlieni.
Fl-aħħar, l-indiċi ġenerali fih metadata tabella, immappjar tal-hash md5 għal oġġetti bħal dawn
l-indirizz uniku tad-DOI għal artiklu ta 'ġurnal, it-titlu, l-awtur u l-ġurnal.
Dan huwa rilaxx bikri tal-indiċi ġenerali, xogħol li għadu għaddej.
F'xi każijiet, l-estrazzjoni tat-test falliet.
Kultant, il-metadata mhix disponibbli, jew hija forsi anke skorretta.
Filwaqt li l-korpus sottostanti huwa kbir, huwa mhux komplut, u mhux aġġornat.
Hemm ħafna modi kif dan jista 'jitjieb, u nistennew bil-ħerqa li nagħmlu l-Ġenerali
Indiċi aħjar maż-żmien.
L-indiċi ġenerali jokkupa madwar 38 terabytes ta 'data fil-forma ta' Postgres
dump, madankollu bil-kompressjoni, dan ASCII id-dejta titnaqqas għal 8.5 terabytes.
Tista 'tniżżel id-dejta direttament minn hawn, jew uża għodda bħal bittorrent.
Ħossok liberu li toħloq mirja jew pubbliku ieħor repożitorji biex jerġgħu jiddistribwixxu l-indiċi ġenerali.
It-tama tagħna hija li tista 'titqiegħed f'numru ta 'użi. Aħna ilna nużaw database Postgres,
u tuża l-indiċi ġenerali biex tfittex ismijiet ta ’pjanti minn lista ewlenija.
L-indiċi jista 'jintuża biex tfittex oħrajn oġġetti, bħal kimiċi, ġeni f'diversi
kodifiki, proteini, materjali, ismijiet tal-post, jew entitajiet oħra.
Minflok database Postgres, tekniki oħra, bħal BERT, jistgħu jiġu applikati għad-dejta.
Din hija għodda ta ’tfittxija, dizzjunarju ta’ għarfien, mappa għall-għarfien, għodda li aħna nemmnu
hija faċilità essenzjali għall-prattika tax-xjenza fl-era moderna tagħna.
Dan l-indiċi ġenerali għall-għarfien ma jagħmilx il-korpus sottostanti disponibbli, Pjuttost, fatti
huma estratti mill-corpus.
Din mhix konsumattiva u l-użu trasformattiv.
Aħna nqisu dan bħala utilità pubblika. Aħna nasserixxu l-ebda sjieda fuq l-indiċi ġenerali.
Huwa ddedikat għad-dominju pubbliku, serje ta 'fatti mhux imtaqqla li bihom tista'
agħmel dak li trid.
M'hemm l-ebda drittijiet riservati.
Skulari fit-triq għall-iskoperta jistgħu jikkonsultaw dan il-pjan direzzjonali biex issib destinazzjonijiet aktar malajr
huma jixtiequ jżuru. Aħna biss duttenti fil - hallways tal-arkivji vasti tad-dinja,
il-komunità kollettiva ta 'studjużi u xjenzati u inġiniera u artisti li ħolqu
dawn it-tempji tal-għarfien.
Dawn it-tempji, mil-Librerija ta ’Lixandra sal-Librerija ta ’Alexandra, mill-patrijiet
tal-Irlanda għal-libreriji moderni vasti ta ’riċerka tal-lum, mill-iskribi Għarab u Lhud
naħdmu flimkien biex nibnu d-Dar tal-Għerf f'Bagdad għall-fabbriki ta 'għarfien miżmuma
fi djar moderni tal-kummerċ tal-Lvant Indjan bħal il-presses ta 'Oxford u Cambridge, dawn
huma d-destinazzjonijiet li l-istudjużi għandhom iżuru biex javvanzaw is-sengħa tagħhom, biex jitgħallmu minn
dawk li ġew qabilna.
Dawn it-tempji fihom is-somma tal-għarfien kollu, imma rridu nkunu nistgħu nsibu dak l-għarfien.
L-indiċi ġenerali huwa mappa.
Din mhix mappa għas-somma tal-għarfien uman kollu,
iżda ċertament huwa subsett sostanzjali.
Għaż-żieda u t-tixrid tal-għarfien biex inkomplu, jekk irridu noqgħodu fuq l-ispallejn
ta 'ġganti, irridu nipprovdu dawn il-mapep għal dak dinja vasta ta 'ideat.
L-indiċi ġenerali huwa biss għodda waħda, għodda li nittamaw li maż-żmien jiksbu kwalità
u fl-ambitu, għodda li nittamaw li tipprovdi kontribut utli
għall-prattika tiegħek tax-xjenza.
Nisperaw li tpoġġi dan l-indiċi ġenerali wkoll użi sorprendenti, li nistgħu nagħmlu l-indiċi
aħjar, li tista 'toħloq għodda oħra, dik il-komunità tal-istudjużi tista 'taħdem flimkien
fi tfittxija komuni biex tneħħi l-fond vast ta 'dan l-oċean ta' tagħlim.
Nemmen li lkoll naqsmu għan komuni, tama komuni.
Bħala xjentisti, studjużi, artisti, kittieba, bħala ċittadini tad-dinja, bħala tfal li jixtiequ
biex nitgħallem, bħala bnedmin kurjużi, nemmen ilkoll nittamaw li ż-żieda u t-tixrid
ta 'għarfien se tagħmel id-dinja tagħna aħjar post, li tgħinna nifhmu tagħna
fid-dinja, biex tfejjaq il-mard u l-faqar, biex tavvanza il - progress tax - xjenza u l - kummerċ u
umanitajiet u l-arti.
Ix-xjenza hija lingwa li rridu nitkellmu lkoll jekk aħna ntejbu d-dinja tagħna.
Grazzi talli smajt.
[Is-Siġill qed jinbaħ]
[Mużika]