[Musika]
[Iragarlea] Hau baliabide publikoa da
[Carl Malamud] Kaixo, Carl Malamud naiz.
Ongi etorri aurkibide orokorrera.
Hemen aurkezten dugu zure doako eta mugarik gabe erabili 107 milioitik ateratako n gramo multzoa,
233 mila, 728 aldizkari artikulu.
N-gramoak hitz bakarrekoak dira, ezagunak unigramak bezala, bi hitzeko esaldietara (bigramak)
5 hitz arteko esaldiak, 5 gramo izenarekin ezagutzen direnak.
Badira, guztiak esanda, 355.000 mila milioi n gramoko ilara indize orokorraren ohar honetan, bakoitza
aldizkariko artikulu bateko arrakasta bati dagokiona.
Spacy izeneko tresna-multzoa erauzteko erabili zen zatitu ditugun n-gramoak
hamasei fitxategitan.
Lerro bakoitzarekin lotutako md5 hash bat dago aldizkariko artikulu bat adierazten du.
Horrez gain, artikuluan n-gramo.
Denborarekin maiztasuna ere zerrendatzea espero dugu corpus orokorrean, garrantzi metrika
TD / IDF izenarekin ezagutzen dena.
N-gramoez gain, Indize Orokorra Yake erabiliz ateratako hitz gakoak ditu
toolkit.Yake "testu estatistikoan oinarritzen da dokumentu bakarretatik ateratako ezaugarriak
hautatu testu bateko hitz gako garrantzitsuenak ".
Aurkibide orokorreko gako-hitzen taulak ditu guztira 19.000 mila milioi hitz gako.
Azkenean, aurkibide orokorrak metadatu batzuk ditu taula, md5 hash-a mapako elementuekin mapatuz
aldizkariaren artikulu baten DOI helbide bakarra, izenburua, egilea eta aldizkaria.
Hau indize orokorraren lehen bertsioa da, abian den lana.
Zenbait kasutan, testuak ateratzeak huts egin du.
Batzuetan, metadatuak ez daude eskuragarri edo daude agian okerra ere bai.
Azpiko corpusa handia den arren, hala da ez dago osatuta eta ez dago eguneratuta.
Hori hobetzeko modu asko daude, eta jenerala egiteko irrikitan gaude
Indizea hobe denboran zehar.
Indize orokorrak 38 inguru hartzen ditu datu terabyte Postgres moduan
bota, ordea konpresioarekin, ASCII hau datuak 8,5 terabyte-ra murrizten dira.
Hemendik zuzenean deskargatu ditzakezu datuak, edo bittorrent bezalako tresnak erabili.
Anima zaitez ispiluak edo bestelako publikoa sortzen indize orokorra birbanatzeko biltegiak.
Gure itxaropena da zenbaki bat jarri ahal izatea erabileren. Postgres datu basea erabiltzen ari gara,
eta aurkibide orokorra erabiliz bilatzeko zerrenda nagusi bateko landareen izenak.
Aurkibidea beste batzuk bilatzeko erabil liteke objektuak, hala nola produktu kimikoak, geneak hainbat
kodeketak, proteinak, materialak, leku izenak, edo beste entitate batzuk.
Postgres datu-basearen ordez, beste teknika batzuk, esaterako, BERT datuei aplika dakieke.
Hau bilaketa tresna bat da, jakintza hiztegia, ezagutzarako mapa, guk uste dugun tresna
praktikarako ezinbesteko instalazioa da zientziaren aro modernoan.
Ezagutzaren aurkibide orokor honek ez du egiten eskuragarri dagoen azpiko corpusa, gertaerak baizik
corpusetik ateratzen dira.
Hau ez da kontsumitzailea eta erabilera eraldatzailea.
Erabilera publikotzat jotzen dugu hau. Baieztatzen dugu indize orokorraren gaineko jabetzarik ez.
Jabari publikoari eskainitakoa da, serie bat ahal dituzun zailtasunik gabeko gertaeren inguruan
egin nahi duzuna.
Ez dago eskubiderik gordeta.
Aurkikuntzaren bidean dauden jakintsuek kontsulta dezakete bide orri hau helmugak azkarrago aurkitzeko
bisitatu nahi dute. Doktoreak besterik ez gara munduko artxibo zabalen korridoreak,
jakintsu eta zientzialarien komunitate kolektiboa eta sortu duten ingeniari eta artistak
jakintzaren tenplu horiek.
Tenplu hauek, Alexandriako Liburutegitik fraideengandik Alexandrako Liburutegira
Irlandako ikerketa liburutegi moderno zabaletara gaur egungo eskribau arabiar eta juduen eskutik
elkarlanean Jakinduriaren Etxea eraikitzen Bagdaden dauden ezagutza lantegietara
Ekialdeko Indiako merkataritza etxe modernoetan Oxfordeko eta Cambridgeko prentsak, hauek
dira jakintsuek bisitatu behar dituzten helmugak beren ofizioa aurrera ateratzeko, ikasteko
gure aurretik etorri zirenak.
Tenplu hauek jakintza guztien batura dute, baina jakintza hori aurkitzeko gai izan behar dugu.
Aurkibide orokorra mapa da.
Hau ez da giza ezagutza guztien batura egiten duen mapa,
baina, zalantzarik gabe, azpimultzo nabarmena da.
Ezagutza handitzeko eta hedatzeko jarraitzeko, sorbalden gainean egon nahi badugu
erraldoien artean, horretarako mapak eman behar ditugu ideien mundu zabala.
Indize orokorra tresna bakarra da, tresna bat denborarekin kalitatea irabaztea espero dugula
eta esparruan, espero dugun tresna ekarpen erabilgarria
zientziaren praktikara.
Aurkibide orokor hau ere jarriko duzula espero dugu erabilera harrigarriak, aurkibidea egin dezakegula
hobe, beste tresna batzuk sor ditzakezula, hori jakintsuen komunitateak elkarrekin lan egin dezake
sakonera handiak ateratzeko ohiko bilaketan ikasteko ozeano honen.
Uste dut guztiok partekatzen dugula helburu bateratua, itxaropen arrunta.
Zientzialari, jakintsu, artista, idazle gisa, munduko hiritar gisa, nahi duten haurrek bezala
ikasteko, gizaki bitxi gisa, uste dut guztiok espero dugu handitzea eta hedatzea
ezagutzak gure mundua hobetuko du lekua, gure ulertzen lagunduko digula
mundua, gaixotasunak eta pobrezia sendatzeko, aurrera egiteko zientziaren eta merkataritzaren aurrerapena eta
humanitateak eta arteak.
Zientzia denok hitz egin behar dugun hizkuntza da gure mundua hobetzeko gara.
Eskerrik asko entzuteagatik.
[Zigorra zaunka ari da]
[Musika]