[Muziko]
[Anoncisto] Ĉi tio estas Publika Rimedo
[Carl Malamud] Saluton, mi estas Carl Malamud.
Bonvenon al la Ĝenerala Indekso.
Ni prezentas ĉi tie senpage kaj senlime uzu aron de n-gramoj ĉerpitaj de 107 milionoj,
233 mil, 728 ĵurnalaj artikoloj.
La n-gramoj iras de unuopaj vortoj, konataj kiel unigramoj, al duvortaj frazoj (bigramoj)
ĝis 5-vortaj frazoj, nomataj 5-gramoj.
Estas, ĉio dirite, 355 miliardoj da vicoj da n-gramoj en ĉi tiu eldono de la ĝenerala indekso, ĉiu
egalrilatante al sukceso en ĵurnalartikolo.
Ilaro nomita Spacy estis uzata por ĉerpi la n-gramoj, kiujn ni dividis
tra dek ses dosieroj.
Asociita kun ĉiu vico estas md5-hakilo, kiu reprezentas ĵurnalartikolon.
Krome ni listigas la oftecon de la n-gramo en la artikolo.
Ni esperas kun la tempo ankaŭ listigi la oftecon en la ĝenerala korpuso, signifa metriko
konata kiel TD / IDF.
Krom la n-gramoj, la Ĝenerala Indekso enhavas ŝlosilvortojn ĉerpitajn per Yake
ilaro.Yake "dependas de teksto statistika ecoj eltiritaj de unuopaj dokumentoj al
elektu la plej gravajn ŝlosilvortojn de teksto. "
La ĝeneralaj indeksaj ŝlosilvortaj tabeloj enhavas entute 19 miliardoj da ŝlosilvortoj.
Laste, la ĝenerala indekso enhavas metadatenojn tabelo, mapante la md5-haŝiŝon al eroj tiaj
la unika adreso de DOI por ĵurnala artikolo, la titolo, aŭtoro kaj ĵurnalo.
Ĉi tio estas frua eldono de la ĝenerala indekso, verko en progreso.
En iuj kazoj, tekstekstraktado malsukcesis.
Foje, metadatenoj ne haveblas aŭ estas eble eĉ malĝusta.
Dum la suba korpuso estas granda, ĝi estas ne kompleta, kaj ne estas ĝisdata.
Ĉi tio estas multaj manieroj plibonigeblaj, kaj ni antaŭĝojas fari la Generalon
Indekso pli bona kun la tempo.
La ĝenerala indekso okupas proksimume 38 terabajtoj da datumoj en la formo de Postgres
forĵetu, tamen kun kunpremo, ĉi tiun Askion datumoj reduktiĝas al 8,5 terabajtoj.
Vi povas elŝuti la datumojn rekte de ĉi tie, aŭ uzu ilojn kiel bittorrent.
Bonvolu krei spegulojn aŭ alian publikon deponejoj por redistribui la ĝeneralan indekson.
Nia espero estas, ke ĝi povas esti nombrita de uzoj. Ni uzis datumbazon Postgres,
kaj uzante la ĝeneralan indekson por serĉi nomoj de plantoj el majstra listo.
La indekso povus esti uzata por serĉi aliajn objektoj, kiel chemicalsemiaĵoj, genoj en diversaj
kodigoj, proteinoj, materialoj, loknomoj, aŭ aliaj entoj.
Anstataŭ Postgres-datumbazo, aliaj teknikoj, kiel ekzemple BERT, povas esti aplikita al la datumoj.
Jen serĉilo, vortaro de scio, mapo al scio, ilo, kiun ni kredas
estas esenca facileco por la praktiko de scienco en nia moderna epoko.
Ĉi tiu ĝenerala indekso al scio ne funkcias la suba korpuso disponebla, Prefere, faktoj
estas ĉerpitaj el la korpuso.
Ĉi tio estas nekonsuma kaj transforma uzo.
Ni rigardas ĉi tion kiel publikan servaĵon. Ni asertas neniu posedo super la ĝenerala indekso.
Ĝi estas dediĉita al la publika havaĵo, serio de neplenumitaj faktoj, kun kiuj vi povas
faru tion, kion vi volas.
Ne estas rezervitaj rajtoj.
Akademiuloj survoje al malkovro povas konsulti ĉi tiu vojmapo por pli rapide trovi celojn
ili volas viziti. Ni estas nur doktoroj en la koridoroj de la vastaj arkivoj de la mondo,
la kolektiva komunumo de kleruloj kaj sciencistoj kaj inĝenieroj kaj artistoj, kiuj kreis
ĉi tiuj temploj de scio.
Ĉi tiuj temploj, de la Biblioteko de Aleksandrio al la Biblioteko de Aleksandro, de la monaksoj
de Irlando al la vastaj modernaj esploraj bibliotekoj de hodiaŭ, de la arabaj kaj judaj skribistoj
kunlaborante por konstrui la Domon de Saĝo en Bagdado al la loĝataj fabrikoj de scioj
en modernaj orient-hindaj komercaj domoj kiel la gazetaroj de Oksfordo kaj Kembriĝo, ĉi tiuj
estas la celoj, kiujn erudiciuloj devas viziti progresigi sian metion, lerni de
tiuj, kiuj venis antaŭ ni.
Ĉi tiuj temploj enhavas la sumon de ĉiuj scioj, sed ni devas povi trovi tiun scion.
La ĝenerala indekso estas mapo.
Ĉi tio ne estas mapo al la sumo de ĉiuj homaj scioj,
sed ĝi certe estas granda subaro.
Por la pliiĝo kaj disvastigo de scio daŭrigi, se ni staros sur la ŝultroj
de gigantoj, ni devas provizi ĉi tiujn mapojn al tio vasta mondo de ideoj.
La ĝenerala indekso estas nur unu ilo, ilo ke ni esperas, ke kun la tempo gajnos kvalito
kaj amplekse, ilo, kiun ni esperas, kiu provizos utila kontribuo
al via praktiko de scienco.
Ni esperas, ke vi metos ankaŭ ĉi tiun ĝeneralan indekson surprizaj uzoj, ke ni povas fari la indekson
pli bone, ke vi povas krei aliajn ilojn, tion la komunumo de kleruloj povas kunlabori
en komuna serĉo por ekspluati la vastajn profundojn de ĉi tiu oceano de lernado.
Mi kredas, ke ni ĉiuj havas komunan celon, komuna espero.
Kiel sciencistoj, fakuloj, artistoj, verkistoj, kiel civitanoj de la mondo, kiel infanoj dezirantaj
lerni, kiel scivolemaj homoj, mi kredas ni ĉiuj esperas, ke la pliiĝo kaj disvastiĝo
de scio plibonigos nian mondon loko, ke ĝi helpos nin kompreni nian
mondo, kuraci malsanojn kaj malriĉecon, progresi la progreso de scienco kaj komerco kaj la
homaroj kaj la artoj.
Scienco estas lingvo, kiun ni ĉiuj devas paroli se ni devas plibonigi nian mondon.
Dankon pro aŭskultado.
[La Sigelo Bojas]
[Muziko]