[Mizik]
[Announcer] Sa a se Resous Piblik
[Carl Malamud] Bonjou, mwen se Carl Malamud.
Byenveni nan Index Jeneral la.
Nou prezante isit la pou gratis ak san limit ou sèvi ak yon seri n-gram ekstrè soti nan 107 milyon,
233 mil, 728 atik jounal.
N-gram yo varye ant mo sèl, li te ye kòm unigram, nan fraz de mo (bigram)
jiska fraz 5-mo, ke yo rekonèt kòm 5-gram.
Gen, tout te di, 355 milya dola ranje nan n-gram nan sa a lage nan endèks la an jeneral, chak
ki koresponn ak yon frape nan yon atik jounal.
Yon zouti ki rele Spacy te itilize pou ekstrè n-gram yo, ki nou te fann
atravè sèz dosye.
Ki asosye avèk chak ranje se yon hash md5, ki reprezante yon atik jounal.
Anplis de sa, nou lis frekans nan la n-gram nan atik la.
Nou espere sou tan tou lis frekans lan an corpus an jeneral, yon metrik enpòtans
ke yo rekonèt kòm TD / IDF.
Anplis n-gram yo, Index jeneral la gen mo kle ekstrè lè l sèvi avèk Yake la
toolkit.Yake "repoze sou tèks estatistik karakteristik ekstrè soti nan dokiman sèl nan
chwazi mo kle ki pi enpòtan nan yon tèks. "
Tab endèks jeneral mo kle yo gen ladan yon total de 19 milya mo kle.
Anfen, endèks jeneral la gen yon metadata tab, kat hash a md5 nan atik sa yo
adrès DOI inik pou yon atik jounal, tit la, otè, ak jounal.
Sa a se yon lage bonè nan endèks la an jeneral, yon travay nan pwogrè.
Nan kèk ka, ekstraksyon tèks echwe.
Pafwa, metadata pa disponib, oswa se petèt menm kòrèk.
Pandan ke corpus la kache se gwo, li se pa konplè, epi li pa ajou.
Gen plizyè fason sa ka amelyore, epi nou gade pou pi devan pou fè Jeneral la
Endèks pi bon sou tan.
Endèks la an jeneral okipe apeprè 38 tèrokte nan done nan fòm lan nan yon Postgres
pil fatra, sepandan ak konpresyon, sa a ASCII done redwi a 8.5 tèrokte.
Ou ka telechaje done yo dirèkteman nan isit la, oswa itilize zouti tankou bittorrent.
Ezite kreye miwa oswa lòt piblik repozitwa pou redistribiye endèks jeneral la.
Espwa nou se ke li ka mete nan yon nimewo nan itilizasyon. Nou te lè l sèvi avèk yon baz done Postgres,
ak lè l sèvi avèk endèks la jeneral pou fè rechèch pou non plant ki soti nan yon lis mèt.
Te kapab endèks la dwe itilize pou fè rechèch pou lòt objè, tankou pwodwi chimik, jèn nan divès kalite
kodaj, pwoteyin, materyèl, non kote, oswa lòt antite.
Olye pou yo yon baz done Postgres, lòt teknik, tankou BERT, ka aplike nan done yo.
Sa a se yon zouti Passage, yon diksyonè nan konesans, yon kat konesans, yon zouti ke nou kwè
se yon etablisman esansyèl pou pratik la nan syans nan laj modèn nou an.
Sa a endèks jeneral nan konesans pa fè corpus la kache ki disponib, Olye de sa, reyalite
yo ekstrè nan corpus la.
Sa a se yon nonconsumptive ak itilizasyon transfòmasyon.
Nou wè sa tankou yon sèvis piblik piblik.Nou afime pa gen pwopriyetè sou endèks jeneral la.
Li dedye a domèn piblik la, yon seri nan reyalite san anpile ak ki ou kapab
fè sa ou vle.
Pa gen dwa rezève.
Scholars sou wout la nan dekouvèt ka konsilte plan sa a jwenn pi vit destinasyon
yo vle vizite.Nou se men dokan nan la koulwa nan achiv yo vas nan mond lan,
kominote a kolektif nan entelektyèl ak syantis yo ak enjenyè ak atis ki te kreye
tanp konesans sa yo.
Tanp sa yo, ki soti nan Bibliyotèk la nan Alexandria nan bibliyotèk la nan Alexandra, ki soti nan relijyeu yo
nan Iland nan bibliyotèk yo vas rechèch modèn jodi a, soti nan dirèktè lalwa yo Arab ak jwif yo
k ap travay ansanm pou konstwi kay sajès la nan Bagdad nan faktori yo nan konesans loje
nan modèn East komès kay Endyen tankou près yo nan Oxford ak Cambridge, sa yo
se destinasyon ke entelektyèl yo dwe vizite avanse navèt yo, yo aprann nan men
moun ki te vin devan nou.
Tanp sa yo gen sòm tout konesans, men nou dwe kapab jwenn konesans sa a.
Endèks jeneral la se yon kat.
Sa a se pa yon kat nan sòm total la nan tout konesans imen,
men li se sètènman yon sou-sibstansyèl.
Pou ogmantasyon ak difizyon nan konesans kontinye, si nou vle kanpe sou zepòl yo
nan gran, nou dwe bay kat sa yo nan sa vas mond nan lide.
Endèks jeneral la se yon sèl zouti, yon zouti ke nou espere sou tan ap genyen nan bon jan kalite
ak nan dimansyon, yon zouti nou espere ke yo pral bay yon kontribisyon itil
nan pratik ou nan syans.
Nou espere ou pral mete endèks jeneral sa a tou itilizasyon etone, ke nou ka fè endèks la
pi bon, ke ou ka kreye lòt zouti, sa kominote a nan entelektyèl ka travay ansanm
nan yon demand komen m 'fon lanmè yo vas nan oseyan sa a nan aprantisaj.
Mwen kwè ke nou tout pataje yon objektif komen, yon espwa komen.
Kòm syantis, entelektyèl, atis, ekriven, kòm sitwayen nan mond lan, tankou timoun ki vle
pou aprann, kòm kirye èt imen, mwen kwè nou tout espere ke ogmantasyon an ak difizyon
nan konesans pral fè mond nou an yon pi bon kote, ke li pral ede nou konprann nou an
mond, geri maladi ak povrete, avanse pwogrè nan syans ak komès ak la
imanite ak boza.
Syans se yon lang nou tout dwe pale si nou se pi bon mond nou an.
Mèsi pou tande.
[So a ap jape]
[Mizik]