[Tónlist]
[Auglýsandi] Þetta er opinber auðlind
[Carl Malamud] Halló, ég heiti Carl Malamud.
Velkomin á General Index.
Við kynnum hér ókeypis og ótakmarkað nota sett af n-grömmum dregið úr 107 milljónum,
233 þúsund, 728 tímaritsgreinar.
N-grömmin eru allt frá stökum orðum, þekkt sem unigrams, til tveggja orða setninga (bigrams)
allt að 5 orða setningar, þekktar sem 5 grömm.
Það eru, allt sagt, 355 milljarðar raðir af n-grömmum í þessari útgáfu almennu vísitölunnar, hver
samsvarandi högg í tímaritsgrein.
Tækjasett sem heitir Spacy var notað til að draga út n-grömmin, sem við höfum skipt
yfir sextán skrár.
Tengd hverri röð er md5 kjötkássa, sem táknar tímaritsgrein.
Að auki skráum við tíðni n-gramm í greininni.
Við vonum með tímanum að skrá einnig tíðni í heildarhópnum, mælikvarða á mikilvægi
þekktur sem TD/IDF.
Til viðbótar við n-grömmin, General Index inniheldur leitarorð dregin út með því að nota Yake
verkfærasett.Yake „hvílir á tölfræðilegum texta eiginleikar unnir úr einstökum skjölum til
veldu mikilvægustu leitarorð texta.
Almennar vísitöluorðatafla innihalda alls 19 milljarðar leitarorða.
Að lokum inniheldur almenna vísitalan lýsigögn töflu, kortleggja md5 kjötkássuna til atriða eins
einstakt heimilisfang DOI fyrir tímaritsgrein, titillinn, höfundur og tímarit.
Þetta er snemma útgáfa af almennu vísitölunni, verk í vinnslu.
Í sumum tilfellum mistókst textaútdráttur.
Stundum eru lýsigögn ekki tiltæk, eða eru kannski jafnvel rangt.
Þó að undirliggjandi corpus sé stórt, þá er það það ekki lokið, og er ekki uppfært.
Það eru margar leiðir til að bæta þetta, og við hlökkum til að gera hershöfðingja
Vísitala betri með tímanum.
Almenna vísitalan er um það bil 38 terabæt af gögnum í formi Postgres
affall, þó með þjöppun, þessari ASCII gögn eru minnkuð niður í 8,5 terabæti.
Þú getur halað niður gögnunum beint héðan, eða nota tæki eins og bittorrent.
Ekki hika við að búa til spegla eða annan almenning geymslur til að dreifa almennu vísitölunni.
Von okkar er sú að hægt sé að setja hana í tölu af notkun. Við höfum verið að nota Postgres gagnagrunn,
og nota almenna vísitöluna til að leita að nöfn plantna af meistaralista.
Vísitöluna væri hægt að nota til að leita að öðru hluti, svo sem efni, gen í ýmsum
kóðun, prótein, efni, örnefni, eða öðrum aðilum.
Í stað Postgres gagnagrunns er önnur aðferð, svo sem BERT, er hægt að beita á gögnin.
Þetta er leitartæki, þekkingarorðabók, kort til þekkingar, tæki sem við trúum
er nauðsynleg aðstaða fyrir æfingarnar vísinda á okkar nútíma.
Þessi almenna vísitala til þekkingar gerir ekki undirliggjandi corpus í boði, Frekar, staðreyndir
eru dregnar úr corpus.
Þetta er neysluleysi og umbreytingarnotkun.
Við lítum á þetta sem almenningsgagn. Við fullyrðum ekkert eignarhald á almennu vísitölunni.
Það er tileinkað almenningi, röð af hömlulausum staðreyndum sem þú getur
gerðu það sem þú vilt.
Það eru engin réttindi áskilin.
Fræðimenn á leiðinni að uppgötvun geta haft samráð þessa vegáætlun til að finna áfangastaði hraðar
þeir vilja heimsækja.Við erum aðeins dósentar í gangar í stórum skjalasafni heimsins,
sameiginlegt samfélag fræðimanna og vísindamanna og verkfræðinga og listamenn sem hafa búið til
þessi musteri þekkingar.
Þessi musteri, frá bókasafninu í Alexandríu til bókasafns Alexöndru, frá munkunum
Írlands til hinna miklu nútíma rannsóknasafna í dag, frá araba og gyðingum
vinna saman að því að byggja House of Wisdom í Bagdad til þekkingarverksmiðjanna sem til eru
í nútíma austur -indverskum verslunarhúsum eins og pressur Oxford og Cambridge, þessar
eru áfangastaðir sem fræðimenn verða að heimsækja að efla iðn sína, læra af
þeir sem komu fyrir okkur.
Þessi musteri innihalda summa allrar þekkingar, en við verðum að geta fundið þá þekkingu.
Almenna vísitalan er kort.
Þetta er ekki kort að summu allrar mannlegrar þekkingar,
en það er vissulega verulegur undirmengi.
Til að auka og dreifa þekkingu að halda áfram, ef við ætlum að standa á herðum
af risum, verðum við að útvega þessi kort fyrir það mikinn hugmyndaheim.
Almenna vísitalan er aðeins eitt tæki, tæki sem við vonum að með tímanum muni öðlast gæði
og að umfangi, tæki sem við vonum að muni veita gagnlegt framlag
við iðkun þína í vísindum.
Við vonum að þú setjir þessa almennu vísitölu líka óvænt notkun, að við getum gert vísitöluna
betra, að þú getur búið til önnur tæki, það samfélag fræðimanna getur unnið saman
í sameiginlegri leit að námu víðáttunnar þessa hafs lærdóms.
Ég trúi því að við eigum öll sameiginlegt markmið, sameiginleg von.
Sem vísindamenn, fræðimenn, listamenn, rithöfundar, sem borgarar heimsins, eins og börn óska
að læra, sem forvitin mannvera, trúi ég við vonum öll að aukningin og dreifingin
þekkingu mun gera heiminn okkar betri stað, að það mun hjálpa okkur að skilja okkar
heiminum, til að lækna sjúkdóma og fátækt, fara fram framfarir vísinda og verslunar og
hugvísindi og listir.
Vísindi er tungumál sem við verðum öll að tala ef við erum að bæta heiminn okkar.
Takk fyrir að hlusta.
[Selurinn er að gelta]
[Tónlist]