[Musiek]
[Omroeper] Dit is openbare hulpbronne
[Carl Malamud] Hallo, ek is Carl Malamud.
Welkom by die algemene indeks.
Ons bied u hier gratis en onbeperk aan gebruik 'n stel n-gram onttrek uit 107 miljoen,
233 duisend, 728 tydskrifartikels.
Die n-gram wissel van enkele woorde, bekend as unigrams, na twee-woord frases (bigramme)
tot 5-woordsinne, bekend as 5-gram.
Daar is altesaam 355 miljard rye n-gram in hierdie weergawe van die algemene indeks, elk
wat ooreenstem met 'n treffer in 'n tydskrifartikel.
'N Toolkit genaamd Spacy is gebruik om te onttrek die n-gram, wat ons verdeel het
oor sestien lêers.
By elke ry word 'n md5 -hash, wat verteenwoordig 'n tydskrifartikel.
Daarbenewens lys ons die frekwensie van die n-gram in die artikel.
Ons hoop om mettertyd ook die frekwensie te lys in die algehele korpus, 'n relevansie -metriek
bekend as TD/IDF.
Benewens die n-gram, die algemene indeks bevat sleutelwoorde wat met die Yake onttrek is
toolkit.Yake “berus op statistiese teks funksies onttrek uit enkele dokumente tot
kies die belangrikste sleutelwoorde van 'n teks. "
Die algemene indeks -sleutelwoordtabelle bevat 'n totaal van 19 miljard sleutelwoorde.
Laastens bevat die algemene indeks 'n metadata tafel, en karteer die md5 -hash vir items soos
die unieke adres van 'n DOI vir 'n tydskrifartikel, die titel, skrywer en tydskrif.
Dit is 'n vroeë vrystelling van die algemene indeks, 'n werk aan die gang.
In sommige gevalle het teksonttrekking misluk.
Soms is metadata nie beskikbaar nie, of is dit wel miskien selfs verkeerd.
Terwyl die onderliggende korpus groot is, is dit wel so nie volledig nie en is nie op datum nie.
Daar is baie maniere waarop dit verbeter kan word, en ons sien uit daarna om die generaal te maak
Indeks beter met verloop van tyd.
Die algemene indeks beslaan ongeveer 38 terabyte data in die vorm van 'n Postgres
stort, maar met kompressie, hierdie ASCII data word verminder tot 8,5 terabyte.
U kan die data direk hier aflaai, of gebruik gereedskap soos bittorrent.
Skep gerus spieëls of ander publiek bewaarplekke om die algemene indeks te herversprei.
Ons hoop dat dit in 'n getal gestel kan word van gebruike. Ons gebruik 'n Postgres -databasis,
en met behulp van die algemene indeks om na te soek name van plante uit 'n meesterlys.
Die indeks kan gebruik word om na ander te soek voorwerpe, soos chemikalieë, gene in verskillende
kodering, proteïene, materiaal, plekname, of ander entiteite.
In plaas van 'n Postgres -databasis, kan ander tegnieke, soos BERT, kan op die data toegepas word.
Dit is 'n naslaanhulpmiddel, 'n woordeboek van kennis, 'n kaart vir kennis, 'n instrument wat ons glo
is 'n noodsaaklike fasiliteit vir die praktyk van wetenskap in ons moderne tyd.
Hierdie algemene kennisindeks maak nie die onderliggende korpus beskikbaar, Eerder feite
word uit die korpus onttrek.
Dit is 'n nie -verbruik en transformerende gebruik.
Ons beskou dit as 'n openbare nut. Ons beweer geen eienaarskap oor die algemene indeks nie.
Dit is toegewy aan die publieke domein, 'n reeks van onbelemmerde feite waarmee u kan
doen wat jy wil.
Daar is geen regte voorbehou nie.
Geleerdes op die pad na ontdekking kan raadpleeg hierdie padkaart om vinniger bestemmings te vind
hulle wil besoek.Ons is maar dosente in die gange van die groot argiewe van die wêreld,
die kollektiewe gemeenskap van geleerdes en wetenskaplikes en ingenieurs en kunstenaars wat geskep het
hierdie tempels van kennis.
Hierdie tempels, uit die biblioteek van Alexandrië na die biblioteek van Alexandra, van die monnike
van Ierland na die uitgestrekte moderne navorsingsbiblioteke van vandag, van die Arabiese en Joodse skrifgeleerdes
werk saam om die Huis van Wysheid te bou in Bagdad na die fabrieke van kennis gehuisves
in moderne Oos -Indiese handelshuise soos die pers van Oxford en Cambridge, hierdie
is die bestemmings wat geleerdes moet besoek om hul vak te bevorder, om van te leer
diegene wat voor ons gekom het.
Hierdie tempels bevat die som van alle kennis, maar ons moet daardie kennis kan vind.
Die algemene indeks is 'n kaart.
Dit is nie 'n kaart van die som van alle menslike kennis nie,
maar dit is beslis 'n aansienlike deelversameling.
Vir die verhoging en verspreiding van kennis om voort te gaan as ons op die skouers wil staan
van reuse, moet ons hierdie kaarte daarvoor voorsien groot wêreld van idees.
Die algemene indeks is slegs een instrument, 'n instrument dat ons mettertyd in kwaliteit sal toeneem
en in omvang, 'n hulpmiddel wat ons hoop sal bied 'n nuttige bydrae
na u praktyk in die wetenskap.
Ons hoop dat u ook hierdie algemene indeks sal plaas verrassende gebruike, dat ons die indeks kan maak
beter, dat u ander gereedskap kan skep, dit die gemeenskap van geleerdes kan saamwerk
in 'n algemene strewe om die groot dieptes te ontgin van hierdie oseaan van leer.
Ek glo dat ons almal 'n gemeenskaplike doel het, 'n algemene hoop.
As wetenskaplikes, geleerdes, kunstenaars, skrywers, as burgers van die wêreld, soos kinders wil
Ek glo, as nuuskierige mense ons almal hoop dat die toename en verspreiding
van kennis sal ons wêreld beter maak plek, sodat dit ons sal help om ons
wêreld, om siektes en armoede te genees, om vooruit te gaan die vordering van wetenskap en handel en die
geesteswetenskappe en kunste.
Wetenskap is 'n taal wat ons almal moet praat as ons moet ons wêreld verbeter.
Dankie vir die luister.
[Die seël blaf]
[Musiek]