[Hudba]
[Vyhlasovateľ] Toto je verejný zdroj
[Carl Malamud] Dobrý deň, som Carl Malamud.
Vitajte vo všeobecnom indexe.
Predstavujeme tu bezplatne a neobmedzene použite sadu n-gramov extrahovanú zo 107 miliónov,
233 tisíc, 728 článkov v časopisoch.
V n-gramoch sa pohybuje od známych slov ako unigramy, do dvojslovných fráz (bigramy)
až 5-slovné frázy, známe ako 5-gramové.
Celkom je 355 miliárd riadkov n-gramov v tomto vydaní všeobecného indexu každý
zodpovedajúci záznamu v článku v časopise.
Na extrakciu bol použitý súbor nástrojov s názvom Spacy n-gramov, ktoré sme rozdelili
v šestnástich súboroch.
S každým riadkom je spojený hash md5, ktorý predstavuje článok v časopise.
Okrem toho uvádzame frekvenciu n-gram v článku.
Dúfame, že v priebehu času uvedieme aj frekvenciu v celkovom korpuse metrika relevancie
známy ako TD/IDF.
Okrem n-gramov aj Všeobecný index obsahuje kľúčové slová extrahované pomocou Yake
toolkit.Yake “spočíva na textovej štatistike funkcie extrahované z jednotlivých dokumentov do
vyberte najdôležitejšie kľúčové slová v texte. “
Všeobecné tabuľky kľúčových slov indexu obsahujú celkom 19 miliárd kľúčových slov.
Nakoniec všeobecný register obsahuje metadáta tabuľka, mapovanie md5 hash na položky, ako napr
jedinečná adresa DOI pre článok v časopise, názov, autor a časopis.
Toto je skoré vydanie všeobecného indexu, nedokončená práca.
V niektorých prípadoch extrakcia textu zlyhala.
Metadáta niekedy nie sú k dispozícii alebo sú možno dokonca nesprávne.
Podkladový korpus je veľký, ale je nie je úplný a nie je aktuálny.
Existuje mnoho spôsobov, ako to možno zlepšiť, a tešíme sa na generála
Indexujte časom lepšie.
Všeobecný index zaberá približne 38 terabajty údajov vo forme súboru Postgres
skládka, avšak s kompresiou, tento ASCII údaje sa zmenšia na 8,5 terabajtov.
Údaje si môžete stiahnuť priamo tu, alebo použite nástroje ako bittorrent.
Nebojte sa vytvárať zrkadlá alebo iné verejné archívy na redistribúciu všeobecného indexu.
Dúfame, že sa to podarí zvýšiť použitia. Používame databázu Postgres,
a pomocou všeobecného indexu hľadať názvy rastlín z hlavného zoznamu.
Index je možné použiť na vyhľadávanie ďalších predmety, ako sú chemikálie, gény v rôznych
kódovania, proteíny, materiály, názvy miest, alebo iné subjekty.
Namiesto databázy Postgres iné techniky, napríklad BERT, je možné použiť na údaje.
Toto je vyhľadávací nástroj, slovník znalostí, mapa znalostí, nástroj, ktorému veríme
je základným vybavením praxe vedy v našej modernej dobe.
Tento všeobecný register znalostí nerobí podkladový korpus k dispozícii, skôr fakty
sú extrahované z korpusu.
Toto je nekonzumné a transformačné využitie.
Považujeme to za verejný nástroj. Tvrdíme žiadne vlastníctvo všeobecného indexu.
Je venovaná voľnému dielu, sérii nezaťažených faktov, s ktorými môžete
rob čo chceš.
Nie sú vyhradené žiadne práva.
Učenci na ceste za objavom sa môžu poradiť tento plán na rýchlejšie nájdenie destinácií
chcú navštíviť. Sme len docenti v chodby rozsiahlych archívov sveta,
kolektívne spoločenstvo vedcov a vedcov a inžinierov a výtvarníkov, ktorí vytvorili
tieto chrámy poznania.
Tieto chrámy pochádzajú z Alexandrijskej knižnice do Alexandrovej knižnice, od mníchov
Írska do rozsiahlych moderných výskumných knižníc dnešného dňa od arabských a židovských zákonníkov
spoločnými silami na vybudovaní Domu múdrosti v Bagdade do ubytovní tovární na znalosti
v moderných východoindických obchodných domoch ako lisy v Oxforde a Cambridge, tieto
sú destinácie, ktoré musia vedci navštíviť rozvíjať svoje remeslo, učiť sa od
tí, ktorí prišli pred nami.
Tieto chrámy obsahujú súhrn všetkých znalostí, ale musíme byť schopní nájsť tieto znalosti.
Všeobecný index je mapa.
Toto nie je mapa súhrnu všetkých ľudských znalostí,
ale určite je to podstatná podmnožina.
Na zvýšenie a šírenie znalostí pokračovať, ak sa máme postaviť na lopatky
obrov, musíme k tomu poskytnúť tieto mapy obrovský svet myšlienok.
Všeobecný index je len jeden nástroj, nástroj dúfame, že postupom času naberie na kvalite
a dúfame, že v rozsahu poskytne nástroj užitočný príspevok
do vašej praxe vedy.
Dúfame, že vložíte aj tento všeobecný index prekvapujúce použitie, že môžeme vytvoriť index
lepšie, že môžete vytvoriť ďalšie nástroje, že komunita vedcov môže spolupracovať
v spoločnom úsilí ťažiť obrovské hĺbky tohto oceánu učenia.
Verím, že všetci máme spoločný cieľ, spoločná nádej.
Ako vedci, učenci, umelci, spisovatelia, ako občania sveta, ako si deti želajú
naučiť sa, ako zvedavé ľudské bytosti, verím všetci dúfame, že nárast a difúzia
vedomostí urobí náš svet lepším miesto, ktoré nám pomôže porozumieť našim
sveta, liečiť choroby a chudobu, napredovať pokrok vo vede a obchode a
humanitné vedy a umenie.
Veda je jazyk, ktorým musíme všetci hovoriť, ak máme zlepšiť náš svet.
Ďakujem za vypočutie
[Pečať šteká]
[Hudba]