[Hudba]
[Vyhlašovatel] Toto je veřejný zdroj
[Carl Malamud] Dobrý den, jsem Carl Malamud.
Vítejte v obecném rejstříku.
Představujeme zde zdarma a neomezeně použijte sadu n-gramů extrahovaných ze 107 milionů,
233 tisíc, 728 článků v časopisech.
N-gramy se pohybují od jednotlivých slov, známých jako unigramy, do dvouslovných frází (bigramy)
až 5slovné fráze, známé jako 5 gramů.
Existuje celkem 355 miliard řádků n-gramů v tomto vydání obecného rejstříku každý
což odpovídá požadavku na článek v časopise.
K extrahování byla použita sada nástrojů s názvem Spacy n-gramů, které jsme rozdělili
přes šestnáct souborů.
Ke každému řádku je přiřazen hash md5, který představuje článek v časopise.
Kromě toho uvádíme frekvenci souboru n-gram v článku.
Doufáme, že časem také uvedeme frekvenci v celkovém korpusu metrika relevance
známý jako TD/IDF.
Kromě n-gramů Obecný index obsahuje klíčová slova extrahovaná pomocí Yake
toolkit.Yake „spočívá na textové statistice funkce extrahované z jednotlivých dokumentů do
vyberte nejdůležitější klíčová slova textu. “
Obecné tabulky klíčových slov indexu obsahují celkem 19 miliard klíčových slov.
A konečně, obecný index obsahuje metadata tabulka, mapování md5 hash na položky, jako je
jedinečná adresa DOI pro článek v časopise, název, autor a časopis.
Toto je předčasné vydání obecného indexu, rozpracovaná.
V některých případech se extrakce textu nezdařila.
Někdy metadata nejsou k dispozici, nebo jsou možná dokonce nesprávné.
Podkladový korpus je velký, ale je není kompletní a není aktuální.
Existuje mnoho způsobů, jak to lze zlepšit, a těšíme se na generála
Indexujte časem lépe.
Obecný index zabírá přibližně 38 terabajty dat ve formě Postgresu
výpis, ale s kompresí, tento ASCII data se zmenší na 8,5 terabajtů.
Data si můžete stáhnout přímo odtud, nebo použijte nástroje jako bittorrent.
Neváhejte vytvářet zrcadla nebo jiné veřejné úložiště k redistribuci obecného indexu.
Doufáme, že se to dá navýšit na číslo použití. Používáme databázi Postgres,
a pomocí obecného rejstříku hledat názvy rostlin z hlavního seznamu.
Index lze použít k hledání dalších předměty, jako jsou chemikálie, geny v různých
kódování, proteiny, materiály, názvy míst, nebo jiné subjekty.
Místo databáze Postgres, jiné techniky, jako BERT, lze použít na data.
Toto je vyhledávací nástroj, slovník znalostí, mapa znalostí, nástroj, kterému věříme
je nezbytným prostředkem pro praxi vědy v naší moderní době.
Tento obecný rejstřík znalostí nedělá podkladový korpus k dispozici, spíše fakta
jsou extrahovány z korpusu.
Toto je nekonzumní a transformační využití.
Považujeme to za veřejný nástroj. Tvrdíme žádné vlastnictví obecného indexu.
Je věnována veřejné doméně, sérii nezatížených faktů, s nimiž můžete
dělej co chceš.
Nejsou vyhrazena žádná práva.
Učenci na cestě za objevem se mohou poradit tento plán pro rychlejší nalezení cílů
chtějí navštívit. Jsme jen docenti v chodby rozsáhlých archivů světa,
kolektivní komunita vědců a vědců a inženýři a umělci, kteří vytvořili
tyto chrámy poznání.
Tyto chrámy pocházejí z Alexandrijské knihovny do knihovny Alexandra, od mnichů
Irska do rozsáhlých moderních výzkumných knihoven dneška, od arabských a židovských zákoníků
spolupracovat na stavbě Domu moudrosti v Bagdádu do továren ubytovaných znalostí
v moderních východoindických obchodních domech jako lisy v Oxfordu a Cambridgi, tyto
jsou cíle, které musí učenci navštívit rozvíjet své řemeslo, učit se od
ti, kteří přišli před námi.
Tyto chrámy obsahují součet všech znalostí, ale musíme být schopni tyto znalosti najít.
Obecný rejstřík je mapa.
Toto není mapa na součet všech lidských znalostí,
ale je to určitě podstatná podmnožina.
Pro zvýšení a šíření znalostí abychom pokračovali, pokud se máme postavit na ramena
obrů, musíme k tomu poskytnout tyto mapy obrovský svět myšlenek.
Obecný index je jen jeden nástroj, nástroj že doufáme, že časem získá na kvalitě
a v rozsahu, nástroj, který doufáme, že poskytne užitečný příspěvek
do vaší praxe vědy.
Doufáme, že vložíte i tento obecný rejstřík překvapivá použití, že můžeme vytvořit index
lépe, že můžete vytvořit další nástroje, že komunita vědců může spolupracovat
při společném hledání těžby obrovských hlubin tohoto oceánu učení.
Věřím, že všichni máme společný cíl, společná naděje.
Jako vědci, učenci, umělci, spisovatelé, jako občané světa, jak si děti přejí
věřit, učit se jako zvědavé lidské bytosti všichni doufáme, že nárůst a šíření
znalostí udělá náš svět lepším místo, které nám pomůže pochopit naše
svět, léčit nemoci a chudobu, postupovat pokrok vědy a obchodu a
humanitních věd a umění.
Věda je jazyk, kterým musíme všichni mluvit, pokud máme zlepšit náš svět.
Díky za poslech.
[Pečeť štěká]
[Hudba]