[Muzică]
[Crainic] Aceasta este resursă publică
[Carl Malamud] Bună ziua, eu sunt Carl Malamud.
Bine ați venit la Indexul general.
Vă prezentăm aici gratuit și nelimitat folosiți un set de n-grame extrase din 107 milioane,
233 mii, 728 articole de revistă.
N-grame variază de la cuvinte unice, cunoscute ca unigrame, la fraze cu două cuvinte (bigrame)
fraze de până la 5 cuvinte, cunoscute sub numele de 5 grame.
Există, peste tot, 355 miliarde de rânduri de n-grame în această versiune a indexului general, fiecare
corespunzând unui hit dintr-un articol de revistă.
Pentru extragere a fost folosit un set de instrumente numit Spacy n-grame, pe care le-am împărțit
în șaisprezece dosare.
Asociat cu fiecare rând este un hash md5, care reprezintă un articol de revistă.
În plus, enumerăm frecvența n-gram în articol.
Sperăm, în timp, să listăm și frecvența în corpusul general, o valoare a relevanței
cunoscut sub numele de TD / IDF.
În plus față de n-grame, Indicele general conține cuvinte cheie extrase folosind Yake
toolkit.Yake „se bazează pe textul statistic caracteristici extrase din documente unice în
selectați cele mai importante cuvinte cheie ale unui text. ”
Tabelele generale ale cuvintelor cheie conțin un total de 19 miliarde de cuvinte cheie.
În cele din urmă, indexul general conține metadate tabel, mapând hash-ul md5 la elemente de acest fel
adresa unică DOI pentru un articol de revistă, titlul, autorul și jurnalul.
Aceasta este o versiune timpurie a indexului general, o lucrare în desfășurare.
În unele cazuri, extragerea textului a eșuat.
Uneori, metadatele nu sunt disponibile sau sunt poate chiar incorect.
În timp ce corpusul de bază este mare, este nu este complet și nu este actualizat.
Există multe moduri în care acest lucru poate fi îmbunătățit, și așteptăm cu nerăbdare să facem Generalul
Index mai bine în timp.
Indicele general ocupă aproximativ 38 terabytes de date sub forma unui Postgres
dump, cu toate acestea cu compresie, acest ASCII datele sunt reduse la 8,5 terabytes.
Puteți descărca datele direct de aici, sau utilizați instrumente precum bittorrent.
Simțiți-vă liber să creați oglinzi sau alt public depozite pentru redistribuirea indexului general.
Speranța noastră este că poate fi pus la un număr de utilizări. Am folosit o bază de date Postgres,
și folosind indexul general pentru a căuta nume de plante dintr-o listă de master.
Indexul ar putea fi folosit pentru a căuta altele obiecte, cum ar fi substanțele chimice, genele din diverse
codificări, proteine, materiale, nume de locuri, sau alte entități.
În loc de o bază de date Postgres, alte tehnici, precum BERT, pot fi aplicate datelor.
Acesta este un instrument de căutare, un dicționar de cunoștințe, o hartă a cunoașterii, un instrument pe care îl credem noi
este o facilitate esențială pentru practică a științei în epoca noastră modernă.
Acest indice general al cunoștințelor nu face corpusul de bază disponibil, mai degrabă, fapte
sunt extrase din corpus.
Acesta este un neconsum și utilizarea transformativă.
Considerăm acest lucru ca pe o utilitate publică lipsa dreptului de proprietate asupra indicelui general.
Este dedicat domeniului public, o serie a faptelor neimprimate cu care poți
fă ce vrei.
Nu există drepturi rezervate.
Savanții pe drumul spre descoperire se pot consulta această foaie de parcurs pentru a găsi mai repede destinații
doresc să viziteze. Suntem doar docenți în holurile vastelor arhive ale lumii,
comunitatea colectivă de savanți și oameni de știință și ingineri și artiști care au creat
aceste temple ale cunoașterii.
Aceste temple, de la Biblioteca din Alexandria la Biblioteca Alexandrei, de la călugări
din Irlanda către vastele biblioteci moderne de cercetare de astăzi, de la cărturarii arabi și evrei
lucrând împreună pentru a construi Casa Înțelepciunii în Bagdad la fabricile de cunoștințe adăpostite
în casele comerciale moderne din India de Est precum presa de la Oxford și Cambridge, acestea
sunt destinațiile pe care oamenii de știință trebuie să le viziteze să-și avanseze meșteșugul, să învețe de la
cele care au venit înaintea noastră.
Aceste temple conțin suma tuturor cunoștințelor, dar trebuie să putem găsi acele cunoștințe.
Indicele general este o hartă.
Aceasta nu este o hartă cu suma tuturor cunoștințelor umane,
dar este cu siguranță un subset substanțial.
Pentru creșterea și difuzarea cunoștințelor să continuăm, dacă vrem să stăm pe umeri
de giganți, trebuie să le oferim aceste hărți vasta lume a ideilor.
Indicele general nu este decât un instrument, un instrument pe care sperăm că în timp va câștiga în calitate
și, ca scop, un instrument pe care sperăm să-l furnizeze o contribuție utilă
la practica ta a științei.
Sperăm că veți pune și acest index general utilizări surprinzătoare, că putem face indexul
mai bine, că poți crea alte instrumente, asta comunitatea savanților poate lucra împreună
într-o căutare comună de a exploata marile adâncimi a acestui ocean de învățare.
Cred că toți împărtășim un obiectiv comun, o speranță comună.
Ca oameni de știință, savanți, artiști, scriitori, ca cetățeni ai lumii, ca copii care își doresc
să învăț, ca ființe umane curioase, cred cu toții sperăm că creșterea și difuzarea
de cunoaștere va face lumea noastră mai bună loc, că ne va ajuta să ne înțelegem
lumea, pentru a vindeca bolile și sărăcia, pentru a avansa progresul științei și comerțului și
umaniste și arte.
Știința este un limbaj pe care trebuie să-l vorbim cu toții dacă trebuie să ne îmbunătățim lumea.
Multumesc pentru ascultare.
[Sigiliul latră]
[Muzică]