[Muzyk]
[Omropper] Dit is publike boarne
[Carl Malamud] Hallo, ik bin Carl Malamud.
Wolkom by de Algemiene Yndeks.
Wy presintearje hjir foar jo fergees en ûnbeheind brûk in set n-gram wûn út 107 miljoen,
233 tûzen, 728 tydskriftartikelen.
De n-gram reitsje fan inkelde wurden, bekend as unigrams, nei twa-wurdsinnen (bigrammen)
oant 5-wurdsinnen, bekend as 5-gram.
D'r binne, allegear ferteld, 355 miljard rigen n-gram yn dizze útjefte fan 'e algemiene yndeks, elk
oerienkomt mei in hit yn in tydskriftartikel.
In toolkit mei de namme Spacy waard brûkt om te ekstrahearje de n-gram, dy't wy hawwe splitst
oer sechstjin bestannen.
Yn ferbân mei elke rige is in md5 -hash, dy't fertsjintwurdiget in tydskriftartikel.
Derneist listje wy de frekwinsje fan 'e n-gram yn it artikel.
Wy hoopje yn 'e rin fan' e tiid ek de frekwinsje te listjen yn it algemiene korpus, in relevânsje -metrik
bekend as TD/IDF.
Neist de n-gram, de Algemiene Yndeks befettet kaaiwurden extracted mei de Yake
toolkit.Yake "berêst op statistyske tekst funksjes helle út ienige dokuminten nei
selektearje de wichtichste kaaiwurden fan in tekst. ”
De algemiene yndeks -trefwurdtabellen befetsje in totaal fan 19 miljard kaaiwurden.
As lêste befettet de algemiene yndeks in metadata tafel, de md5 -hash yn kaart bringe op items lykas
it unike adres fan DOI foar in tydskriftartikel, de titel, auteur en tydskrift.
Dit is in iere frijlitting fan 'e algemiene yndeks, in wurk yn útfiering.
Yn guon gefallen is tekstwinning mislearre.
Soms binne metadata net beskikber, of is miskien sels ferkeard.
Wylst it ûnderlizzende korpus grut is, is it net folslein, en is net bywurke.
D'r binne in protte manieren dit kin wurde ferbettere, en wy sjogge út nei it meitsjen fan de generaal
Yndeks better oer tiid.
De algemiene yndeks beslacht sawat 38 terabytes oan gegevens yn 'e foarm fan in Postgres
dump, lykwols mei kompresje, dizze ASCII gegevens wurde fermindere oant 8,5 terabyte.
Jo kinne de gegevens direkt hjir downloade, of brûk ark lykas bittorrent.
Fiel jo frij om spegels as oar publyk te meitsjen repositories om de algemiene yndeks opnij te fersprieden.
Us hoop is dat it op in nûmer kin wurde set fan gebrûk. Wy hawwe in Postgres -database brûkt,
en brûk de algemiene yndeks om nei te sykjen nammen fan planten út in masterlist.
De yndeks koe wurde brûkt om nei oare te sykjen objekten, lykas gemikaliën, genen yn ferskate
kodearingen, proteïnen, materialen, plaknammen, of oare entiteiten.
Yn stee fan in Postgres -database, oare techniken, lykas BERT, kin wurde tapast op 'e gegevens.
Dit is in sykopdracht, in wurdboek fan kennis, in kaart foar kennis, in ark dat wy leauwe
is in essensjele foarsjenning foar de praktyk fan wittenskip yn ús moderne tiid.
Dizze algemiene yndeks foar kennis makket net it ûnderlizzende korpus beskikber, Earder, feiten
wurde út it korpus helle.
Dit is in net -konsumearjend en transformaasjegebrûk.
Wy sjogge dit as in iepenbier nut. Wy beweare gjin eigendom oer de algemiene yndeks.
It is wijd oan it publike domein, in searje fan ûnbeheinde feiten wêrmei jo kinne
dwaan wat jo wolle.
Der binne gjin rjochten foarbehâlden.
Gelearden op 'e wei nei ûntdekking kinne rieplachtsje dizze roadmap om flugger bestimmingen te finen
se wolle besykje. Wy binne mar dosinten yn 'e gongen fan 'e grutte argiven fan' e wrâld,
de kollektive mienskip fan gelearden en wittenskippers en yngenieurs en artysten dy't hawwe makke
dizze tempels fan kennis.
Dizze tempels, út 'e Bibleteek fan Alexandria nei de Bibleteek fan Alexandra, fan 'e muontsen
fan Ierlân nei de grutte moderne ûndersyksbiblioteken fan hjoed, fan 'e Arabyske en Joadske skriftgelearden
gearwurkje om it House of Wisdom te bouwen yn Bagdad nei de fabriken fan kennis ûnderbrocht
yn moderne East -Yndyske hannelshuzen lykas de parse fan Oxford en Cambridge, dizze
binne de bestimmingen dy't gelearden moatte besykje om har ambacht foarút te bringen, fan te learen
dejingen dy't foar ús kamen.
Dizze tempels befetsje de som fan alle kennis, mar wy moatte dy kennis kinne fine.
De algemiene yndeks is in kaart.
Dit is gjin kaart foar de som fan alle minsklike kennis,
mar it is grif in substansjele subset.
Foar it ferheegjen en fersprieden fan kennis trochgean, as wy op 'e skouders stean moatte
fan reuzen, moatte wy dizze kaarten dêrfoar leverje grutte wrâld fan ideeën.
De algemiene yndeks is mar ien ark, in ark dat wy hoopje dat oer tiid yn kwaliteit sil winne
en yn omfang, in ark dat wy hoopje dat sil leverje in nuttige bydrage
nei jo praktyk fan wittenskip.
Wy hoopje dat jo dizze algemiene yndeks ek sille pleatse ferrassende gebrûk, dat wy de yndeks kinne meitsje
better, dat jo oare ark kinne oanmeitsje, dat de mienskip fan gelearden kin gearwurkje
yn in mienskiplike syktocht om de grutte djipten te minen fan dizze oseaan fan learen.
Ik leau dat wy allegear in mienskiplik doel diele, in mienskiplike hope.
As wittenskippers, gelearden, artysten, skriuwers, as boargers fan 'e wrâld, as bern dy't wolle
leare, as nijsgjirrige minsken, leau ik wy allegearre hoopje dat de tanimming en fersprieding
fan kennis sil ús wrâld in better meitsje plak, dat it ús sil helpe ús te begripen
wrâld, sykte en earmoede genêze, foarútgean de foarútgong fan wittenskip en hannel en de
geasteswittenskippen en de keunsten.
Wittenskip is in taal dy't wy allegear moatte sprekke as wy moatte ús wrâld better meitsje.
Tankewol foar it harkjen.
[It segel is blaffend]
[Muzyk]