[Musek]
[Announcer] Dëst ass Ëffentlech Ressource
[Carl Malamud] Hallo, ech sinn de Carl Malamud.
Wëllkomm um General Index.
Mir presentéieren Iech hei fir Är gratis an onlimitéiert benotzt eng Rei vun n-Gramm extrahéiert aus 107 Milliounen,
233 dausend, 728 Journalartikelen.
D'n-Gramm reegelt vun eenzege Wierder, bekannt als Unigramme, zu zwee-Wuert Sätz (Bigrams)
bis zu 5-Wuert Ausdréck, bekannt als 5-Gramm.
Et ginn, alles gesot, 355 Milliarde Reihen vun n-Gramm an dëser Verëffentlechung vum allgemengen Index, all
entsprécht engem Hit an engem Journalartikel.
Eng Toolkit mam Numm Spacy gouf benotzt fir ze extrahieren den n-Gramm, déi mir opgedeelt hunn
iwwer siechzéng Dateien.
Associéiert mat all Zeil ass en md5 Hash, deen stellt e Journalartikel duer.
Zousätzlech lëschte mir d'Frequenz vum n-Gramm am Artikel.
Mir hoffen mat der Zäit och d'Frequenz opzeweisen am Gesamtkorpus, eng Relevanzmetrik
bekannt als TD/IDF.
Zousätzlech zu den n-Gramm, dem General Index enthält Schlësselwieder extrahéiert mam Yake
Toolkit.Yake “berout op statisteschen Text Features extrahéiert aus eenzegen Dokumenter op
wielt déi wichtegst Schlësselwieder vun engem Text.
Déi allgemeng Index Schlësselwuert Dëscher enthält insgesamt 19 Milliarde Schlësselwieder.
Endlech enthält den allgemengen Index Metadaten Dësch, mappt den md5 Hash op Saache sou
d'DOI eenzegaarteg Adress fir e Journalartikel, den Titel, Auteur a Journal.
Dëst ass eng fréi Verëffentlechung vum allgemengen Index, eng Aarbecht am Gaang.
A ville Fäll ass den Textextraktioun gescheitert.
Heiansdo sinn Metadaten net verfügbar, oder sinn vläicht souguer falsch.
Wärend den ënnerierdesche Corpus grouss ass, ass et net komplett, an ass net aktuell.
Et gi vill Weeër dëst ka verbessert ginn, a mir freeën eis op de Generol
Index besser mat der Zäit.
Den allgemengen Index besetzt ongeféier 38 Terabyte vun Daten a Form vun engem Postgres
dump, awer mat Kompressioun, dësen ASCII Daten ginn op 8,5 Terabyte reduzéiert.
Dir kënnt d'Donnéeën direkt vun hei eroflueden, oder benotzt Tools wéi bittorrent.
Fillt gratis Spigelen oder aner Ëffentlechkeet ze kreéieren Repositories fir den allgemenge Index nei ze verdeelen.
Eis Hoffnung ass datt et op eng Nummer gesat ka ginn vun Uwendungen. Mir hunn eng Postgres Datebank benotzt,
a benotzt den allgemenge Index fir no ze sichen Nimm vu Planzen aus enger Masterlëscht.
Den Index kéint benotzt ginn fir no aner ze sichen Objeten, wéi Chemikalien, Genen a verschiddene
Kodéierungen, Proteinen, Materialien, Plazennimm, oder aner Entitéiten.
Amplaz vun enger Postgres Datebank, aner Techniken, wéi BERT, kënnen op d'Donnéeën ugewannt ginn.
Dëst ass e Lookup Tool, e Wierderbuch vu Wëssen, eng Kaart zum Wëssen, en Tool dat mir gleewen
ass eng wesentlech Ariichtung fir d'Praxis vun der Wëssenschaft an eiser moderner Zäit.
Dësen allgemengen Index fir Wëssen mécht net den ënnerierdesche Corpus verfügbar, Éischter, Fakten
ginn aus dem Corpus extrahéiert.
Dëst ass en nonconsumptive an transformational Notzung.
Mir gesinn dat als ëffentlech Utility.Mir behaapten keng Besëtzer iwwer den allgemengen Index.
Et ass dem Public Domain gewidmet, eng Serie vun onbezuelten Fakten mat deenen Dir kënnt
maachen wat Dir wëllt.
Et gi keng Rechter reservéiert.
Geléiert op der Entdeckungsstrooss kënne konsultéieren dëse Fahrplang fir méi séier Destinatiounen ze fannen
si wëlle besichen.Mir sinn awer Docenten an der Gäng vun de grousse Archiven vun der Welt,
déi kollektiv Gemeinschaft vu Geléiert a Wëssenschaftler an Ingenieuren a Kënschtler déi erstallt hunn
dës Tempele vum Wëssen.
Dës Tempelen, aus der Bibliothéik vun Alexandria an d'Bibliothéik vum Alexandra, vun de Mönche
vun Irland an déi grouss modern Fuerschungsbibliothéiken vun haut, vun den arabeschen a jiddesche Schrëftgeléierten
zesumme schaffen fir d'Haus vun der Wäisheet ze bauen zu Bagdad un d'Fabriken vum Wëssen ënnerbruecht
a modernen Ostindeschen Handelshaiser wéi d'Presse vun Oxford a Cambridge, dës
sinn d'Destinatiounen déi d'Schüler musse besichen fir hir Handwierk virzebereeden, ze léieren
déi, déi virun eis koumen.
Dës Tempelen enthalen d'Zomm vun all Wëssen, awer mir musse fäeg sinn dat Wëssen ze fannen.
Den allgemengen Index ass eng Kaart.
Dëst ass keng Kaart fir d'Zomm vun all mënschlecht Wëssen,
awer et ass sécher e wesentleche Subset.
Fir d'Erhéijung an d'Diffusioun vum Wëssen weiderzemaachen, wa mir op de Schëllere stinn
vu Risen, musse mir dës Kaarten zur Verfügung stellen grouss Welt vun Iddien.
Den allgemengen Index ass nëmmen een Tool, en Tool datt mir hoffe mat der Zäit an der Qualitéit gewannen
an am Ëmfang, en Tool dat mir hoffen dat wäert ubidden en nëtzlechen Bäitrag
zu Ärer Praxis vun der Wëssenschaft.
Mir hoffen Dir wäert dësen allgemengen Index och setzen iwwerraschend Notzen, datt mir den Index kënne maachen
besser, datt Dir aner Tools erstellt, dat d'Gemeinschaft vu Geléiert kann zesumme schaffen
an enger gemeinsamer Sich fir déi grouss Déiften ze gruewen vun dësem Ozean vum Léieren.
Ech gleewen datt mir all e gemeinsamt Zil deelen, eng gemeinsam Hoffnung.
Als Wëssenschaftler, Geléiert, Kënschtler, Schrëftsteller, als Bierger vun der Welt, wéi Kanner wëllen
ze léieren, als virwëtzeg Mënsch, gleewen ech mir hoffen all datt d'Erhéijung an d'Diffusioun
vu Wëssen wäert eis Welt besser maachen Plaz, datt et eis hëlleft eis ze verstoen
Welt, fir Krankheeten an Aarmut ze heelen, fir virzegoen de Fortschrëtt vun der Wëssenschaft an dem Handel an der
Geeschteswëssenschaft an d'Konscht.
Wëssenschaft ass eng Sprooch déi mir all musse schwätzen wa mir sollen eis Welt besser maachen.
Merci fir d'Nolauschteren.
[De Sigel bléift]
[Musek]