[Musik]
[Ansager] Dies ist eine öffentliche Ressource
[Carl Malamud] Hallo, ich bin Carl Malamud.
Willkommen beim allgemeinen Index.
Wir präsentieren hier kostenlos und unbegrenzt Verwenden Sie eine Reihe von n-Grammen, die aus 107 Millionen extrahiert wurden,
233 Tausend 728 Zeitschriftenartikel.
Die N-Gramme reichen von einzelnen Wörtern, bekannt als Unigramme, zu Zwei-Wort-Phrasen (Bigrammen)
bis zu 5-Wort-Phrasen, bekannt als 5-Gramm.
Es gibt insgesamt 355 Milliarden Reihen von n-Grammen in dieser Ausgabe des allgemeinen Index, jeder
einem Treffer in einem Zeitschriftenartikel entspricht.
Zum Extrahieren wurde ein Toolkit namens Spacy verwendet die n-Gramme, die wir aufgeteilt haben
über sechzehn Dateien.
Jeder Zeile ist ein md5-Hash zugeordnet, der stellt einen Zeitschriftenartikel dar.
Außerdem listen wir die Häufigkeit der n-Gramm im Artikel.
Wir hoffen im Laufe der Zeit auch die Häufigkeit auflisten zu können im Gesamtkorpus eine Relevanzkennzahl
bekannt als TD/IDF.
Zusätzlich zu den n-Grammen ist der Allgemeine Index enthält Schlüsselwörter, die mit dem Yake . extrahiert wurden
toolkit.Yake „ruht auf Textstatistik“ Funktionen, die aus einzelnen Dokumenten extrahiert werden, um
Wählen Sie die wichtigsten Schlüsselwörter eines Textes aus.“
Die Stichworttabellen des allgemeinen Index enthalten insgesamt 19 Milliarden Keywords.
Schließlich enthält der allgemeine Index eine Metadaten Tabelle, die den md5-Hash auf Elemente wie z
die eindeutige DOI-Adresse für einen Zeitschriftenartikel, Titel, Autor und Zeitschrift.
Dies ist eine frühe Veröffentlichung des allgemeinen Index, in Arbeit.
In einigen Fällen ist die Textextraktion fehlgeschlagen.
Manchmal sind Metadaten nicht verfügbar oder vielleicht sogar falsch.
Während das zugrunde liegende Korpus groß ist, ist es nicht vollständig und nicht aktuell.
Es gibt viele Möglichkeiten, dies zu verbessern, und wir freuen uns auf die General
Index im Laufe der Zeit besser.
Der allgemeine Index nimmt ungefähr 38 . ein Terabyte an Daten in Form eines Postgres
dump, jedoch mit Komprimierung, diese ASCII Daten werden auf 8,5 Terabyte reduziert.
Hier können Sie die Daten direkt herunterladen, oder verwenden Sie Tools wie BitTorrent.
Fühlen Sie sich frei, Spiegel oder andere öffentliche zu erstellen Repositories, um den allgemeinen Index neu zu verteilen.
Unsere Hoffnung ist, dass es in eine Zahl gebracht werden kann von Verwendungen. Wir haben eine Postgres-Datenbank verwendet,
und mit dem allgemeinen Index nach suchen Pflanzennamen aus einer Stammliste.
Der Index könnte verwendet werden, um nach anderen zu suchen Gegenstände, wie Chemikalien, Gene in verschiedenen
Kodierungen, Proteine, Materialien, Ortsnamen, oder andere Entitäten.
Anstelle einer Postgres-Datenbank können andere Techniken, B. BERT, auf die Daten angewendet werden.
Dies ist ein Nachschlagewerkzeug, ein Wörterbuch des Wissens, eine Landkarte zum Wissen, ein Werkzeug, an das wir glauben
ist eine wesentliche Einrichtung für die Praxis Wissenschaft in unserer modernen Zeit.
Dieser allgemeine Wissensindex macht nicht das zugrunde liegende Korpus verfügbar, Vielmehr Fakten
werden aus dem Korpus entnommen.
Dies ist ein nicht konsumierendes und transformative Nutzung.
Wir betrachten dies als öffentlichen Nutzen.Wir behaupten kein Eigentum am allgemeinen Index.
Es ist der Public Domain gewidmet, einer Serie von unbelasteten Fakten, mit denen Sie
mach was du willst.
Es sind keine Rechte vorbehalten.
Wissenschaftler auf dem Weg zur Entdeckung können sich beraten diese Roadmap, um schneller Ziele zu finden
sie wollen besuchen. Wir sind nur Dozenten in der Gänge der riesigen Archive der Welt,
die kollektive Gemeinschaft von Gelehrten und Wissenschaftlern und Ingenieure und Künstler, die geschaffen haben
diese Tempel des Wissens.
Diese Tempel aus der Bibliothek von Alexandria zur Bibliothek von Alexandra, von den Mönchen
von Irland bis hin zu den riesigen modernen Forschungsbibliotheken von heute, von den arabischen und jüdischen Schriftgelehrten
zusammenarbeiten, um das Haus der Weisheit zu bauen in Bagdad zu den Fabriken des Wissens untergebracht
in modernen ostindischen Handelshäusern wie die Druckmaschinen von Oxford und Cambridge, diese
sind die Reiseziele, die Stipendiaten besuchen müssen um ihr Handwerk voranzubringen, um von ihnen zu lernen
die vor uns kamen.
Diese Tempel enthalten die Summe allen Wissens, aber wir müssen in der Lage sein, dieses Wissen zu finden.
Der allgemeine Index ist eine Karte.
Dies ist keine Landkarte für die Summe allen menschlichen Wissens,
aber es ist sicherlich eine wesentliche Teilmenge.
Zur Vermehrung und Verbreitung von Wissen weitermachen, wenn wir auf den Schultern stehen sollen
der Riesen, wir müssen diese Karten dazu bereitstellen riesige Ideenwelt.
Der allgemeine Index ist nur ein Werkzeug, ein Werkzeug von denen wir hoffen, dass sie im Laufe der Zeit an Qualität gewinnen werden
und im Umfang ein Tool, von dem wir hoffen, dass es zur Verfügung stellt ein nützlicher Beitrag
zu Ihrer wissenschaftlichen Praxis.
Wir hoffen, dass Sie auch diesen allgemeinen Index hinzufügen überraschende Verwendungen, die wir aus dem Index machen können
besser, dass Sie andere Tools erstellen können, dass die Gemeinschaft der Gelehrten kann zusammenarbeiten
in einer gemeinsamen Suche, die weiten Tiefen abzubauen dieses Ozeans des Lernens.
Ich glaube, wir haben alle ein gemeinsames Ziel, eine gemeinsame Hoffnung.
Als Wissenschaftler, Gelehrte, Künstler, Schriftsteller, als Weltbürger, als Kinder, die sich wünschen
zu lernen, als neugierige Menschen, glaube ich wir alle hoffen, dass die Zunahme und Verbreitung
Wissen wird unsere Welt verbessern Platz, dass es uns hilft, unsere
Welt, um Krankheit und Armut zu heilen, voranzukommen der Fortschritt von Wissenschaft und Wirtschaft und die
Geisteswissenschaften und Kunst.
Wissenschaft ist eine Sprache, die wir alle sprechen müssen, wenn Wir sollen unsere Welt verbessern.
Danke fürs Zuhören.
[Das Siegel bellt]
[Musik]