[Musique]
[Annonceur] Ceci est une ressource publique
[Carl Malamud] Bonjour, je suis Carl Malamud.
Bienvenue à l'Index général.
Nous vous présentons ici gratuitement et en illimité utiliser un ensemble de n-grammes extraits de 107 millions,
233 mille 728 articles de revues.
Les n-grammes vont de mots simples, connus en unigrammes, en phrases de deux mots (bigrammes)
jusqu'à 5 phrases de mots, appelées 5 grammes.
Il y a, en tout, 355 milliards de rangées de n-grammes dans cette version de l'index général, chaque
correspondant à un hit dans un article de revue.
Une boîte à outils appelée Spacy a été utilisée pour extraire les n-grammes, que nous avons divisés
sur seize fichiers.
A chaque ligne est associé un hachage md5, qui représente un article de journal.
De plus, nous indiquons la fréquence des n-gramme dans l'article.
Nous espérons qu'avec le temps, nous répertorierons également la fréquence dans le corpus global, une métrique de pertinence
connu sous le nom de TD/IDF.
En plus des n-grammes, l'Index Général contient des mots-clés extraits à l'aide du Yake
toolkit.Yake « repose sur des statistiques textuelles caractéristiques extraites de documents uniques pour
sélectionnez les mots-clés les plus importants d'un texte.
Les tables de mots-clés de l'index général contiennent un total de 19 milliards de mots-clés.
Enfin, l'index général contient une métadonnée table, mappant le hachage md5 à des éléments tels que
l'adresse unique du DOI pour un article de revue, le titre, l'auteur et le journal.
Il s'agit d'une version anticipée de l'index général, un travail en cours.
Dans certains cas, l'extraction de texte a échoué.
Parfois, les métadonnées ne sont pas disponibles ou sont peut-être même incorrect.
Bien que le corpus sous-jacent soit volumineux, il est pas complet et n'est pas à jour.
Il y a plusieurs façons d'améliorer cela, et nous sommes impatients de rendre le général
Indexez mieux au fil du temps.
L'index général occupe environ 38 téraoctets de données sous la forme d'un Postgres
dump, cependant avec compression, cet ASCII les données sont réduites à 8,5 téraoctets.
Vous pouvez télécharger les données directement à partir d'ici, ou utilisez des outils tels que bittorrent.
N'hésitez pas à créer des miroirs ou autre public référentiels pour redistribuer l'index général.
Notre espoir est qu'il puisse être mis à un certain nombre d'utilisations. Nous utilisons une base de données Postgres,
et en utilisant l'index général pour rechercher noms de plantes à partir d'une liste principale.
L'index peut être utilisé pour rechercher d'autres objets, tels que des produits chimiques, des gènes dans divers
codages, protéines, matériaux, noms de lieux, ou d'autres entités.
Au lieu d'une base de données Postgres, d'autres techniques, tels que BERT, peuvent être appliqués aux données.
C'est un outil de recherche, un dictionnaire des connaissances, une carte de la connaissance, un outil que nous croyons
est une installation indispensable à la pratique de la science à notre époque moderne.
Cet index général de la connaissance ne rend pas le corpus sous-jacent disponible, plutôt des faits
sont extraits du corpus.
Ceci est un non-consommateur et l'utilisation transformationnelle.
Nous considérons cela comme un service public.Nous affirmons aucune propriété sur l'indice général.
Il est dédié au domaine public, une série de faits non grevés avec lesquels vous pouvez
fais ce que tu veux.
Il n'y a pas de droits réservés.
Les chercheurs en voie de découverte peuvent consulter cette feuille de route pour trouver plus rapidement des destinations
ils souhaitent visiter. Nous ne sommes que des docents dans le couloirs des vastes archives du monde,
la communauté collective des universitaires et des scientifiques et les ingénieurs et artistes qui ont créé
ces temples de la connaissance.
Ces temples, de la Bibliothèque d'Alexandrie à la Bibliothèque d'Alexandra, des moines
d'Irlande aux vastes bibliothèques de recherche modernes d'aujourd'hui, des scribes arabes et juifs
travailler ensemble pour construire la Maison de la Sagesse à Bagdad aux usines du savoir logées
dans les maisons de commerce modernes des Indes orientales comme les presses d'Oxford et de Cambridge, ces
sont les destinations que les universitaires doivent visiter faire progresser leur art, apprendre de
ceux qui nous ont précédés.
Ces temples contiennent la somme de toutes les connaissances, mais nous devons être capables de trouver cette connaissance.
L'index général est une carte.
Ce n'est pas une carte de la somme de toutes les connaissances humaines,
mais c'est certainement un sous-ensemble substantiel.
Pour l'accroissement et la diffusion des connaissances continuer, si nous voulons nous tenir sur les épaules
de géants, nous devons fournir ces cartes à celui vaste monde d'idées.
L'index général n'est qu'un outil, un outil que nous espérons gagner en qualité avec le temps
et dans sa portée, un outil qui, nous l'espérons, fournira une contribution utile
à votre pratique de la science.
Nous espérons que vous mettrez également cet index général utilisations surprenantes, que l'on peut faire l'index
mieux, que vous pouvez créer d'autres outils, que la communauté des universitaires peut travailler ensemble
dans une quête commune pour exploiter les vastes profondeurs de cet océan d'apprentissage.
Je crois que nous partageons tous un objectif commun, un espoir commun.
En tant que scientifiques, universitaires, artistes, écrivains, en tant que citoyens du monde, en tant qu'enfants souhaitant
apprendre, en tant qu'êtres humains curieux, je crois nous espérons tous que l'augmentation et la diffusion
de la connaissance rendra notre monde meilleur lieu, qu'il nous aidera à comprendre notre
monde, guérir la maladie et la pauvreté, faire avancer les progrès de la science et du commerce et la
les sciences humaines et les arts.
La science est une langue que nous devons tous parler si nous devons améliorer notre monde.
Merci pour l'écoute.
[Le phoque aboie]
[Musique]