[Música]
[Anunciant] Aquest és un recurs públic
[Carl Malamud] Hola, sóc Carl Malamud.
Benvingut a l’índex general.
Us presentem aquí de forma gratuïta i il·limitada utilitzeu un conjunt de n-grams extrets de 107 milions,
233 mil, 728 articles de revistes.
Els n-grams van des de paraules simples, conegudes com a unigrames, a frases de dues paraules (bigrams)
frases de fins a 5 paraules, conegudes com a 5 grams.
Hi ha, tot plegat, 355.000 milions de files de n-grams en aquesta versió de l'índex general, cadascun
corresponent a un èxit en un article de revista.
Per extreure s’utilitzava un joc d’eines anomenat Spacy els n-grams, que hem dividit
a través de setze fitxers.
S'associa a cada fila un hash md5, que representa un article de revista.
A més, enumerem la freqüència del fitxer n-gram a l'article.
Esperem que amb el temps també enumerem la freqüència en el corpus global, una mètrica de rellevància
conegut com TD / IDF.
A més dels n-grams, l’índex general conté paraules clau extretes amb Yake
toolkit.Yake “es basa en el text estadístic funcions extretes de documents individuals a
seleccioneu les paraules clau més importants d'un text ".
Les taules de paraules clau índex generals contenen un total de 19.000 milions de paraules clau.
Per últim, l’índex general conté metadades taula, mapant el hash md5 a elements com aquest
l'adreça única del DOI per a un article de revista, el títol, l'autor i la revista.
Es tracta d’un llançament anticipat de l’índex general, un treball en curs.
En alguns casos, l'extracció de text ha fallat.
De vegades, les metadades no estan disponibles o sí potser fins i tot incorrecte.
Tot i que el corpus subjacent és gran, sí no està complet i no està actualitzat.
Hi ha moltes maneres de millorar-ho, i esperem fer el General
Índex millor amb el temps.
L’índex general ocupa aproximadament 38 terabytes de dades en forma de Postgres
bolcar, tanmateix amb la compressió, aquest ASCII les dades es redueixen a 8,5 terabytes.
Podeu descarregar les dades directament des d’aquí, o utilitzar eines com bittorrent.
No dubteu a crear miralls o altres públics repositoris per redistribuir l’índex general.
La nostra esperança és que es pugui valorar d’usos. Hem estat utilitzant una base de dades Postgres,
i utilitzar l'índex general per cercar noms de plantes d'una llista mestra.
L'índex es podria utilitzar per cercar-ne d'altres objectes, com ara productes químics, gens en diversos
codificacions, proteïnes, materials, topònims, o altres entitats.
En lloc d’una base de dades Postgres, altres tècniques, com BERT, es pot aplicar a les dades.
Aquesta és una eina de cerca, un diccionari de coneixement, un mapa del coneixement, una eina que creiem
és una instal·lació essencial per a la pràctica de la ciència a la nostra edat moderna.
Aquest índex general de coneixement no es fa el corpus subjacent disponible, més aviat, fets
s’extreuen del corpus.
Això no és consumit i ús transformador.
Ho veiem com una utilitat pública. Afirmem cap propietat sobre l'índex general.
Està dedicat al domini públic, una sèrie de fets no compromesos amb els quals podeu
fes el que vulguis.
No hi ha drets reservats.
Els estudiosos en el camí cap al descobriment poden consultar-los aquest full de ruta per trobar destinacions més ràpidament
volen visitar. No som més que docents al passadissos dels vasts arxius del món,
la comunitat col·lectiva d’erudits i científics i enginyers i artistes que han creat
aquests temples del coneixement.
Aquests temples, de la Biblioteca d’Alexandria a la Biblioteca d’Alexandra, dels monjos
d'Irlanda a les vastes biblioteques d'investigació modernes d’avui, dels escribes àrabs i jueus
treballant junts per construir la Casa de la Saviesa a Bagdad fins a les fàbriques de coneixement allotjades
en cases comercials modernes de les Índies Orientals com les premses d'Oxford i Cambridge, aquestes
són les destinacions que han de visitar els acadèmics per avançar en el seu ofici, per aprendre’n
els que ens van venir abans.
Aquests temples contenen la suma de tot el coneixement, però hem de ser capaços de trobar aquest coneixement.
L’índex general és un mapa.
Aquest no és un mapa de la suma de tot el coneixement humà,
però sens dubte és un subconjunt substancial.
Per a l’augment i difusió del coneixement per continuar, si volem parar-nos a les espatlles
de gegants, hem de proporcionar aquests mapes a això vast món d’idees.
L’índex general no és més que una eina, una eina que esperem que amb el temps guanyi qualitat
i, en abast, una eina que esperem oferirà una contribució útil
a la vostra pràctica de la ciència.
Esperem que també poseu aquest índex general usos sorprenents, que podem fer de l’índex
millor, que podeu crear altres eines, això la comunitat d'estudiosos pot treballar junts
en una recerca comuna per aprofitar les vastes profunditats d’aquest oceà d’aprenentatge.
Crec que tots compartim un objectiu comú, una esperança comuna.
Com a científics, erudits, artistes, escriptors, com a ciutadans del món, com a nens que ho desitgin
per aprendre, com a éssers humans curiosos, crec tots esperem que l'augment i la difusió
de coneixement farà que el nostre món sigui millor lloc, que ens ajudarà a entendre el nostre
món, per curar malalties i pobresa, avançar el progrés de la ciència i el comerç i el
humanitats i arts.
La ciència és una llengua que tots hem de parlar si som per millorar el nostre món.
Gràcies per la seva atenció.
[El segell borda]
[Música]