[Música]
[Anunciante] Este é un recurso público
[Carl Malamud] Ola, eu son Carl Malamud.
Benvido ao Índice Xeral.
Presentámolo aquí de xeito gratuíto e ilimitado usa un conxunto de n-gramos extraído de 107 millóns,
233 mil, 728 artigos de revistas.
Os n-gramos van desde palabras simples, coñecidas como unigramas, a frases de dúas palabras (bigramas)
frases de ata 5 palabras, coñecidas como 5 gramos.
Hai, con todo, 355.000 millóns de filas de n-gramos nesta versión do índice xeral, cada unha
correspondente a un éxito nun artigo de revista.
Para extraer empregouse un xogo de ferramentas chamado Spacy os n-gramos, que dividimos
en dezaseis arquivos.
A cada fila está asociado un hash md5, que representa un artigo de revista.
Ademais, listamos a frecuencia do n-gramo no artigo.
Agardamos que co paso do tempo tamén se enumere a frecuencia no corpus xeral, unha métrica de relevancia
coñecido como TD / IDF.
Ademais dos n-gramos, o Índice Xeral contén palabras clave extraídas con Yake
toolkit.Yake "descansa no texto estatístico características extraídas de documentos individuais a
selecciona as palabras clave máis importantes dun texto. "
As táboas de palabras clave de índice xeral conteñen un total de 19.000 millóns de palabras clave.
Por último, o índice xeral contén metadatos táboa, mapeando o hash md5 a elementos tales
o enderezo único do DOI para un artigo de revista, o título, o autor e a revista.
Esta é unha versión anticipada do índice xeral, un traballo en curso.
Nalgúns casos, a extracción de texto fallou.
Ás veces, os metadatos non están dispoñibles ou están quizais incluso incorrecto.
Aínda que o corpus subxacente é grande, si non está completo e non está actualizado.
Hai moitas formas de melloralo, e agardamos facer o Xeneral
Índice mellor co paso do tempo.
O índice xeral ocupa aproximadamente 38 terabytes de datos en forma de Postgres
bote, con todo con compresión, este ASCII os datos redúcense a 8,5 terabytes.
Podes descargar os datos directamente desde aquí, ou empregar ferramentas como bittorrent.
Non dubide en crear espellos ou outro público repositorios para redistribuír o índice xeral.
A nosa esperanza é que se poida valorar de usos. Estivemos usando unha base de datos Postgres,
e usando o índice xeral para buscar nomes de plantas dunha lista mestra.
O índice podería usarse para buscar outro obxectos, como produtos químicos, xenes en varios
codificacións, proteínas, materiais, topónimos, ou outras entidades.
En lugar dunha base de datos Postgres, outras técnicas, como BERT, pódese aplicar aos datos.
Esta é unha ferramenta de busca, un dicionario de coñecemento, un mapa ao coñecemento, unha ferramenta que cremos
é unha facilidade esencial para a práctica da ciencia na nosa idade moderna.
Este índice xeral de coñecemento non o fai o corpus subxacente dispoñible, máis ben, feitos
extráense do corpus.
Este non é un consumo e uso transformador.
Vemos isto como unha utilidade pública. Afirmamos sen propiedade sobre o índice xeral.
Está dedicado ao dominio público, unha serie de feitos sen dificultades cos que podes
fai o que queiras.
Non hai dereitos reservados.
Os estudosos no camiño do descubrimento poden consultalos esta folla de ruta para atopar destinos máis rapidamente
que desexan visitar. Non somos máis que docentes no corredores dos vastos arquivos do mundo,
a comunidade colectiva de eruditos e científicos e enxeñeiros e artistas que crearon
estes templos do coñecemento.
Estes templos, da Biblioteca de Alexandría á Biblioteca de Alexandra, dos monxes
de Irlanda ás vastas bibliotecas modernas de investigación de hoxe, dos escribas árabes e xudeus
traballando xuntos para construír a Casa da Sabedoría en Bagdad ás fábricas de coñecemento aloxadas
en casas comerciais modernas da India Oriental como as imprentas de Oxford e Cambridge, estas
son os destinos que os estudantes deben visitar para avanzar no seu oficio, para aprender
os que viñeron antes que nós.
Estes templos conteñen a suma de todo o coñecemento, pero debemos ser capaces de atopar ese coñecemento.
O índice xeral é un mapa.
Este non é un mapa para a suma de todo o coñecemento humano,
pero sen dúbida é un subconxunto substancial.
Para o aumento e difusión do coñecemento para continuar, se queremos estar de pé sobre os ombreiros
de xigantes, debemos proporcionar estes mapas a iso vasto mundo de ideas.
O índice xeral non é máis que unha ferramenta, unha ferramenta que esperamos que co paso do tempo gañe calidade
e, no seu alcance, unha ferramenta que esperamos que proporcione unha contribución útil
á túa práctica da ciencia.
Agardamos que tamén poña este índice xeral usos sorprendentes, que podemos facer o índice
mellor, que podes crear outras ferramentas, iso a comunidade de eruditos pode traballar xuntos
nunha procura común para minar as vastas profundidades deste océano de aprendizaxe.
Creo que todos compartimos un obxectivo común, unha esperanza común.
Como científicos, eruditos, artistas, escritores, como cidadáns do mundo, como nenos que o desexan
para aprender, como seres humanos curiosos, creo todos esperamos que o aumento e difusión
de coñecemento fará que o noso mundo sexa mellor lugar, que nos axudará a comprender o noso
mundo, para curar enfermidades e pobreza, para avanzar o progreso da ciencia e o comercio e o
humanidades e artes.
A ciencia é unha lingua que todos debemos falar se estamos para mellorar o noso mundo.
Grazas por escoitar.
[O selo ladra]
[Música]