[Música]
[Locutor] Este es un recurso público
[Carl Malamud] Hola, soy Carl Malamud.
Bienvenidos al Índice General.
Te presentamos aquí para tu gratis e ilimitado utilizar un conjunto de n-gramos extraídos de 107 millones,
233 mil 728 artículos de revistas.
Los n-gramas van desde palabras sueltas, conocidas como unigramas, a frases de dos palabras (bigramas)
frases de hasta 5 palabras, conocidas como 5 gramos.
Hay, en total, 355 mil millones de filas de n-gramos en esta versión del índice general, cada
correspondiente a un acierto en un artículo de revista.
Se utilizó un conjunto de herramientas llamado Spacy para extraer los n-gramas, que hemos dividido
en dieciséis archivos.
Asociado con cada fila hay un hash md5, que representa un artículo de revista.
Además, enumeramos la frecuencia de n-gram en el artículo.
Esperamos que con el tiempo también enumeremos la frecuencia en el corpus general, una métrica de relevancia
conocido como TD / IDF.
Además de los n-gramas, el índice general contiene palabras clave extraídas usando Yake
toolkit.Yake "se basa en el texto estadístico características extraídas de documentos individuales para
seleccione las palabras clave más importantes de un texto ".
Las tablas de palabras clave del índice general contienen un total de 19 mil millones de palabras clave.
Por último, el índice general contiene metadatos. tabla, mapeando el hash md5 a elementos como
la dirección única de DOI para un artículo de revista, el título, autor y revista.
Esta es una publicación anticipada del índice general, un trabajo en progreso.
En algunos casos, la extracción de texto falló.
A veces, los metadatos no están disponibles o no quizás incluso incorrecto.
Si bien el corpus subyacente es grande, es no está completo y no está actualizado.
Hay muchas formas de mejorar esto, y esperamos hacer el General
Indexar mejor con el tiempo.
El índice general ocupa aproximadamente 38 terabytes de datos en forma de Postgres
volcado, sin embargo con compresión, este ASCII los datos se reducen a 8,5 terabytes.
Puede descargar los datos directamente desde aquí, o utilice herramientas como bittorrent.
Siéntete libre de crear espejos u otro público repositorios para redistribuir el índice general.
Nuestra esperanza es que se pueda poner a un número de usos. Hemos estado usando una base de datos de Postgres,
y usando el índice general para buscar nombres de plantas de una lista maestra.
El índice se puede utilizar para buscar otros objetos, como productos químicos, genes en varios
codificaciones, proteínas, materiales, nombres de lugares, u otras entidades.
En lugar de una base de datos de Postgres, otras técnicas, como BERT, se puede aplicar a los datos.
Esta es una herramienta de búsqueda, un diccionario de conocimientos, un mapa del conocimiento, una herramienta que creemos
es una instalación esencial para la práctica de la ciencia en nuestra era moderna.
Este índice general de conocimiento no hace el corpus subyacente disponible, más bien, hechos
se extraen del corpus.
Este es un no consuntivo y uso transformacional.
Consideramos esto como una utilidad pública. sin propiedad sobre el índice general.
Está dedicada al dominio público, una serie de hechos libres con los que puede
haz lo que quieras.
No hay derechos reservados.
Los eruditos en el camino hacia el descubrimiento pueden consultar esta hoja de ruta para encontrar destinos más rápidamente
ellos desean visitar Somos sólo docentes en el pasillos de los vastos archivos del mundo,
la comunidad colectiva de académicos y científicos e ingenieros y artistas que han creado
estos templos del conocimiento.
Estos templos, de la Biblioteca de Alejandría a la Biblioteca de Alejandra, de los monjes
de Irlanda a las vastas bibliotecas de investigación modernas de hoy, de los escribas árabes y judíos
trabajando juntos para construir la Casa de la Sabiduría en Bagdad a las fábricas de conocimiento alojadas
en las modernas casas comerciales de las Indias Orientales como las imprentas de Oxford y Cambridge, estas
son los destinos que los escolares deben visitar para avanzar en su oficio, para aprender de
los que vinieron antes que nosotros.
Estos templos contienen la suma de todos los conocimientos, pero debemos poder encontrar ese conocimiento.
El índice general es un mapa.
Este no es un mapa de la suma de todo el conocimiento humano,
pero ciertamente es un subconjunto sustancial.
Para el aumento y difusión del conocimiento para continuar, si vamos a pararnos sobre los hombros
de gigantes, debemos proporcionar estos mapas a ese vasto mundo de ideas.
El índice general es solo una herramienta, una herramienta que esperamos con el tiempo gane en calidad
y en alcance, una herramienta que esperamos que proporcione una contribución útil
a tu práctica de la ciencia.
Esperamos que también ponga este índice general usos sorprendentes, que podemos hacer que el índice
mejor, que puedes crear otras herramientas, que la comunidad de académicos puede trabajar junta
en una búsqueda común para minar las vastas profundidades de este océano de aprendizaje.
Creo que todos compartimos un objetivo común una esperanza común.
Como científicos, eruditos, artistas, escritores, como ciudadanos del mundo, como niños deseando
para aprender, como seres humanos curiosos, creo todos esperamos que el aumento y la difusión
de conocimiento hará de nuestro mundo un mejor lugar, que nos ayudará a comprender nuestro
mundo, curar la enfermedad y la pobreza, avanzar el progreso de la ciencia y el comercio y la
humanidades y artes.
La ciencia es un idioma que todos debemos hablar si estamos para mejorar nuestro mundo.
Gracias por su atención.
[La foca está ladrando]
[Música]