[Música]
[Apresentador] Este é um recurso público
[Carl Malamud] Olá, sou Carl Malamud.
Bem-vindo ao Índice Geral.
Apresentamos aqui para sua livre e ilimitada usar um conjunto de n-gramas extraído de 107 milhões,
233 mil, 728 artigos de periódicos.
Os n-gramas variam de palavras simples, conhecidas como unigramas, para frases de duas palavras (bigramas)
Frases de até 5 palavras, conhecidas como 5 gramas.
Existem, ao todo, 355 bilhões de linhas de n-gramas neste lançamento do índice geral, cada
correspondente a um hit em um artigo de jornal.
Um kit de ferramentas chamado Spacy foi usado para extrair os n-gramas, que dividimos
em dezesseis arquivos.
Associado a cada linha está um hash md5, que representa um artigo de jornal.
Além disso, listamos a frequência do n-grama no artigo.
Esperamos, com o tempo, listar também a frequência no corpus geral, uma métrica de relevância
conhecido como TD / IDF.
Além dos n-gramas, o Índice Geral contém palavras-chave extraídas usando o Yake
toolkit.Yake “baseia-se em texto estatístico recursos extraídos de documentos únicos para
selecione as palavras-chave mais importantes de um texto. ”
As tabelas de palavras-chave do índice geral contém um total de 19 bilhões de palavras-chave.
Por último, o índice geral contém um metadado tabela, mapeando o hash md5 para itens como
o endereço único do DOI para um artigo de jornal, o título, autor e periódico.
Esta é uma versão antecipada do índice geral, um trabalho em andamento.
Em alguns casos, a extração de texto falhou.
Às vezes, os metadados não estão disponíveis ou estão talvez até incorreto.
Embora o corpus subjacente seja grande, é não está completo e não está atualizado.
Isso pode ser melhorado de muitas maneiras, e estamos ansiosos para fazer o General
Indexar melhor com o tempo.
O índice geral ocupa aproximadamente 38 terabytes de dados na forma de um Postgres
despejar, porém com compressão, este ASCII os dados são reduzidos para 8,5 terabytes.
Você pode baixar os dados diretamente aqui, ou use ferramentas como o bittorrent.
Sinta-se à vontade para criar espelhos ou outro público repositórios para redistribuir o índice geral.
Nossa esperança é que possa ser colocado em um número de usos. Temos usado um banco de dados Postgres,
e usando o índice geral para pesquisar por nomes de plantas de uma lista mestre.
O índice pode ser usado para pesquisar outros objetos, como produtos químicos, genes em vários
codificações, proteínas, materiais, nomes de lugares, ou outras entidades.
Em vez de um banco de dados Postgres, outras técnicas, como o BERT, pode ser aplicado aos dados.
Esta é uma ferramenta de pesquisa, um dicionário de conhecimento, um mapa para o conhecimento, uma ferramenta que acreditamos
é uma facilidade essencial para a prática da ciência em nossa era moderna.
Este índice geral de conhecimento não faz o corpus subjacente disponível, em vez disso, fatos
são extraídos do corpus.
Este é um não consumidor e uso transformacional.
Vemos isso como um serviço público. Afirmamos nenhuma propriedade sobre o índice geral.
É dedicado ao domínio público, uma série de fatos desimpedidos com os quais você pode
faça o que você quiser.
Não há direitos reservados.
Estudiosos no caminho para a descoberta podem consultar este roteiro para encontrar destinos mais rapidamente
eles desejam visitar. Somos apenas docentes no corredores dos vastos arquivos do mundo,
a comunidade coletiva de acadêmicos e cientistas e engenheiros e artistas que criaram
esses templos de conhecimento.
Esses templos, da Biblioteca de Alexandria para a Biblioteca de Alexandra, dos monges
da Irlanda para as vastas bibliotecas de pesquisa modernas de hoje, dos escribas árabes e judeus
trabalhando juntos para construir a Casa da Sabedoria em Bagdá para as fábricas de conhecimento alojadas
em casas comerciais modernas da Índia Oriental, como as editoras de Oxford e Cambridge, essas
são os destinos que os estudiosos devem visitar para avançar seu ofício, para aprender com
aqueles que vieram antes de nós.
Esses templos contêm a soma de todo o conhecimento, mas devemos ser capazes de encontrar esse conhecimento.
O índice geral é um mapa.
Este não é um mapa com a soma de todo o conhecimento humano,
mas é certamente um subconjunto substancial.
Para o aumento e difusão do conhecimento continuar, se quisermos ficar sobre os ombros
de gigantes, devemos fornecer esses mapas para que vasto mundo de ideias.
O índice geral é apenas uma ferramenta, uma ferramenta que esperamos que com o tempo ganhe em qualidade
e no escopo, uma ferramenta que esperamos fornecer uma contribuição útil
à sua prática científica.
Esperamos que você coloque este índice geral também usos surpreendentes, que podemos fazer o índice
melhor, que você pode criar outras ferramentas, que a comunidade de estudiosos pode trabalhar em conjunto
em uma busca comum para explorar as vastas profundezas deste oceano de aprendizagem.
Acredito que todos nós compartilhamos um objetivo comum, uma esperança comum.
Como cientistas, acadêmicos, artistas, escritores, como cidadãos do mundo, como crianças que desejam
aprender, como seres humanos curiosos, creio todos nós esperamos que o aumento e difusão
de conhecimento tornará nosso mundo melhor lugar, que nos ajudará a entender nosso
mundo, para curar doenças e pobreza, para avançar o progresso da ciência e do comércio e o
humanidades e artes.
A ciência é uma linguagem que todos devemos falar se devemos melhorar nosso mundo.
Obrigado pela atenção.
[O selo está latindo]
[Música]