[Музика]
[Диктор] Това е публичен ресурс
[Карл Маламуд] Здравейте, аз съм Карл Маламуд.
Добре дошли в Общия индекс.
Представяме ви тук безплатно и неограничено използвайте набор от n-грама, извлечени от 107 милиона,
233 хиляди, 728 статии от списания.
N-грамите варират от единични думи, известни като униграми, към фрази от две думи (биграми)
до 5 думи фрази, известни като 5 грама.
Има общо казано 355 милиарда реда n-грама в това издание на общия индекс, всеки
съответстващи на попадение в статия в списанието.
За извличане беше използван инструментариум, наречен Spacy n-грама, които сме разделили
в шестнадесет файла.
С всеки ред е свързан хеш md5, който представлява статия в списанието.
Освен това изброяваме честотата на n-грам в статията.
Надяваме се с течение на времето да изброим и честотата в общия корпус, показател за уместност
известен като TD/IDF.
В допълнение към n-грамите, Общият индекс съдържа ключови думи, извлечени с помощта на Yake
инструментариум.Дейк „почива на текстова статистика функции, извлечени от отделни документи в
изберете най -важните ключови думи в текст. "
Общите таблици с ключови думи за индекс съдържат общо 19 милиарда ключови думи.
И накрая, общият индекс съдържа метаданни таблица, картографиране на хеш md5 към елементи като
уникален адрес на DOI за статия в списание, заглавие, автор и списание.
Това е ранно освобождаване на общия индекс, незавършена работа.
В някои случаи извличането на текст е неуспешно.
Понякога метаданните не са налични или са налични може би дори неправилно.
Докато основният корпус е голям, той е такъв не е пълна и не е актуална.
Има много начини това да се подобри, и с нетърпение очакваме да направим генерала
Индексът се подобрява с течение на времето.
Общият индекс заема приблизително 38 терабайта данни под формата на Postgres
dump, обаче с компресия, този ASCII данните са намалени до 8,5 терабайта.
Можете да изтеглите данните директно от тук, или използвайте инструменти като bittorrent.
Чувствайте се свободни да създавате огледала или други публични хранилища за преразпределение на общия индекс.
Надяваме се, че може да се постави на число на употреби. Използвахме база данни Postgres,
и използване на общия индекс за търсене имена на растения от основен списък.
Индексът може да се използва за търсене на други обекти, като химикали, гени в различни
кодировки, протеини, материали, имена на места, или други образувания.
Вместо база данни Postgres, други техники, като BERT, може да се приложи към данните.
Това е инструмент за търсене, речник на знанието, карта на знанието, инструмент, в който вярваме
е съществено средство за практикуването на науката в нашата съвременна епоха.
Този общ показател за знанието не прави основният наличен корпус, По -скоро факти
се извличат от корпуса.
Това е неконсумативно и трансформационна употреба.
Ние разглеждаме това като обществена помощна програма няма собственост върху общия индекс.
Той е посветен на общественото достояние, поредица на необременени факти, с които можете
прави каквото искаш.
Няма запазени права.
Учените по пътя към откритието могат да се консултират тази пътна карта за по -бързо намиране на дестинации
Те искат да посетят. Ние сме само доценти в коридорите на огромните архиви на света,
колективната общност от учени и учени и инженери и художници, които са създали
тези храмове на знанието.
Тези храмове, от Александрийската библиотека до библиотеката на Александра, от монасите
от Ирландия до огромните съвременни изследователски библиотеки от днес, от арабските и еврейските книжници
работят заедно за изграждането на Дома на мъдростта в Багдад до фабриките на знанието, които се помещават
в съвременните източноиндийски търговски къщи като пресите на Оксфорд и Кеймбридж, тези
са дестинациите, които учените трябва да посетят да усъвършенстват занаята си, да се поучат
тези, които дойдоха преди нас.
Тези храмове съдържат сумата от цялото знание, но трябва да можем да намерим това знание.
Общият индекс е карта.
Това не е карта на сумата от цялото човешко знание,
но със сигурност е съществена подмножество.
За увеличаване и разпространение на знания да продължим, ако трябва да застанем на раменете
на гиганти, ние трябва да предоставим тези карти на това огромен свят на идеи.
Общият индекс е само един инструмент, инструмент които се надяваме с времето да натрупат качество
и по обхват, инструмент, който се надяваме, че ще осигури полезен принос
към вашата научна практика.
Надяваме се, че ще поставите и този общ индекс изненадващи приложения, че можем да направим индекса
по -добре, че можете да създадете други инструменти, това общността на учените може да работи заедно
в общ стремеж да копаем огромните дълбини от този океан на учене.
Вярвам, че всички имаме обща цел, обща надежда.
Като учени, учени, художници, писатели, като граждани на света, като деца, които желаят
да се науча, като любопитни човешки същества, вярвам всички се надяваме, че увеличаването и разпространението
знанието ще направи света ни по -добър място, че ще ни помогне да разберем нашето
света, да лекува болести и бедност, да напредва напредъкът на науката и търговията и
хуманитарни науки и изкуства.
Науката е език, на който всички трябва да говорим, ако ние трябва да подобрим нашия свят.
Благодаря за слушане.
[Печатът лае]
[Музика]