[Музыка]
[Диктор] Это общедоступный ресурс
[Карл Маламуд] Здравствуйте, я Карл Маламуд.
Добро пожаловать в Общий указатель.
Мы представляем здесь для вашего бесплатного и неограниченного использовать набор н-граммов, извлеченных из 107 миллионов,
233 тыс., 728 журнальных статей.
N-граммы варьируются от отдельных слов, известных как униграммы, в словосочетания из двух слов (биграммы)
до 5-словных фраз, известных как 5-граммовые.
Всего существует 355 миллиардов строк n-граммов. в этом выпуске общего указателя каждый
соответствует попаданию в журнальную статью.
Набор инструментов под названием Spacy использовался для извлечения n-граммы, которые мы разделили
через шестнадцать файлов.
С каждой строкой связан хеш md5, который представляет собой журнальную статью.
Кроме того, мы перечисляем частоту н-грамм в статье.
Мы надеемся со временем также указать частоту в общем корпусе показатель релевантности
известный как TD / IDF.
В дополнение к n-граммам, Общий указатель содержит ключевые слова, извлеченные с помощью Yake
toolkit.Yake »опирается на текстовый статистический функции, извлеченные из отдельных документов, в
выберите самые важные ключевые слова в тексте ».
Таблицы ключевых слов общего индекса содержат всего 19 миллиардов ключевых слов.
Наконец, общий указатель содержит метаданные table, сопоставляя хэш md5 с такими элементами, как
уникальный адрес DOI для журнальной статьи, название, автор и журнал.
Это ранний выпуск общего индекса, незавершенная работа.
В некоторых случаях извлечение текста не удавалось.
Иногда метаданные недоступны или недоступны. возможно, даже неверно.
В то время как основной корпус большой, он не полная и не актуальная.
Есть много способов улучшить это, и мы с нетерпением ждем, когда Генерал
Индексируйте лучше со временем.
Общий индекс занимает примерно 38 терабайты данных в виде Postgres
дамп, однако со сжатием, этот ASCII данные уменьшены до 8,5 терабайт.
Вы можете скачать данные прямо отсюда, или используйте такие инструменты, как bittorrent.
Не стесняйтесь создавать зеркала или другую публику репозитории для распространения общего индекса.
Мы надеемся, что это можно поставить в число использования. Мы использовали базу данных Postgres,
и используя общий индекс для поиска названия растений из основного списка.
Индекс можно использовать для поиска других объекты, такие как химические вещества, гены в различных
кодировки, белки, материалы, географические названия, или другие организации.
Вместо базы данных Postgres другие методы, такие как BERT, могут применяться к данным.
Это инструмент поиска, словарь знаний, карта знаний, инструмент, в который мы верим
является важным средством для практики науки в нашу современную эпоху.
Этот общий указатель знаний не делает базовый корпус доступен, скорее, факты
извлекаются из корпуса.
Это непотребный и трансформационное использование.
Мы рассматриваем это как общественную пользу. не владеет общим индексом.
Посвящается всеобщему достоянию, серия свободных фактов, с которыми вы можете
делай, что хочешь.
Права не защищены.
Ученые на пути к открытиям могут проконсультироваться эта дорожная карта, чтобы быстрее находить направления
они хотят посетить. Мы всего лишь доценты в коридоры огромных архивов мира,
коллективное сообщество ученых и ученых и инженеры и художники, которые создали
эти храмы знаний.
Эти храмы из Александрийской библиотеки в Библиотеку Александры, от монахов
Ирландии в огромные современные исследовательские библиотеки сегодня от арабских и еврейских писцов
работая вместе, чтобы построить Дом мудрости в Багдаде к фабрикам знаний, размещенным
в современных торговых домах Восточной Индии, таких как прессы Оксфорда и Кембриджа, эти
направления, которые должны посетить ученые продвигать свое ремесло, учиться у
те, что были до нас.
Эти храмы содержат в себе сумму всех знаний, но мы должны уметь обрести это знание.
Общий указатель - это карта.
Это не карта суммы всех человеческих знаний,
но это, безусловно, существенное подмножество.
Для увеличения и распространения знаний чтобы продолжить, если мы будем стоять на плечах
гигантов, мы должны предоставить эти карты тем огромный мир идей.
Общий указатель - это всего лишь один инструмент, инструмент которые, как мы надеемся, со временем станут качественнее
и в рамках этого инструмента, который, как мы надеемся, обеспечит полезный вклад
в вашу научную практику.
Надеемся, вы тоже поставите этот общий указатель удивительное использование, которое мы можем сделать индекс
лучше, что вы можете создавать другие инструменты, которые Сообщество ученых может работать вместе
в общем стремлении добыть огромные глубины этого океана обучения.
Я считаю, что у всех нас общая цель, общая надежда.
Как ученые, ученые, художники, писатели, как граждане мира, как дети, желающие
учиться, как любопытные люди, я считаю мы все надеемся, что увеличение и распространение
знаний сделает наш мир лучше место, что это поможет нам понять наши
мир, чтобы вылечить болезни и бедность, чтобы продвинуться прогресс науки и торговли и
гуманитарные науки и искусства.
Наука - это язык, на котором мы все должны говорить, если мы должны улучшить наш мир.
Спасибо за внимание.
[Тюлень лает]
[Музыка]