[Музика]
[Диктор] Це публічні ресурси
[Карл Маламуд] Привіт, я Карл Маламуд.
Ласкаво просимо до загального покажчика.
Ми представляємо тут безкоштовно і без обмежень використовувати набір н-грамів, отриманих із 107 мільйонів,
233 тис., 728 статей у журналі.
N-грами варіюються від окремих слів, відомих як уніграми, до двоскладних фраз (біграм)
до 5-ти слів, відомих як 5-грам.
Загалом, 355 мільярдів рядків n-грамів у цьому випуску загального покажчика кожен
що відповідає зверненню в журналі.
Для вилучення був використаний інструментарій під назвою Spacy n-грамів, які ми розділили
через шістнадцять файлів.
З кожним рядком пов'язаний хеш md5, який представляє статтю в журналі.
Крім того, ми перераховуємо частоту н-грам у статті.
Ми сподіваємось з часом також перерахувати частоту у загальному корпусі - показник релевантності
відомий як TD/IDF.
Крім н-грамів, Загальний індекс містить ключові слова, видобуті за допомогою Yake
Інструментарій.Як «спирається на текстову статистику функції, витягнуті з окремих документів у
виберіть найважливіші ключові слова тексту ».
Загальні таблиці ключових слів індексу містять загалом 19 мільярдів ключових слів.
Нарешті, загальний індекс містить метадані таблиці, що відображає хеш md5 на такі елементи
унікальна адреса DOI для статті в журналі, заголовок, автор і журнал.
Це достроковий випуск загального індексу, незавершена робота.
У деяких випадках вилучення тексту не вдалося.
Іноді метадані недоступні або є можливо навіть неправильно.
Хоча основний корпус великий, він є не є повною та не є актуальною.
Є багато способів це покращити, і ми з нетерпінням чекаємо того, щоб стати генералом
З часом індекс стає кращим.
Загальний показник займає приблизно 38 терабайт даних у вигляді Postgres
dump, проте зі стисненням, цей ASCII дані зменшуються до 8,5 терабайт.
Ви можете завантажити дані безпосередньо звідси, або використовуйте такі інструменти, як bittorrent.
Не соромтеся створювати дзеркала або іншу публіку сховища для перерозподілу загального індексу.
Ми сподіваємось, що це можна поставити цифрою використання. Ми використовували базу даних Postgres,
і за допомогою загального індексу для пошуку назви рослин з основного списку.
Індекс можна використовувати для пошуку інших об'єкти, такі як хімікати, гени в різних
кодування, білки, матеріали, топоніми, або інших суб’єктів.
Замість бази даних Postgres, інші методи, наприклад BERT, можна застосувати до даних.
Це інструмент пошуку, словник знань, карта знань, інструмент, у який ми віримо
є важливим засобом для практики науки в наш сучасний час.
Цей загальний показник знань не становить доступний основний корпус, скоріше, факти
витягуються з корпусу.
Це є неспоживчим і трансформаційне використання.
Ми вважаємо це суспільною утилітою. Ми стверджуємо відсутність права власності на загальний індекс.
Це серія, присвячена суспільному надбанню необтяжених фактів, за допомогою яких ви можете
роби що хочеш.
Немає застережених прав.
Вчені на шляху відкриття можуть проконсультуватися цю дорожню карту для швидшого пошуку напрямків
вони лише доценти в коридори величезних архівів світу,
колективна спільнота вчених та науковців а також інженерів та художників, які створили
ці храми знань.
Ці храми з Олександрійської бібліотеки до бібліотеки Олександри, від ченців
Ірландії до величезних сучасних наукових бібліотек сьогодні від арабських та єврейських книжників
працюючи разом над побудовою Будинку мудрості в Багдаді на фабриках знань розмістилися
в сучасних східно -індійських торгових будинках подібно преси Оксфорда та Кембриджа, ці
це місця, які вчені повинні відвідати розвивати своє ремесло, вчитися
ті, що були до нас.
Ці храми містять суму всього знання, але ми повинні вміти знаходити ці знання.
Загальний покажчик - це карта.
Це не карта суми всього людського знання,
але це, безумовно, істотна підмножина.
Для збільшення та розповсюдження знань продовжувати, якщо ми будемо стояти на плечах
гігантів, ми повинні надати їм ці карти величезний світ ідей.
Загальний індекс - це лише один інструмент, інструмент які ми сподіваємося з часом виграти в якості
і за обсягом, інструмент, який ми сподіваємося, це дасть корисний внесок
до вашої практики науки.
Сподіваємось, ви також внесете цей загальний індекс дивовижне використання, що ми можемо створити індекс
краще, що ви можете створити інші інструменти, що спільнота вчених може працювати разом
у спільному прагненні здобути величезні глибини цього океану навчання.
Я вважаю, що ми всі спільні цілі, спільна надія.
Як науковці, вчені, художники, письменники, як громадяни світу, як діти бажають
навчитися, як допитливі люди, я вважаю ми всі сподіваємось на збільшення та розповсюдження
знання зроблять наш світ кращим місце, що це допоможе нам зрозуміти наше
світу, щоб вилікувати хвороби та бідність, просунутися вперед прогрес науки та торгівлі та
гуманітарні науки та мистецтво.
Наука - це мова, якою ми всі повинні говорити ми повинні покращити наш світ.
Спасибі за слухання.
[Печатка гавкає]
[Музика]