[Музыка]
[Дыктар] Гэта публічныя рэсурсы
[Карл Маламуд] Добры дзень, я Карл Маламуд.
Сардэчна запрашаем у агульны індэкс.
Мы прадстаўляем тут бясплатна і без абмежаванняў выкарыстоўваць набор н-грамаў, атрыманых з 107 мільёнаў,
233 тыс., 728 артыкулаў у часопісе.
П-грамаў вар'іруюцца ад адзіночных слоў, вядомых як уніграмы, да двухслоўных фраз (біграмы)
да 5 слоў, вядомых як 5 грам.
Усяго ёсць 355 мільярдаў радкоў н-грамаў у гэтым выпуску агульнага паказальніка кожны
адпаведны хіту ў артыкуле часопіса.
Для здабывання выкарыстоўваўся набор інструментаў пад назвай Spacy н-грамаў, якія мы падзялілі
праз шаснаццаць файлаў.
З кожным радком звязаны хэш md5, які прадстаўляе артыкул у часопісе.
Акрамя таго, мы пералічваем частату н-грам у артыкуле.
Мы спадзяемся з часам таксама пералічыць частату у агульным корпусе - паказчык рэлевантнасці
вядомы як TD/IDF.
У дадатак да н-грамаў, агульны індэкс змяшчае ключавыя словы, вынятыя з дапамогай Yake
toolkit.Yake «абапіраецца на тэкставую статыстыку асаблівасці, вынятыя з асобных дакументаў у
выберыце найбольш важныя ключавыя словы тэксту ».
Агульныя табліцы ключавых слоў з індэксам змяшчаюць у агульнай складанасці 19 мільярдаў ключавых слоў.
Нарэшце, агульны індэкс змяшчае метададзеныя табліца, адлюстроўваючы хэш md5 да такіх элементаў
унікальны адрас DOI для артыкула ў часопісе, загаловак, аўтар і часопіс.
Гэта датэрміновы выпуск агульнага індэкса, незавершаная праца.
У некаторых выпадках выманне тэксту не ўдалося.
Часам метаданыя недаступныя або ёсць магчыма, нават няправільна.
Хоць асноўны корпус вялікі, ён ёсць не поўная і не актуальная.
Ёсць шмат спосабаў гэта палепшыць, і мы з нецярпеннем чакаем выступу генерала
З часам індэкс становіцца лепш.
Агульны паказчык займае прыкладна 38 тэрабайт дадзеных у выглядзе Postgres
дамп, аднак са сціскам, гэта ASCII дадзеныя скарачаюцца да 8,5 тэрабайт.
Вы можаце загрузіць дадзеныя непасрэдна адсюль, або выкарыстоўвайце такія інструменты, як bittorrent.
Не саромейцеся ствараць люстэркі ці іншую публіку сховішчаў для пераразмеркавання агульнага індэкса.
Мы спадзяемся, што гэта можна паставіць у лік выкарыстанняў. Мы выкарыстоўвалі базу дадзеных Postgres,
і з дапамогай агульнага індэкса для пошуку назвы раслін з майстар -спісу.
Індэкс можна выкарыстоўваць для пошуку іншых аб'екты, такія як хімічныя рэчывы, гены ў розных
кадоўкі, вавёркі, матэрыялы, тапонімы, або іншых суб'ектаў.
Замест базы дадзеных Postgres, іншыя метады, напрыклад, BERT, можна прымяніць да дадзеных.
Гэта інструмент пошуку, слоўнік ведаў, карта ведаў, інструмент, у які мы верым
з'яўляецца важным аб'ектам для практыкі навукі ў наш сучасны век.
Гэты агульны паказальнік да ведаў не складае асноўны корпус даступны, Хутчэй, факты
вынятыя з корпуса.
Гэта непатрабавальны і трансфармацыйнае выкарыстанне.
Мы разглядаем гэта як грамадскую карыснасць. Мы сцвярджаем няма ўласнасці на агульны індэкс.
Гэта серыя, прысвечаная грамадскаму здабытку неабгрунтаваных фактаў, з якімі вы можаце
рабі што хочаш.
Ніякіх правоў не зарэзервавана.
Навукоўцы на шляху да адкрыццяў могуць пракансультавацца гэтая дарожная карта для больш хуткага пошуку пунктаў прызначэння
яны хочуць наведаць. Мы толькі дацэнты ў калідоры вялізных архіваў свету,
калектыўная супольнасць навукоўцаў і навукоўцаў і інжынераў і мастакоў, якія стварылі
гэтыя храмы ведаў.
Гэтыя храмы з Александрыйскай бібліятэкі у бібліятэку Аляксандры, ад манахаў
Ірландыі ў вялізныя сучасныя даследчыя бібліятэкі сённяшняга дня, ад арабскіх і яўрэйскіх кніжнікаў
працуюць разам над будаўніцтвам Дома мудрасці у Багдадзе размясціліся заводы ведаў
у сучасных усходнеіндыйскіх гандлёвых дамах накшталт прэсы Оксфарда і Кембрыджа, гэтыя
гэта тыя месцы, якія навукоўцы павінны наведаць прасоўваць сваё рамяство, вучыцца ў яго
тыя, што былі да нас.
Гэтыя храмы ўтрымліваюць суму ўсіх ведаў, але мы павінны быць у стане знайсці гэтыя веды.
Агульны паказальнік - гэта карта.
Гэта не карта сумы ўсіх чалавечых ведаў,
але гэта, безумоўна, істотная падмноства.
Для павелічэння і распаўсюджвання ведаў працягваць, калі мы будзем стаяць на плячах
гігантаў, мы павінны даць ім гэтыя карты шырокі свет ідэй.
Агульны індэкс - гэта ўсяго толькі адзін інструмент, інструмент што мы спадзяемся з часам павялічыць якасць
і па аб'ёме, інструмент, які мы спадзяемся, што дасць карысны ўнёсак
да вашай навуковай практыкі.
Мы спадзяемся, што вы таксама пакладзеце гэты агульны індэкс дзіўнае выкарыстанне, што мы можам зрабіць індэкс
лепш, што вы можаце ствараць іншыя інструменты, што супольнасць навукоўцаў можа працаваць разам
у агульным імкненні здабываць вялізныя глыбіні гэтага акіяна навучання.
Я лічу, што мы ўсе падзяляем агульную мэту, агульная надзея.
Як навукоўцы, навукоўцы, мастакі, пісьменнікі, як грамадзяне свету, як дзеці жадаюць
навучыцца, як цікаўныя людзі, я лічу мы ўсе спадзяемся, што павелічэнне і распаўсюджванне
веды зробяць наш свет лепшым месца, што гэта дапаможа нам зразумець сваё
свеце, каб вылечыць хваробы і галечу, прасунуцца наперад прагрэс навукі і гандлю і
гуманітарныя навукі і мастацтва.
Навука - гэта мова, на якой мы ўсе павінны размаўляць мы павінны палепшыць наш свет.
Дзякуй за слуханне.
[Пячатка брэша]
[Музыка]