[Музика]
[Објавувач] Ова е јавен ресурс
[Карл Маламуд] Здраво, јас сум Карл Маламуд.
Добредојдовте на Генералниот индекс.
Овде ви претставуваме бесплатно и неограничено користете сет n-грамови извлечени од 107 милиони,
233 илјади, 728 списанија статии.
N-грама се движат од единечни зборови, познати како униграми, до фрази со два збора (биграми)
фрази до 5 збора, познати како 5-грама.
Има, како што е кажано, 355 милијарди реда на n-грамови во ова издание на општиот индекс, секој
што одговара на хит во напис во весник.
За извлекување се користеше прибор за алат наречен Spacy n-грама, што ги поделивме
низ шеснаесет датотеки.
Поврзан со секој ред е хаш md5, кој претставува напис во весник.
Покрај тоа, ние ја наведуваме фреквенцијата на n-грам во статијата.
Се надеваме дека со текот на времето ќе ја наведеме и фреквенцијата во целокупниот корпус, метрика на релевантност
познат како ТД/ИДФ.
Во прилог на n-грама, Општ индекс содржи клучни зборови извлечени со помош на Yake
пакет со алатки.Yake „се потпира на статистички статистички карактеристики извлечени од единечни документи до
изберете ги најважните клучни зборови на текстот “.
Табелите со клучни зборови со општ индекс содржат вкупно 19 милијарди клучни зборови.
И на крај, општиот индекс содржи метаподатоци табела, пресликување на хаш md5 на такви ставки
единствената адреса на DOI за напис во дневник, насловот, авторот и списанието.
Ова е рано објавување на општиот индекс, работа во тек.
Во некои случаи, екстракцијата на текст не успеа.
Понекогаш, метаподатоците не се достапни, или се можеби дури и неточно.
Додека основниот корпус е голем, тој е не е целосна и не е ажурирана.
Постојат многу начини ова може да се подобри, и со нетрпение очекуваме да го направиме Генералот
Индексирајте се подобро со текот на времето.
Општиот индекс зазема приближно 38 терабајти податоци во форма на Postgres
депонија, сепак со компресија, овој ASCII податоците се намалуваат на 8,5 терабајти.
Можете да ги преземете податоците директно од овде, или користете алатки како што се bittorrent.
Слободно креирајте огледала или друга јавност складишта за прераспределба на општиот индекс.
Нашата надеж е дека може да се стави на број на употреба. Ние користевме база на податоци Постгрес,
и користење на општиот индекс за пребарување имиња на растенија од главната листа.
Индексот може да се користи за пребарување други предмети, како што се хемикалии, гени во различни
кодирање, протеини, материјали, имиња на места, или други субјекти.
Наместо Постгрес база на податоци, други техники, како што е BERT, може да се примени на податоците.
Ова е алатка за пребарување, речник на знаење, карта за знаење, алатка во која веруваме
е суштински објект за практиката на науката во нашето модерно време.
Овој општ индекс на знаење не го прави основниот корпус достапен, Наместо тоа, факти
се извлечени од корпусот.
Ова е неконсумативно и трансформациска употреба.
Ние го гледаме ова како јавно корисно. Ние тврдиме нема сопственост врз општиот индекс.
Таа е посветена на јавниот домен, серија на необременети факти со кои можете
направи што сакаш.
Нема резервирани права.
Научниците на патот кон откритијата можат да се консултираат овој патоказ за побрзо наоѓање дестинации
тие сакаат да посетат. Ние сме само доценти во ходници на огромните архиви на светот,
колективната заедница на научници и научници и инженери и уметници што создале
овие храмови на знаење.
Овие храмови, од библиотеката на Александрија до Библиотеката на Александра, од монасите
на Ирска до огромните модерни библиотеки за истражување од денес, од арапските и еврејските писари
работат заедно за изградба на Куќата на мудроста во Багдад до фабриките за знаење сместени
во модерните источноиндиски трговски куќи како пресите на Оксфорд и Кембриџ, овие
се дестинации што научниците мора да ги посетат да го унапредат својот занает, да учат од
оние што дојдоа пред нас.
Овие храмови содржат збир на сето знаење, но мора да можеме да го најдеме тоа знаење.
Општиот индекс е карта.
Ова не е карта на збирот на целото човечко знаење,
но секако е значителен подмножество.
За зголемување и ширење на знаењето да продолжиме, ако сакаме да застанеме на рамената
на гиганти, ние мора да ги обезбедиме овие мапи за тоа огромен свет на идеи.
Општиот индекс е само една алатка, алатка за кои се надеваме дека со текот на времето ќе добијат квалитет
и во обем, алатка за која се надеваме дека ќе обезбеди корисен придонес
на вашата практика на наука.
Се надеваме дека ќе го ставите и овој општ индекс изненадувачки употреби, дека можеме да го направиме индексот
подобро, дека можете да креирате други алатки, тоа заедницата на научници може да работи заедно
во заедничка потрага за минирање на огромните длабочини на овој океан на учење.
Верувам дека сите имаме заедничка цел, заедничка надеж.
Како научници, научници, уметници, писатели, како граѓани на светот, како деца што сакаат
да научам, како iousубопитни човечки суштества, верувам сите се надеваме дека зголемувањето и дифузијата
знаењето ќе го направи нашиот свет подобар место, дека ќе ни помогне да го разбереме нашето
светот, да се излечат болестите и сиромаштијата, да напредуваме напредокот на науката и трговијата и
хуманистички науки и уметности.
Науката е јазик што сите ние мора да го зборуваме ако ние треба да го подобриме нашиот свет.
Ви благодариме што слушавте.
[Печатот се лае]
[Музика]