[Музыка]
[Диктор] Бұл қоғамдық ресурс
[Карл Маламуд] Сәлеметсіз бе, мен Карл Маламудпын.
Жалпы индекске қош келдіңіз.
Біз мұнда тегін және шектеусіз ұсынамыз 107 миллионнан алынған n-грамм жиынтығын қолданыңыз,
233 мың, 728 журнал мақалалары.
N-грамм белгілі сөздерден тұрады unigrams ретінде, екі сөзден тұратын тіркестерге (биграмалар)
5 грамнан тұратын 5 сөзден тұратын тіркестер.
Барлығы 355 миллиард қатар n-грамм бар бұл жалпы индекс шығарылымында, әрқайсысы
журналдағы мақаладағы хитке сәйкес келеді.
Шығару үшін Spacy деп аталатын құралдар жинағы қолданылды n-грамм, біз бөлдік
он алты файл бойынша.
Әрбір жолмен md5 хэші байланысады, ол журналдағы мақаланы білдіреді.
Сонымен қатар, біз жиіліктің тізімін береміз n-грамм мақалада.
Біз уақыт өте келе жиілікті тізімдейміз деп үміттенеміз жалпы корпуста сәйкестік көрсеткіші
TD/IDF ретінде белгілі.
N-граммнан басқа, Жалпы индекс Yake көмегімен алынған кілт сөздерді қамтиды
toolkit.Yake «мәтіндік статистикаға сүйенеді бір құжаттардан алынған ерекшеліктер
мәтіннің ең маңызды кілт сөздерін таңдаңыз ».
Жалпы индекс кілт сөз кестелері бар барлығы 19 млрд кілт сөз.
Ақырында, жалпы индекс метадеректерді қамтиды кесте, md5 хэшін осындай элементтерге салыстыру
журналдағы мақаланың DOI бірегей мекенжайы, атауы, авторы және журнал.
Бұл жалпы индекстің ерте шығарылуы, жүріп жатқан жұмыс.
Кейбір жағдайларда мәтінді шығару сәтсіз аяқталды.
Кейде метадеректер қол жетімді емес немесе бар мүмкін, тіпті қате.
Негізгі корпус үлкен болғанымен, ол толық емес және жаңартылған емес.
Мұны жақсартудың көптеген жолдары бар, және біз генерал болуды асыға күтеміз
Уақыт өте келе индекс жақсарады.
Жалпы көрсеткіш шамамен 38 құрайды Postgres түріндегі деректер терабайттары
демпинг, бірақ қысу кезінде бұл ASCII деректер 8,5 терабайтқа дейін азаяды.
Деректерді тікелей осы жерден жүктей аласыз, немесе bittorrent сияқты құралдарды қолданыңыз.
Айна немесе басқа да көпшілікке еркіндік жасаңыз жалпы индексті қайта бөлу үшін репозиторийлер.
Біздің үмітіміз - оны санға қосуға болады қолданылуының. Біз Postgres мәліметтер базасын қолдандық,
және жалпы индексті іздеу үшін өсімдіктер атауы негізгі тізімнен.
Индексті басқа іздеу үшін пайдалануға болады химиялық заттар, гендер сияқты әр түрлі заттар
кодтау, ақуыздар, материалдар, жер атаулары, немесе басқа ұйымдар.
Postgres мәліметтер базасының орнына басқа әдістер, деректерге BERT сияқты қолдануға болады.
Бұл іздеу құралы, білім сөздігі, білім картасы, біз сенетін құрал
тәжірибе үшін маңызды құрал болып табылады біздің заманымыздағы ғылым.
Бұл жалпы білім көрсеткіші жасамайды қолда бар негізгі корпус, керісінше, фактілер
корпусынан алынады.
Бұл тұтынушылық емес және трансформациялық қолдану.
Біз бұны коммуналдық қызмет ретінде қарастырамыз жалпы индекс бойынша меншік құқығы жоқ.
Ол көпшілікке арналған, серия сіз жасай алатын сансыз фактілер
қалағаныңды істе.
Құқық қорғалған жоқ.
Ашылу жолындағы ғалымдар кеңес ала алады баратын жерлерді тез табуға арналған бұл жол картасы
Олар барғысы келеді. Біз тек қана доценттерміз әлемнің үлкен мұрағаттарының кіреберістері,
ғалымдар мен ғалымдардың ұжымдық қауымдастығы және инженерлер мен суретшілер құрды
бұл білім храмдары.
Бұл храмдар, Александрия кітапханасынан Александра кітапханасына, монахтардан
Ирландия қазіргі заманғы үлкен ғылыми кітапханаларға Бүгінгі күні араб және еврей жазушыларынан
Даналық үйін құру үшін бірге жұмыс жасайды Бағдатта білім зауыттары орналасқан
сияқты қазіргі шығыс үнді сауда үйлерінде Оксфорд пен Кембридж баспалары, бұлар
ғалымдар міндетті түрде баратын жерлер өз ісін жетілдіру, үйрену
бізден бұрын келгендер.
Бұл храмдарда барлық білімнің жиынтығы бар, бірақ біз бұл білімді таба білуіміз керек.
Жалпы көрсеткіш - бұл карта.
Бұл адамзат білімінің жиынтығының картасы емес,
бірақ бұл, әрине, маңызды жиын.
Білімді жоғарылату және тарату үшін жалғастыру, егер біз иығымызда тұрсақ
алпауыттар үшін біз бұл карталарды беруіміз керек кең идеялар әлемі.
Жалпы индекс - бұл бір ғана құрал, құрал біз уақыт өте келе сапаға ие болады деп үміттенеміз
және біз қолданатын құрал деп ойлаймыз пайдалы үлес
сіздің ғылыми тәжірибеңізге.
Сіз бұл жалпы индексті қоясыз деп үміттенеміз индексті жасай алатындығымыз таңқаларлық
басқа құралдарды жасауға болатыны жақсы ғалымдар қауымы бірлесіп жұмыс жасай алады
кең байтақ жерді игеру үшін ортақ ізденісте бұл білім мұхитының.
Біз бәріміздің ортақ мақсатымыз бар деп ойлаймын, ортақ үміт.
Ғалымдар, ғалымдар, суретшілер, жазушылар ретінде, әлемнің азаматтары ретінде, балалар қалайтындай
үйренуге қызығушылық танытатын адам ретінде мен сенемін барлығының өсуі мен таралуына үміттенеміз
білім біздің әлемді жақсартады бұл біздің түсінігімізді түсінуге көмектеседі
әлем, ауру мен кедейлікті емдеуге, ілгерілеуге ғылым мен сауданың дамуы мен
гуманитарлық және өнер.
Ғылым - бұл бәріміз сөйлеуіміз керек тіл біз өз әлемімізді жақсартқымыз келеді.
Тыңдағандарыңызға рахмет.
[Мөр үреді]
[Музыка]