[Мусиқӣ]
[Диктор] Ин манбаи ҷамъиятӣ аст
[Карл Маламуд] Салом, ман Карл Маламуд.
Ба Индекси умумӣ хуш омадед.
Мо дар ин ҷо барои ройгон ва номаҳдуди шумо пешниҳод мекунем маҷмӯи n-граммҳои аз 107 миллион истихроҷшударо истифода баред,
233 ҳазору 728 мақолаи маҷалла.
N-граммҳо аз калимаҳои ягона, маълуманд ҳамчун униграмҳо, ба ибораҳои ду калима (биграммҳо)
то ибораҳои 5-калима, ки бо номи 5 грамм маълуманд.
Дар маҷмӯъ, 355 миллиард қатори н-грамм мавҷуданд дар ин нашри шохиси умумӣ, ҳар як
ба як зарбаи мақолаи маҷалла мувофиқ аст.
Барои истихроҷ маҷмӯи абзор бо номи Spacy истифода шуд н-граммаҳоро, ки мо тақсим кардаем
дар саросари шонздаҳ файл.
Бо ҳар як сатр md5 hash алоқаманд аст, ки мақолаи рӯзномаро ифода мекунад.
Илова бар ин, мо басомади даврҳоро номбар мекунем n-грамм дар мақола.
Мо умедворем, ки бо мурури замон басомадҳоро низ номбар мекунем дар маҷмӯи умумӣ, як метри мутобиқат
бо номи TD/IDF маъруф аст.
Илова ба n-граммҳо, Индекси умумӣ дорои калимаҳои калидӣ бо истифода аз Yake мебошад
toolkit.Yake «ба матни оморӣ такя мекунад хусусиятҳое, ки аз як ҳуҷҷат гирифта шудаанд
калимаҳои калидии матнро интихоб кунед. "
Ҷадвалҳои калиди калидии индекс дар бар мегиранд дар маҷмӯъ 19 миллиард калимаҳои калидӣ.
Ниҳоят, шохиси умумӣ як метамаълумотро дар бар мегирад ҷадвал, харитасозии hash md5 ба чунин ашёҳо
суроғаи ягонаи DOI барои мақолаи маҷалла, унвон, муаллиф ва маҷалла.
Ин барвақти шохиси умумӣ аст, коре идома дорад.
Дар баъзе ҳолатҳо, истихроҷи матн ноком шуд.
Баъзан метамаълумотҳо дастрас нестанд ё ҳастанд шояд ҳатто нодуруст бошад.
Ҳангоме ки корпуси зеризаминӣ калон аст, он аст мукаммал нест ва нав нест.
Роҳҳои зиёде мавҷуданд, ки инро такмил додан мумкин аст, ва мо бесаброна интишори Генералро интизорем
Индекс бо мурури замон беҳтар мешавад.
Индекси умумӣ тақрибан 38 -ро ишғол мекунад терабайт маълумот дар шакли Postgres
партофтан, аммо бо фишурдан, ин ASCII маълумот ба 8,5 терабайт кам карда мешавад.
Шумо метавонед маълумотро бевосита аз ин ҷо зеркашӣ кунед, ё асбобҳоеро ба мисли bittorrent истифода баред.
Озод ҳис кунед, ки оинаҳо ё дигар ҷамъиятҳоро эҷод кунед анборҳо барои аз нав тақсим кардани индекси умумӣ.
Умедворем, ки онро метавон ба як рақам гузошт аз истифодаи. Мо як пойгоҳи додаҳои Postgres -ро истифода мебарем,
ва истифодаи индекси умумӣ барои ҷустуҷӯ номи растаниҳо аз рӯйхати асосӣ.
Индекс метавонад барои ҷустуҷӯи дигар истифода шавад объектҳо, ба монанди кимиёвӣ, генҳои гуногун
рамзҳо, сафедаҳо, маводҳо, номҳои ҷойҳо, ё дигар субъектҳо.
Ба ҷои пойгоҳи додаҳои Postgres, усулҳои дигар, ба монанди BERT, метавонад ба маълумот татбиқ карда шавад.
Ин воситаи ҷустуҷӯ, луғати дониш, харитаи дониш, абзоре, ки мо бовар дорем
барои амалия як воситаи муҳим аст илм дар замони муосири мо.
Ин шохиси умумии дониш ба даст намеояд корпуси аслии дастрас, Баръакс, далелҳо
аз корпус бароварда мешаванд.
Ин ғайриоддӣ аст ва истифодаи трансформатсионӣ.
Мо инро ҳамчун як хидмати ҷамъиятӣ мешуморем соҳиби моликият ба шохиси умумӣ нест.
Он ба домени ҷамъиятӣ бахшида шудааст, як силсила далелҳои бешуморе, ки бо он шумо метавонед
он чи мехоҳед, бикунед.
Ҳуқуқҳо ҳифз карда нашудаанд.
Олимон дар роҳи кашфиёт метавонанд машварат кунанд ин харитаи роҳ барои зудтар пайдо кардани самтҳо
Мо мехоҳем, ки боздид кунем долонҳои бойгониҳои бузурги ҷаҳон,
ҷомеаи коллективии олимон ва олимон ва муҳандисону рассомоне, ки эҷод кардаанд
ин маъбадҳои дониш.
Ин маъбадҳо, аз Китобхонаи Искандария ба китобхонаи Александра, аз роҳибон
Ирландия ба китобхонаҳои васеи тадқиқотии муосир аз имрӯз, аз котибони араб ва яҳудӣ
якҷоя кор карда, хонаи Хикматро месозанд дар Бағдод ба заводҳои дониш ҷойгиранд
дар хонаҳои савдои муосири Шарқи Ҳиндустон ба монанди матбуоти Оксфорд ва Кембриҷ, инҳо
маконҳое ҳастанд, ки олимон бояд аз он боздид кунанд ҳунари худро пеш баранд, аз онҳо ибрат гиранд
онҳое, ки пеш аз мо омада буданд.
Ин маъбадҳо маҷмӯи ҳама донишҳоро дар бар мегиранд, аммо мо бояд ин донишро пайдо карда тавонем.
Индекси умумӣ харита аст.
Ин харитае нест, ки маҷмӯи ҳама донишҳои инсонӣ бошад,
аммо он бешубҳа як маҷмӯи назаррас аст.
Барои афзоиш ва паҳншавии дониш давом додан, агар мо ба китф истода бошем
аз бузургҷуссаҳо, мо бояд ин харитаҳоро ба он пешниҳод кунем ҷаҳони бузурги андешаҳо.
Индекси умумӣ танҳо як асбоб аст ки мо умедворем бо мурури замон сифат ба даст меорад
ва дар миқёс, абзоре, ки мо умедворем, ки онро таъмин хоҳад кард саҳми муфид
ба амалияи илмии шумо.
Умедворем, ки шумо ин шохиси умумиро низ мегузоред истифодаи аҷибе, ки мо метавонем индекс созем
беҳтар аст, ки шумо метавонед асбобҳои дигар созед, ки ҷомеаи олимон метавонанд якҷоя кор кунанд
дар кӯшиши умумӣ барои истихроҷи қаъри васеъ аз ин уқёнуси омӯзиш.
Ман боварӣ дорам, ки ҳамаи мо як ҳадафи муштарак дорем, умеди умумӣ.
Ҳамчун олимон, олимон, рассомон, нависандагон, ҳамчун шаҳрвандони ҷаҳон, ҳамчун кӯдаконе, ки мехоҳанд
омӯзиш, ҳамчун инсонҳои кунҷкоб, ман бовар дорам ҳамаи мо умедворем, ки афзоиш ва паҳншавӣ
дониш ҷаҳони моро беҳтар хоҳад кард ҷои, ки он ба мо дар фаҳмидани мо кӯмак хоҳад кард
ҷаҳон, барои табобат кардани беморӣ ва камбизоатӣ, пеш рафтан пешрафти илм ва тиҷорат ва
гуманитарӣ ва санъат.
Илм забонест, ки ҳамаи мо бояд ҳарф занем, агар мо бояд ҷаҳони худро беҳтар кунем.
Ташаккур барои гӯш кардан.
[Мӯҳр аккос мезанад]
[Мусиқӣ]