[Musiqa]
[Diktor] Bu ommaviy manba
[Karl Malamud] Salom, men Karl Malamudman.
Umumiy indeksga xush kelibsiz.
Biz bu erda bepul va cheksiz taklif qilamiz 107 milliondan olingan n-gramm to'plamidan foydalaning,
233 ming, 728 jurnal maqolalari.
N-gramm ma'lum so'zlardan iborat unigramlar sifatida, ikki so'zli iboralarga (bigramlar)
5 grammgacha bo'lgan 5 so'zli iboralar.
Hammasi aytganda, 355 milliard qator n-gramm bor umumiy indeksning ushbu nashrida har biri
jurnaldagi maqoladagi xitga mos keladi.
Chiqarish uchun Spacy deb nomlangan asboblar to'plami ishlatilgan n-gramm, biz ikkiga bo'ldik
o'n oltita fayl bo'ylab.
Har bir qator bilan md5 xash biriktirilgan jurnaldagi maqolani ifodalaydi.
Bundan tashqari, biz chastotani ro'yxatlaymiz n-gramm maqolada.
Umid qilamizki, vaqt o'tishi bilan chastotani ham sanab o'tamiz umumiy korpusda tegishli ko'rsatkich
TD/IDF sifatida tanilgan.
N-grammdan tashqari, umumiy indeks Yake yordamida olingan kalit so'zlarni o'z ichiga oladi
toolkit.Yake “matn statistikasiga tayanadi yagona hujjatlardan olingan xususiyatlar
matnning eng muhim kalit so'zlarini tanlang. "
Umumiy indeks kalit so'zlar jadvallari o'z ichiga oladi jami 19 milliard kalit so'z.
Nihoyat, umumiy indeks metadatani o'z ichiga oladi jadval, md5 xashini shunga o'xshash narsalarga xaritalash
jurnaldagi maqola uchun DOIning yagona manzili, sarlavha, muallif va jurnal.
Bu umumiy indeksning erta chiqarilishi, davom etayotgan ish.
Ba'zi hollarda matnni ajratib bo'lmadi.
Ba'zida metadata mavjud emas yoki mavjud ehtimol, hatto noto'g'ri.
Asosiy korpus katta bo'lsa -da to'liq emas va dolzarb emas.
Buni yaxshilashning ko'plab usullari mavjud, va biz general bo'lishni orziqib kutamiz
Vaqt o'tishi bilan indeks yaxshiroq.
Umumiy indeks taxminan 38 ni tashkil qiladi Postgres shaklida terabaytli ma'lumotlar
dump, lekin siqish bilan, bu ASCII ma'lumotlar 8,5 terabaytgacha kamayadi.
Ma'lumotni to'g'ridan -to'g'ri bu erdan yuklab olishingiz mumkin, yoki bittorrent kabi vositalardan foydalaning.
Ko'zgularni yoki boshqa jamoatchilikni yaratishga jur'at eting umumiy indeksni qayta taqsimlash uchun omborlar.
Umid qilamizki, uni raqamga qo'yish mumkin foydalanishdan. Biz Postgres ma'lumotlar bazasidan foydalanganmiz.
va qidirish uchun umumiy indeksdan foydalaning asosiy ro'yxatdagi o'simliklarning nomlari.
Indeks boshqasini qidirish uchun ishlatilishi mumkin ob'ektlar, masalan, kimyoviy moddalar, turli genlar
kodlash, oqsillar, materiallar, joy nomlari, yoki boshqa tashkilotlar.
Postgres ma'lumotlar bazasi o'rniga boshqa texnikalar, ma'lumotlarga BERT kabi qo'llanilishi mumkin.
Bu qidiruv vositasi, bilim lug'ati, bilim xaritasi, biz ishonadigan vosita
amaliyoti uchun muhim vositadir bizning zamonaviy davrimizda ilm -fan.
Bu umumiy bilim ko'rsatkichi emas mavjud korpus, aksincha, faktlar
korpusdan olinadi.
Bu noaniq va transformatsion foydalanish.
Biz buni kommunal xizmat deb bilamiz umumiy indeks bo'yicha egalik huquqi yo'q.
U jamoat mulki, seriyaga bag'ishlangan Siz qila oladigan raqamsiz faktlar
xohlaganingizni qiling.
Hech qanday huquqlar himoyalangan emas.
Kashfiyot yo'lidagi olimlar maslahatlashishi mumkin bu yo'l xaritasi manzillarni tezroq topishga yordam beradi
Biz tashrif buyurishni xohlaymiz, biz faqat dotsentmiz dunyoning ulkan arxivlari koridorlari,
olimlar va olimlarning jamoaviy jamoasi va yaratgan muhandislar va rassomlar
bu bilim ma'badlari.
Bu ibodatxonalar, Iskandariya kutubxonasidan Alexandra kutubxonasiga, rohiblardan
Irlandiyadan zamonaviy zamonaviy ilmiy kutubxonalarga bugungi kunda arab va yahudiy ulamolaridan
donolik uyini qurish uchun birgalikda harakat qilish Bag'dodda bilim fabrikalari joylashgan
kabi zamonaviy Sharqiy Hindiston savdo uylarida Oksford va Kembrij matbuotlari, bular
olimlar tashrif buyurishi kerak bo'lgan joylar o'z mahoratini oshirish, undan o'rganish
bizdan oldin kelganlar.
Bu ibodatxonalarda barcha bilimlar jamlangan, lekin biz bu bilimlarni topa olishimiz kerak.
Umumiy indeks xaritadir.
Bu hamma odamlarning bilimlari yig'indisining xaritasi emas,
lekin, albatta, bu muhim to'plamdir.
Bilimlarning ko'payishi va tarqalishi uchun davom ettirish uchun, agar biz yelkada tursak
gigantlar, biz bunga xaritalarni taqdim etishimiz kerak keng g'oyalar dunyosi.
Umumiy indeks faqat bitta vosita, asbobdir umid qilamizki, vaqt o'tishi bilan sifat yaxshilanadi
va biz umid qilamizki, bu vosita foydali hissadir
sizning ilmiy amaliyotingizga.
Umid qilamizki, siz ham ushbu umumiy indeksni qo'yasiz bizni indeks qilishimiz ajablanarli
yaxshiroq, siz boshqa vositalarni yaratishingiz mumkin olimlar jamoasi birgalikda ishlashi mumkin
ulkan chuqurliklarni qazib olish uchun umumiy intilish bu o'rganish okeanidan.
Ishonamanki, biz hammamiz bir maqsadga egamiz, umumiy umid.
Olimlar, olimlar, rassomlar, yozuvchilar sifatida dunyo fuqarolari sifatida, xohlagan bolalar kabi
O'ylaymanki, qiziquvchan insonlar, men ishonaman hammamiz umid qilamizki, o'sish va tarqalish
bilim dunyomizni yanada yaxshiroq qiladi joy, bu bizga o'zimizni tushunishimizga yordam beradi
dunyo, kasallik va qashshoqlikni davolash, oldinga siljish ilm -fan va tijoratning rivojlanishi
gumanitar va san'at.
Ilm - bu hammamiz gaplashishimiz kerak bo'lgan til biz o'z dunyomizni yaxshilashimiz kerak.
Eshitganingiz uchun tashakkur.
[Muhr qichqiradi]
[Musiqa]