[Saz]
[Maglumat beriji] Bu jemgyýetçilik çeşmesi
[Karl Malamud] Salam, men Karl Malamud.
Umumy görkezijä hoş geldiňiz.
Bu ýerde mugt we çäksiz hödürleýäris 107 milliondan alnan n-gram toplumyny ulanyň,
233 müň, 728 journalurnal makalasy.
N-gramlar belli bolan ýeke sözlerden ybarat unigram hökmünde, iki sözli sözlemlere (bigram)
5 gramlyk söz düzümleri, 5 gram diýilýär.
Allhli aýdylyşy ýaly, 355 milliard hatar n-gram bar umumy görkezijiniň bu goýberilişinde hersi
journalurnal makalasyndaky urga laýyk gelýär.
Çykmak üçin “Spacy” atly gurallar toplumy ulanyldy bölen n-gramlarymyz
on alty faýlda.
Her hatar bilen baglanyşykly md5 hash, bu journalurnal makalasyny görkezýär.
Mundan başga-da, ýygylygyny sanap geçýäris makalada n-gram.
Wagtyň geçmegi bilen ýygylygy hem sanap geçeris diýip umyt edýäris umumy korpusda, degişlilik ölçegi
TD / IDF diýlip atlandyrylýar.
N-gramdan başga-da, umumy görkeziji “Yake” -iň kömegi bilen alnan açar sözleri öz içine alýar
toolkit.Yake “tekst statistikasyna esaslanýar ýeke resminamalardan alnan aýratynlyklar
tekstiň iň möhüm sözlerini saýlaň. ”
Umumy indeks açar söz tablisalary bar jemi 19 milliard açar söz.
Ahyrynda umumy görkeziji meta-maglumaty öz içine alýar tablisa, md5 heşini şuňa meňzeş zatlara düzmek
DOI articleurnal makalasy üçin özboluşly salgy, ady, awtory we journalurnaly.
Bu umumy görkezijiniň irki goýberilişi, dowam edýär.
Käbir ýagdaýlarda tekst çykarmak başa barmady.
Käwagt metadata elýeterli däl ýa-da ýok belki nädogrydyr.
Esasy korpus uly bolsa-da doly däl we döwrebap däl.
Muny gowulandyrmagyň köp usullary bar, generaly döretmäge sabyrsyzlyk bilen garaşýarys
Wagtyň geçmegi bilen indeks has gowy.
Umumy görkeziji takmynan 38-ni tutýar “Postgres” görnüşindäki terabaýt maglumatlary
zyňmak, ýöne gysyş bilen, bu ASCII maglumatlar 8,5 terabaýt azaldyldy.
Maglumatlary göni şu ýerden göçürip alyp bilersiňiz, ýa-da bittorrent ýaly gurallary ulanyň.
Aýna ýa-da beýleki köpçülige döretmäge arkaýyn boluň umumy görkezijini paýlamak üçin ammarlar.
Sany goýup bolar diýip umyt edýäris ulanylyşy. Postgres maglumatlar bazasyny ulanýarys,
gözlemek üçin umumy görkezijini ulanmak baş sanawdan ösümlikleriň atlary.
Indeks başgalary gözlemek üçin ulanylyp bilner himiki maddalar, dürli genler ýaly zatlar
kodlamalar, beloklar, materiallar, ýer atlary, ýa-da beýleki guramalar.
“Postgres” maglumatlar bazasynyň ýerine beýleki usullar, ýaly BERT ýaly maglumatlara ulanylyp bilner.
Bu gözleg guraly, bilimleriň sözlügi, bilimlere karta, ynanýan guralymyz
tejribe üçin möhüm desga bolup durýar häzirki zamanamyzda ylym.
Bilime bolan bu umumy görkeziji düzmeýär elýeterli esasy korpus, Has dogrusy, faktlar
korpusdan alynýar.
Bu manysyz we üýtgeýän ulanyş.
Muny jemgyýetçilik peýdasy hökmünde görýäris umumy görkezijä eýeçilik ýok.
Jemgyýetçilik domenine, seriýasyna bagyşlanýar edip bilýän sansyz faktlaryň
islän zadyňy et.
Hiç hili hukuk ýok.
Açyş ýolundaky alymlar maslahat berip bilerler barmaly ýerleri has çalt tapmak üçin bu ýol kartasy
baryp görmek isleýärler. Biz diňe dokumentler dünýäniň giň arhiwiniň koridorlary,
alymlaryň we alymlaryň köpçülikleýin jemgyýeti döreden inersenerler we sungat işgärleri
bu bilim ybadathanalary.
Bu ybadathanalar, Aleksandriýanyň kitaphanasyndan monahlardan Aleksandr kitaphanasyna
Irlandiýanyň häzirki zaman gözleg kitaphanalaryna Häzirki wagtda arap we ýewreý kanunçylaryndan
paýhas öýüni gurmak üçin bilelikde işlemek Bagdatda ýerleşýän bilim zawodlaryna
ýaly häzirki zaman Gündogar hindi söwda öýlerinde Oksford we Kembrijiň metbugatlary
alymlaryň baryp görmeli ýerleri hünärlerini ösdürmek, öwrenmek
öňümizden gelenler.
Bu ybadathanalarda ähli bilimleriň jemi bar, ýöne şol bilimleri tapmagy başarmalydyrys.
Umumy görkeziji kartadyr.
Bu, adamzadyň ähli bilimleriniň jemine karta däl,
emma, elbetde, ep-esli bölek.
Bilimiň köpelmegi we ýaýramagy üçin dowam etdirmeli, egnimizde durmaly bolsak
ägirtler üçin bu kartalary üpjün etmeli giň pikirler dünýäsi.
Umumy görkeziji diňe bir gural, gural wagtyň geçmegi bilen hil gazanar diýip umyt edýäris
çäginde bolsa, üpjün eder diýip umyt edýäris peýdaly goşant
ylym tejribäňize.
Bu umumy görkezijini hem goýarsyňyz diýip umyt edýäris indeks ýasap biljekdigimiz üçin geň galdyryjy ulanyşlar
has gowusy, başga gurallary döredip biljekdigiňiz üçin alymlar jemgyýeti bilelikde işläp biler
giň çuňluklary gazmak üçin umumy gözlegde Bu okuw ummany.
Hemmämiziň umumy maksadymyzy paýlaşýandygyna ynanýaryn, umumy umyt.
Alymlar, alymlar, suratkeşler, ýazyjylar hökmünde dünýäniň raýatlary, isleýän çagalar ýaly
öwrenmek, bilesigeliji adamlar hökmünde ynanýaryn köpelmegine we ýaýramagyna umyt edýäris
bilim dünýämizi gowulaşdyrar ýerimize düşünmegimize kömek eder
dünýä, keseli we garyplygy bejermek, öňe gitmek ylymyň we söwdanyň ösüşi we
gumanitar we sungat.
Ylym, hemmämiziň gürlemeli dilimizdir dünýämizi has gowulaşdyrmalydyrys.
Diñläniñiz üçin sagboluñ.
[Möhür üýrýär]
[Saz]