[Mûzîk]
[Danezan] Ev Çavkaniya Giştî ye
[Carl Malamud] Merheba, ez Carl Malamud im.
Hûn bi xêr hatin Endeksa Giştî.
Em li vir belaş û bêsînor pêşkêşî we dikin komek n-gramên ku ji 107 mîlyonî hatine derxistin bikar bînin,
233 hezar, 728 gotarên kovarê.
N-gram ji peyvên yekane, têne zanîn wekî unîgram, ji bêjeyên du-peyvî (bigram)
heta hevokên 5-peyvî, wekî 5-gram têne zanîn.
Hemî gotin, 355 mîlyar rêzên n-gram hene di vê serbestberdana index giştî, her
têkildarî lêdanek di gotarek kovarê de.
Amûrek bi navê Spacy ji bo derxistinê hate bikar anîn n-gramên, ku me perçe kirine
li şazdeh pelan.
Bi her rêzê re heşek md5 heye, ku nûnertiya gotarek kovarê dike.
Wekî din, em frekansa wan destnîşan dikin n-gram di gotarê de.
Em hêvî dikin ku bi demê re frekansa me jî navnîş bikin di korpusê giştî de, pîvanek pêwendîdariyê
wekî TD/IDF tê zanîn.
Ji bilî n-graman, Endeksa Giştî peyvên sereke hene ku bi karanîna Yake hatine derxistin
toolkit.Yake “li ser nivîsara îstatîstîkî disekine taybetmendiyên ku ji belgeyên yekane hatine derxistin
bêjeyên herî girîng ên nivîsê hilbijêrin. "
Tabloyên keyworda indexa giştî tê de hene bi tevahî 19 mîlyar keywords.
Di paşiya paşîn de, navnîşa gelemperî metadata heye tablo, nexşeya hash a md5 li tiştên wusa
navnîşana bêhempa ya DOI ji bo gotarek kovarek, sernivîs, nivîskar û kovar.
Ev serbestberdana zû ya indexa giştî ye, xebatek li dar e.
Di hin rewşan de, derxistina nivîsê têk çû.
Carinan, metadata peyda nabe, an jî heye belkî jî nerast be.
Dema ku korpusa bingehîn mezin e, ew e ne temam e, û ne nûjen e.
Gelek away hene ku ev dikare were baştir kirin, û em li hêviya çêkirina General in
Indeksa bi demê re çêtir.
Indeksa gelemperî nêzîkî 38 cîh digire terabytes daneyên di forma Postgres de
dump, lêbelê bi berhevkirinê, ev ASCII daneya 8.5 terabyte kêm dibe.
Hûn dikarin daneyan rasterast ji vir dakêşin, an amûrên wekî bittorrent bikar bînin.
Xwe biafirînin ku neynik an raya giştî ya din biafirînin depo ji bo dabeşkirina indexa giştî.
Hêviya me ew e ku ew bibe jimarek yên bikaranînê. Em databasek Postgres bikar tînin,
û ji bo lêgerînê navnîşa gelemperî bikar tînin navên nebatan ji navnîşek masterê.
Indeks dikare ji bo lêgerîna yên din were bikar anîn tiştên wekî kîmyewî, genên di cûrbecûr de
kodkirin, proteîn, materyal, navên deveran, an dezgehên din.
Li şûna databasek Postgres, teknîkên din, wek BERT, dikare li daneyan were sepandin.
Ev amûrek lêgerînê ye, ferhenga zanînê ye, nexşeyek zanînê, amûrek ku em pê bawer in
ji bo pratîkê dezgehek bingehîn e zanistî di serdema meya nûjen de.
Ev nîşana gelemperî ya zanebûnê çênake koma bingehîn a berdest, Belê, rastiyan
ji korpusê têne derxistin.
Ev nexwarinek e û bikaranîna veguherîner.
Em vê yekê wekî karûbarek gelemperî dibînin. Em îdîa dikin ne xwedî milk li ser index giştî.
Ew ji bo raya giştî, rêzeyek tê veqetandin rastiyên nehfkirî yên ku hûn dikarin pê bikin
tiştê ku hûn dixwazin bikin.
Ti maf parastî ne.
Zanyarên li ser riya vedîtinê dikarin şêwir bikin ev nexşeya rêwîtiyê ye ku hûn zûtir cîhan bibînin
ew dixwazin ziyaret bikin.Em lê docents in korîdorên arşîvên mezin ên cîhanê,
civata kolektîf a alim û zanyaran û endezyar û hunermendên ku afirandine
van perestgehên zanînê.
Ev perestgeh, ji Pirtûkxaneya Alexandskenderûnê ne ji Pirtûkxaneya Alexandra re, ji rahîban
ya Irelandrlandayê ji pirtûkxaneyên berfireh ên lêkolînê yên nûjen re ya îro, ji nivîskarên Ereb û Cihû
ji bo avakirina Mala isehrezayiyê bi hev re dixebitin li Bexdadê karxaneyên zanînê bi cih kirin
li xaniyên bazirganiya nûjen ên Hindistana Rojhilat mîna çapxaneyên Oxford û Cambridge, ev in
cihên ku divê zanyar serdana wan bikin hene ku hunera xwe pêşve bixin, jê fêr bibin
yên ku hatin pêşiya me.
Van perestgehan bi tevahî zanyarî vedihewînin, lê divê em bikaribin wê zanînê bibînin.
Indeksa gelemperî nexşeyek e.
Ev ne nexşeyek bi tevahî zanyariyên mirovî ye,
lê bê guman ew binek bingehîn e.
Ji bo zêdebûn û belavbûna zanînê berdewam bike, ger em li ser milên xwe bisekinin
yên mezin, divê em van nexşeyan ji wê re peyda bikin cîhana berfireh a ramanan.
Indeksa gelemperî tenê amûrek, amûrek e ku em hêvî dikin bi demê re dê di kalîteyê de bi dest bixe
û di çarçoveyê de, amûrek ku em hêvî dikin ku dê peyda bike tevkariyek kêrhatî
ji bo pratîka xwe ya zanistî.
Em hêvî dikin ku hûn ê vê indexa giştî jî bidin karanîna sosret, ku em dikarin index bikin
çêtir, ku hûn dikarin amûrên din biafirînin, ew civata zanyaran dikarin bi hev re bixebitin
di lêgerînek hevbeş de ji bo mayinkirina kûrahiyên mezin ji vê deryaya fêrbûnê.
Ez bawer dikim ku em hemî armancek hevbeş parve dikin, hêviyek hevbeş.
Wekî zanyar, zanyar, hunermend, nivîskar, wekî hemwelatiyên cîhanê, wekî ku zarok dixwazin
fêr bibin, wekî mirovên meraqdar, ez bawer dikim em hemî hêvî dikin ku zêdebûn û belavbûn
zanînê dê cîhana me çêtir bike cîh, ku ew ê ji me re bibe alîkar ku em têgihîştina me bin
cîhan, ji bo dermankirina nexweşî û belengaziyê, pêş bikeve pêşveçûna zanist û bazirganî û
mirovahî û huner.
Zanist zimanek e ku divê em gişt pê biaxivin ger divê em cîhana xwe baştir bikin.
Spas ji bo guhdarîkirinê.
[Seal Barking e]
[Mûzîk]