[Muusig]
[Ogeysiis] Kani waa Kheyraadka Dadweynaha
[Carl Malamud] Hello, waxaan ahay Carl Malamud.
Ku soo dhowow Tusmada Guud.
Waxaan halkan kuugu soo bandhignay si bilaash ah oo aan xad lahayn adeegso n-garaam laga soo saaray 107 milyan,
233 kun, 728 maqaallo joornaal.
N-garaamku wuxuu u dhexeeyaa ereyo keli ah, oo la yaqaan sida unigrams, ilaa weedha laba eray (bigrams)
ilaa weedho 5-eray ah, oo loo yaqaan 5-garaam.
Waxaa jira, dhammaantood la sheegay, 355 bilyan oo saf oo n-garaam ah sii -dayntan tusmada guud, mid walba
u dhiganta garaacid maqaal joornaal.
Qalab la yiraahdo Spacy ayaa loo adeegsaday in la soo saaro n-garaamyada, oo aan kala goynay
guud ahaan lix iyo toban fayl.
Ku lammaansan saf kasta waa hash md5, kaas oo wuxuu matalaa maqaal joornaal.
Intaa waxaa dheer, waxaan taxnaa inta jeer ee n-gram ee maqaalka.
Waxaan rajeyneynaa waqti ka dib inaan sidoo kale taxno inta jeer guud ahaan meydka, cabbir ku habboon
loo yaqaan TD/IDF.
Marka lagu daro n-garaamyada, Tusmada Guud waxaa ku jira ereyo muhiim ah oo la soo saaray iyadoo la adeegsanayo Yake
Toolkit.Yake “wuxuu ku tiirsan yahay tirakoobka qoraalka sifooyinka laga soo saaray dukumiintiyada hal ilaa
dooro furayaasha muhiimka ah ee qoraalka. ”
Jadwalka muhiimka ah ee tusmada guud waxaa ku jira wadar ahaan 19 bilyan oo ereyo muhiim ah.
Ugu dambayn, tusmada guud waxaa ku jira metadata miiska, khariidaynta hash md5 ee alaabta sida
cinwaanka u gaarka ah DOI ee maqaalka joornaalka, cinwaanka, qoraaga, iyo joornaalka.
Kani waa sii -deyn hore ee tusmada guud, shaqo socota.
Xaaladaha qaarkood, soo saarista qoraalka ayaa guuldareystay
Mararka qaarkood, metadata lama heli karo, ama waa laga yaabee xitaa khalad.
Halka meydka hoose uu weyn yahay, waa aan dhammaystirnayn, oo aan la socon
Waxaa jira siyaabo badan oo tan loo hagaajin karo, waxaana sugaynaa inaan ka dhigno General
Index ka sii fiican waqti ka dib.
Tusmada guud waxay degtaa qiyaastii 38 terabytes oo xog ah qaab Postgres ah
daadinta, si kastaba ha ahaatee cadaadis, ASCII -kan xogta ayaa laga dhigay 8.5 terabytes.
Waxaad si toos ah uga soo dejisan kartaa xogta halkan, ama isticmaal qalab sida bittorrent.
Xor ayaad u tahay inaad abuurto muraayado ama dadweyne kale bakhaarada si dib loogu qaybiyo tusmada guud.
Rajadeenu waxay tahay in la gelin karo lambar isticmaalka. Waxaan adeegsanaynay keydka Postgres,
iyo adeegsiga tusmada guud si loo raadiyo magacyada dhirta liis sare
Tusaha waxaa loo isticmaali karaa in lagu raadiyo mid kale walxaha, sida kiimikooyinka, hidda -wadayaasha kala duwan
codayn, borotiinno, agab, magacyo meel, ama hay'ado kale.
Halkii keydka Postgres, farsamooyin kale, sida BERT, ayaa lagu dabaqi karaa xogta.
Kani waa aaladda raadinta, qaamuuska aqoonta, khariidada aqoonta, aalad aan aaminsanahay
waa xarun lagama maarmaan u ah ku dhaqanka cilmiga ee casrigan casriga ah.
Tilmaamahan guud ee aqoonta ma sameeyo meydka hoose ee la heli karo, Halkii, xaqiiqooyin
waxaa laga soo saaraa meydka.
Kani waa mid aan lala xisaabtamin iyo adeegsiga isbeddelka.
Waxaan u aragnaa tan inay tahay adeeg dadweyne Waxaan cadaynaynaa ma laha lahaansho tusmada guud.
Waxay u heellan tahay danta guud, taxane ah ee xaqiiqooyin aan tiro lahayn oo aad ku awooddo
samee waxaad doonto.
Ma jiraan wax xuquuq ah oo la keydiyay.
Aqoonyahannada waddada daahfurka ayaa tashan kara khariidadan si aad dhakhso ugu hesho meelaha loo socdo
Waxaan nahay docents in dariiqyada kaydadka ballaaran ee adduunka,
bulshada wadajirka ah ee aqoonyahannada iyo saynisyahannada iyo injineerada iyo fannaaniinta wax abuuray
macbudyadan aqoonta.
Macbadyadan, laga bilaabo Maktabadda Alexandria ilaa maktabadda Alexandra, oo ka timid suufiyada
ee Ireland ilaa maktabadaha cilmi baarista ee casriga ah ee maanta, oo ka yimid culimadii Carabta iyo Yuhuudda
iyagoo ka wada shaqeynaya dhismaha Guriga Xikmadda Baqdaad ilaa warshadihii aqoonta ee hoy u ahaa
guryaha casriga ah ee Bariga Hindiya sida madbacadaha Oxford iyo Cambridge, kuwan
waa meelaha ay tahay inay culimadu booqdaan si ay farsamadooda u hormariyaan, wax uga bartaan
kuwii naga horeeyey.
Macbudyadani waxay ka kooban yihiin wadarta aqoonta oo dhan, laakiin waa inaan awoodnaa inaan helno aqoontaas.
Tusmada guud waa khariidad.
Kani ma aha khariidad wadarta aqoonta aadanaha oo dhan,
laakiin dhab ahaantii waa qayb hoosaad la taaban karo.
Waayo korodhka iyo baahinta aqoonta in la sii wado, haddii aan garbaha istaagno
ee kooxaha waaweyn, waa inaan ku siinnaa khariidadahaas dunida fikradaha ballaaran.
Tusaha guud waa hal qalab, aalad taas oo aan rajaynayno in muddo ka dib ay ka heli doonto tayo
iyo baaxadda, aalad aan rajaynayno inay ku siin doonto waxtar waxtar leh
si aad u barato cilmigaaga.
Waxaan rajeyneynaa inaad sidoo kale dhigi doonto tusmadaan guud adeegsiyo la yaab leh, oo aan samayn karno tusmada
ka sii fiican, inaad abuuri karto aalado kale, taasi beesha aqoonyahanadu way wada shaqayn karaan
si loo wada baadi goobo moolka dheer baddan waxbarasho.
Waxaan aaminsanahay in aan wada leenahay hadaf guud, rajo guud.
Sida saynisyahanno, aqoonyahanno, fannaaniin, qoraa, sida muwaadiniinta adduunka, sida carruurta doonaysa
si aan wax u barto, sida bini -aadamka xiisaha leh, waxaan aaminsanahay dhammaanteen waxaan rajaynaynaa in kororka iyo faafinta
aqoonta ayaa dunideena ka dhigi doonta mid hagaagsan meel, taasi waxay naga caawin doontaa inaan fahanno
adduunka, si loo daaweeyo cudurka iyo saboolnimada, si loo hormariyo horumarka sayniska iyo ganacsiga iyo
aadanaha iyo farshaxanka.
Cilmigu waa af aan dhammaanteen ku hadalno haddii waa in aan hagaajino adduunkeena.
Waad ku mahadsan tahay dhageysiga.
[Sealku wuu qaylinayaa]
[Muusig]