[Orin]
[Akede] Eyi jẹ orisun gbogbo eniyan
[Carl Malamud] Kaabo, Emi ni Carl Malamud.
Kaabọ si Atọka Gbogbogbo.
A ṣafihan nibi fun ọfẹ ati ailopin rẹ lo ṣeto ti n-giramu ti a fa jade lati 107 milionu,
233 ẹgbẹrun, 728 awọn iwe akọọlẹ.
Awọn n-giramu wa lati awọn ọrọ ẹyọkan, ti a mọ bi unigrams, si awọn gbolohun ọrọ meji (bigrams)
to awọn gbolohun ọrọ 5, ti a mọ si 5-giramu.
O wa, gbogbo wọn sọ, awọn ori ila 355 bilionu ti n-giramu ninu itusilẹ ti atọka gbogbogbo, ọkọọkan
bamu si buruju ninu nkan akọọlẹ kan.
Ohun elo irinṣẹ ti a pe ni Spacy ni a lo lati jade awọn n-giramu, eyiti a ti pin
kọja awọn faili mẹrindilogun.
Ni nkan ṣe pẹlu ila kọọkan jẹ md5 elile, eyiti duro fun iwe akọọlẹ kan.
Ni afikun, a ṣe atokọ igbohunsafẹfẹ ti n-gram ninu nkan naa.
A nireti lori akoko lati tun ṣe atokọ igbohunsafẹfẹ ni koposi gbogbogbo, metiriki ibaramu kan
mọ bi TD/IDF.
Ni afikun si awọn n-giramu, Atọka Gbogbogbo ni awọn koko -ọrọ ti a fa jade nipa lilo Yake
ohun elo irinṣẹ.Yake “sinmi lori iṣiro ọrọ awọn ẹya ti a fa jade lati awọn iwe aṣẹ nikan si
yan awọn koko pataki julọ ti ọrọ kan. ”
Awọn tabili koko atọka gbogbogbo ni ninu apapọ awọn koko -ọrọ bilionu 19.
Ni ikẹhin, atọka gbogbogbo ni metadata kan tabili, aworan agbaye hash md5 si awọn nkan bii
adirẹsi alailẹgbẹ DOI fun nkan akọọlẹ, akọle, onkọwe, ati iwe iroyin.
Eyi jẹ itusilẹ kutukutu ti atọka gbogbogbo, iṣẹ kan ti nlọ lọwọ.
Ni awọn igba miiran, isediwon ọrọ kuna.
Nigba miiran, metadata ko si, tabi wa boya paapaa ti ko tọ.
Lakoko ti koposi ti o wa labẹ jẹ nla, o jẹ ko pari, ati pe kii ṣe imudojuiwọn.
Awọn ọna pupọ lo wa ti eyi le ni ilọsiwaju, ati pe a nireti lati ṣe Gbogbogbo
Atọka dara ju akoko lọ.
Atọka gbogbogbo gba to 38 terabytes ti data ni irisi Postgres kan
idasonu, sibẹsibẹ pẹlu funmorawon, ASCII yii data ti dinku si 8.5 terabytes.
O le ṣe igbasilẹ data taara lati ibi, tabi lo awọn irinṣẹ bii bittorrent.
Lero lati ṣẹda awọn digi tabi ita gbangba miiran awọn ibi ipamọ lati tun pin atọka gbogbogbo.
Ireti wa ni pe o le fi si nọmba kan ti awọn lilo. A ti nlo ibi ipamọ data Postgres,
ati lilo atọka gbogbogbo lati wa fun awọn orukọ ti awọn irugbin lati atokọ titunto si.
Atọka le ṣee lo lati wa miiran awọn nkan, gẹgẹbi awọn kemikali, awọn jiini ni ọpọlọpọ
aiyipada, awọn ọlọjẹ, awọn ohun elo, awọn orukọ aaye, tabi awọn nkan miiran.
Dipo ibi ipamọ data Postgres, awọn imuposi miiran, bii BERT, le ṣee lo si data naa.
Eyi jẹ ohun elo wiwa, iwe -itumọ ti imọ, maapu si imọ, ohun elo ti a gbagbọ
jẹ ohun elo pataki fun adaṣe ti imọ -jinlẹ ni ọjọ ode oni wa.
Atọka gbogbogbo yii si imọ ko ṣe koposi ti o wa labẹ, Dipo, awọn otitọ
ti wa ni fa jade lati koposi.
Eyi jẹ airotẹlẹ ati lilo iyipada.
A wo eyi bi ohun elo gbogbo eniyan. A sọ ko si nini lori atọka gbogbogbo.
O jẹ igbẹhin si agbegbe gbogbo eniyan, lẹsẹsẹ kan ti awọn otitọ ti ko ni iṣiro pẹlu eyiti o le
ṣe ohun ti o fẹ.
Ko si awọn ẹtọ ipamọ.
Awọn ọmọwe ti o wa ni opopona wiwa le kan si alamọran ọna opopona yii lati yarayara wa awọn opin irin ajo
wọn fẹ lati ṣabẹwo awọn gbọngàn ti awọn ile pamosi nla ti agbaye,
agbegbe apapọ ti awọn ọjọgbọn ati awọn onimọ -jinlẹ ati awọn onimọ -ẹrọ ati awọn oṣere ti o ṣẹda
awon tempili imo yi.
Awọn ile -isin oriṣa wọnyi, lati Ile -ikawe ti Alexandria si Ile -ikawe ti Alexandra, lati ọdọ awọn arabara
ti Ilu Ireland si awọn ile -ikawe iwadii igbalode ti o gbooro ti oni, lati ọdọ awọn akọwe Arab ati Juu
ṣiṣẹ papọ lati kọ Ile Ọgbọn ni Baghdad si awọn ile -iṣelọpọ ti imọ ti ile
ni awọn ile iṣowo ti Ila -oorun India ti ode oni bii awọn atẹjade ti Oxford ati Cambridge, iwọnyi
ni awọn opin ti awọn ọjọgbọn gbọdọ ṣabẹwo lati ṣe ilosiwaju iṣẹ ọwọ wọn, lati kọ ẹkọ lati
awọn ti o wa niwaju wa.
Awọn ile -isin oriṣa wọnyi ni akopọ ti gbogbo imọ, ṣugbọn a gbọdọ ni anfani lati wa imọ yẹn.
Atọka gbogbogbo jẹ maapu kan.
Eyi kii ṣe maapu si akopọ gbogbo imọ eniyan,
ṣugbọn o jẹ esan idawọle idaran.
Fun ilosoke ati itankale imọ lati tẹsiwaju, ti a ba ni lati duro lori awọn ejika
ti awọn omirán, a gbọdọ pese awọn maapu wọnyi si iyẹn agbaye nla ti awọn imọran.
Atọka gbogbogbo jẹ irinṣẹ kan, irinṣẹ kan ti a nireti lori akoko yoo jèrè ni didara
ati ni ipari, ọpa ti a nireti pe yoo pese a wulo ilowosi
si iṣe ti imọ -jinlẹ rẹ.
A nireti pe iwọ yoo fi atọka gbogbogbo yii paapaa awọn lilo iyalẹnu, pe a le ṣe atọka naa
dara julọ, pe o le ṣẹda awọn irinṣẹ miiran, iyẹn agbegbe awọn ọjọgbọn le ṣiṣẹ papọ
ninu ibeere ti o wọpọ lati maini awọn ijinle nla ti okun nla ti ẹkọ yii.
Mo gbagbọ pe gbogbo wa pin ibi -afẹde kan, ireti ti o wọpọ.
Gẹgẹbi awọn onimọ -jinlẹ, awọn ọjọgbọn, awọn oṣere, awọn onkọwe, bi awọn ara ilu agbaye, bi awọn ọmọde ti n fẹ
lati kọ ẹkọ, bi awọn eniyan iyanilenu, Mo gbagbọ gbogbo wa nireti pe ilosoke ati itankale
ti imọ yoo jẹ ki agbaye wa dara julọ aaye, pe yoo ran wa lọwọ lati ni oye tiwa
agbaye, lati ṣe iwosan arun ati osi, lati ni ilọsiwaju ilọsiwaju ti imọ -jinlẹ ati iṣowo ati awọn
eda eniyan ati awọn ona.
Imọ jẹ ede ti gbogbo wa gbọdọ sọ ti a ni lati dara si agbaye wa.
O ṣeun fun gbigbọ.
[Igbẹhin naa n kigbe]
[Orin]