[Cerddoriaeth]
[Cyhoeddwr] Adnodd Cyhoeddus yw hwn
[Carl Malamud] Helo, Carl Malamud ydw i.
Croeso i'r Mynegai Cyffredinol.
Rydym yn cyflwyno yma am ddim ac yn ddiderfyn defnyddio set o n-gram a dynnwyd o 107 miliwn,
233 mil, 728 o erthyglau cyfnodolion.
Mae'r n-gram yn amrywio o eiriau sengl, sy'n hysbys fel unigramau, i ymadroddion dau air (bigramau)
hyd at ymadroddion 5 gair, a elwir yn 5 gram.
Mae yna, dywedir wrthynt i gyd, 355 biliwn rhes o n-gram yn y datganiad hwn o'r mynegai cyffredinol, pob un
sy'n cyfateb i daro mewn erthygl mewn cyfnodolyn.
Defnyddiwyd pecyn cymorth o'r enw Spacy i echdynnu y n-gram, yr ydym wedi'u rhannu
ar draws un ar bymtheg o ffeiliau.
Yn gysylltiedig â phob rhes mae hash md5, sydd yn cynrychioli erthygl mewn cyfnodolyn.
Yn ogystal, rydym yn rhestru amlder y n-gram yn yr erthygl.
Gobeithiwn dros amser hefyd restru'r amlder yn y corpws cyffredinol, metrig perthnasedd
a elwir yn TD / IDF.
Yn ychwanegol at y n-gram, y Mynegai Cyffredinol yn cynnwys geiriau allweddol a dynnwyd gan ddefnyddio'r Yake
toolkit.Yake “yn dibynnu ar ystadegol testun nodweddion a dynnwyd o ddogfennau sengl i
dewiswch eiriau allweddol pwysicaf testun. ”
Mae'r tablau allweddair mynegai cyffredinol yn cynnwys cyfanswm o 19 biliwn o eiriau allweddol.
Yn olaf, mae'r mynegai cyffredinol yn cynnwys metadata bwrdd, gan fapio'r hash md5 i eitemau o'r fath
cyfeiriad unigryw DOI ar gyfer erthygl mewn cyfnodolyn, y teitl, yr awdur, a'r cyfnodolyn.
Dyma ryddhad cynnar o'r mynegai cyffredinol, gwaith ar y gweill.
Mewn rhai achosion, methodd echdynnu testun.
Weithiau, nid yw metadata ar gael, neu mae hyd yn oed yn anghywir.
Er bod y corpws sylfaenol yn fawr, mae ddim yn gyflawn, ac nid yw'n gyfoes.
Mae yna lawer o ffyrdd y gellir gwella hyn, ac edrychwn ymlaen at wneud y Cyffredinol
Mynegai yn well dros amser.
Mae'r mynegai cyffredinol yn meddiannu oddeutu 38 terabytes o ddata ar ffurf Postgres
dympio, fodd bynnag, gyda chywasgu, yr ASCII hwn mae data'n cael ei leihau i 8.5 terabytes.
Gallwch chi lawrlwytho'r data yn uniongyrchol o'r fan hon, neu ddefnyddio offer fel bittorrent.
Mae croeso i chi greu drychau neu gyhoedd arall ystorfeydd i ailddosbarthu'r mynegai cyffredinol.
Ein gobaith yw y gellir ei roi i nifer o ddefnyddiau. Rydym wedi bod yn defnyddio cronfa ddata Postgres,
a defnyddio'r mynegai cyffredinol i chwilio amdano enwau planhigion o brif restr.
Gellid defnyddio'r mynegai i chwilio am rai eraill gwrthrychau, fel cemegolion, genynnau mewn amrywiol
amgodiadau, proteinau, deunyddiau, enwau lleoedd, neu endidau eraill.
Yn lle cronfa ddata Postgres, technegau eraill, fel BERT, gellir ei gymhwyso i'r data.
Offeryn edrych yw hwn, geiriadur gwybodaeth, map i wybodaeth, offeryn yr ydym yn credu ynddo
yn gyfleuster hanfodol ar gyfer y practis o wyddoniaeth yn ein hoes fodern.
Nid yw'r mynegai cyffredinol hwn i wybodaeth yn ei wneud y corpws sylfaenol sydd ar gael, Yn hytrach, ffeithiau
yn cael eu tynnu o'r corpws.
Mae hwn yn nonconsumptive a defnydd trawsnewidiol.
Rydym yn ystyried hyn fel cyfleustodau cyhoeddus. Rydym yn haeru dim perchnogaeth dros y mynegai cyffredinol.
Mae'n ymroddedig i'r parth cyhoeddus, cyfres o ffeithiau heb eu rhifo y gallwch chi gyda nhw
gwnewch yr hyn a wnewch.
Nid oes unrhyw hawliau wedi'u cadw.
Gall ysgolheigion ar y ffordd i ddarganfod ymgynghori y map ffordd hwn i ddod o hyd i gyrchfannau yn gyflymach
maent yn dymuno ymweld. Nid ydym ond yn docents yn y cynteddau archifau helaeth y byd,
y gymuned gyfunol o ysgolheigion a gwyddonwyr a pheirianwyr ac artistiaid sydd wedi creu
y temlau gwybodaeth hyn.
Y temlau hyn, o Lyfrgell Alexandria i Lyfrgell Alexandra, o'r mynachod
o Iwerddon i'r llyfrgelloedd ymchwil modern helaeth heddiw, oddi wrth yr ysgrifenyddion Arabaidd ac Iddewig
cydweithio i adeiladu'r Tŷ Doethineb yn Baghdad i'r ffatrïoedd gwybodaeth a gedwir
mewn tai masnachu modern Dwyrain India fel gweisg Rhydychen a Chaergrawnt, y rhain
yw'r cyrchfannau y mae'n rhaid i ysgolheigion ymweld â nhw i ddatblygu eu crefft, i ddysgu oddi wrth
y rhai a ddaeth o'n blaenau.
Mae'r temlau hyn yn cynnwys swm yr holl wybodaeth, ond rhaid inni allu dod o hyd i'r wybodaeth honno.
Map yw'r mynegai cyffredinol.
Nid yw hwn yn fap i swm yr holl wybodaeth ddynol,
ond yn sicr mae'n is-set sylweddol.
Am gynyddu a gwasgaru gwybodaeth i barhau, os ydym am sefyll ar yr ysgwyddau
o gewri, rhaid inni ddarparu'r mapiau hyn i hynny byd helaeth o syniadau.
Nid yw'r mynegai cyffredinol ond un offeryn, offeryn y gobeithiwn y bydd dros amser yn ennill ansawdd
ac o fewn cwmpas, offeryn yr ydym yn gobeithio y bydd yn ei ddarparu cyfraniad defnyddiol
i'ch ymarfer o wyddoniaeth.
Gobeithio y byddwch chi'n rhoi'r mynegai cyffredinol hwn hefyd defnyddiau rhyfeddol, y gallwn wneud y mynegai
yn well, eich bod chi'n gallu creu offer eraill, hynny gall y gymuned o ysgolheigion weithio gyda'i gilydd
mewn ymgais gyffredin i fwyngloddio'r dyfnderoedd helaeth o'r cefnfor hwn o ddysgu.
Rwy'n credu ein bod ni i gyd yn rhannu nod cyffredin, gobaith cyffredin.
Fel gwyddonwyr, ysgolheigion, artistiaid, ysgrifenwyr, fel dinasyddion y byd, fel plant yn dymuno
i ddysgu, fel bodau dynol chwilfrydig, rwy'n credu rydym i gyd yn gobeithio y bydd y cynnydd a'r trylediad
bydd gwybodaeth yn gwneud ein byd yn well le, y bydd yn ein helpu i ddeall ein
byd, i wella afiechyd a thlodi, i symud ymlaen cynnydd gwyddoniaeth a masnach a'r
y dyniaethau a'r celfyddydau.
Mae gwyddoniaeth yn iaith y mae'n rhaid i ni i gyd ei siarad os rydym i wella ein byd.
Diolch am wrando.
[Mae'r Sêl yn cyfarth]
[Cerddoriaeth]