[Musika]
[Faʻalauiloaina] Lenei Lautele Punaoa
[Carl Malamud] Talofa, o aʻu o Carl Malamud.
Afio mai i le General Index.
Matou te tuʻuina atu ii mo lau saoloto ma le faʻatapulaʻaina Faʻaoga se seti o n-kalama na aumaia mai le 107 miliona,
233 afe, 728 tusi talaaga.
O le n-kalama e amata mai i le tasi upu, iloa pei unigrams, i lua-upu fuaitau (bigrams)
oo atu i le 5-upu fasifuaitau, lauiloa o le 5-kalama.
E 355 piliona piliona n-kalama e taʻu atu i le faʻamatuʻuina atu o le lisi lautele, taʻitasi
fesoʻotaʻi ma le lavea i se tusitusiga tusi talaaga.
O se mea faigaluega e faʻaigoaina o le Spacy sa faʻaaoga e aveese mai ai le n-kalama, lea na tatou vaeluaina
i luga o le sefuluono faila.
Faʻatasi ma laina taʻitasi o le md5 hash, lea fai ma sui o se tusi talaaga.
I se faʻaopopoga, matou te lisiina le tele o le n-kalama i le tusitusiga.
Matou te faʻamoemoe ova taimi e lisi ai foʻi le taimi i le aotelega o corpus, o se talafeagai metric
lauiloa o TD / IDF.
I se faʻaopopoga i le n-kalama, o le General Index aofia ai faʻaupuga upu aveʻesea faʻaaoga le Yake
toolkit.Yake "malolo luga o tusitusiga fuainumera foliga vaʻaia na aumai mai le tasi pepa i le
filifili upu taua taua o se tusitusiga. ”
O loʻo iai lisi o faʻaupuga upu autu o le aofaʻi o 19 piliona faʻaupuga autu.
Mea mulimuli lava, o le faʻasino lautele aofia ai se metadata laulau, faʻafanua le md5 hash i aitema faapena
le DOI tulaga ese tuatusi mo se tusi talaaga tusitusiga, le ulutala, tusitala, ma le tusi talaaga.
Lenei o le vave faʻasaʻolotoina o le lautele faʻasino igoa, o se galuega o loʻo faʻagasolo.
I nisi tulaga, ua le manuia tusitusiga aveʻese.
O isi taimi, metadata e le avanoa, pe o loʻo masalo e saʻo foi.
E ui o le tino maliu e tele, o le e le maeʻa, ma e le o faʻafouina.
E tele auala e mafai ai ona faʻaleleia lenei mea, ma matou vaʻavaʻai i luma e faia le General
Faʻasino sili atu ile taimi.
O le lautele faasino igoa nofoia tusa 38 terabytes o faʻamatalaga i le tulaga o le Postgres
lafoaʻi, peitaʻi ma le faʻapipiʻiina, lenei ASCII O faʻamaumauga ua faʻaititia i le 8.5 terabytes.
E mafai ona e tuʻuina saʻo mai faʻamatalaga mai ii, pe faʻaaoga mea faigaluega e pei o le bittorrent.
Lagona le saoloto e fai faʻata poʻo isi lautele fale teu oloa e toe tufatufaina ai le lautele faʻasino igoa.
O lo matou faʻamoemoe e mafai ona tuʻuina i se numera o faʻaaoga. O loʻo matou faʻaaogaina se faʻamaumauga a le Postgres,
ma faʻaogaina le faʻasino lautele e suʻe ai igoa o laʻau mai se lisi lisi.
E mafai ona faʻaaogaina le faʻasino igoa e suʻe ai isi mea faitino, pei o vailaʻau, kenera i 'eseʻese
encodings, polotini, mea, igoa nofoaga, poʻo isi faʻalapotopotoga.
Nai lo o le Postgres database, isi metotia, pei ole BERT, e mafai ona faʻaogaina i faʻamaumauga.
O se meafaigaluega suʻesuʻe lea, o se lolomifefiloi o le poto, o se faʻafanua i le poto, o se mea faigaluega tatou te talitonu i ai
o se taua nofoaga mo le faʻataʻitaʻiga o saienisi i lo tatou nei onapo.
Lenei faʻasino lautele i le poto e le faia o le mafuaʻaga tino maliu o loʻo avanoa, Ae, mea moni
e aumaia mai le tino maliu.
O lenei e le faʻapitoa ma suia suiga.
Matou te vaʻai i lenei mea o se lautele aoga leai se umiaina luga o le faʻasino igoa lautele.
E tuʻuina atu i le lautele lautele, o se faʻasologa o faʻamatalaga e le mafaʻatauina e te mafaia
fai le mea e te loto i ai.
E leai se aia tatau taofia.
Tagata atamamai i luga o le auala i le mauaina e mafai ona feutagai lenei auala e faʻavave maua vave taunuʻuga
latou te fia asiasi mai. O matou ua na o ni faʻailoga i le ala savali o le tele fale teuoloa o le lalolagi,
le faʻalapotopotoga tuʻufaʻatasi o sikola ma saienitisi ma inisinia ma tusiata na faia
nei malumalu o le malamalama.
O nei malumalu, mai le Faletusi o Alexandria i le Faletusi o Alexandra, mai i monike
o Aialani i le lautele faletusi suʻesuʻe faaonapo nei o aso nei, mai le au tusiupu Arapi ma Iutaia
galulue faʻatasi e fausia le Fale o le Poto i Baghdad i fale gaosi o le malamalama fale
i aso nei East East trading fale e pei o masini lolomi a Oxford ma Cambridge, nei
o nofoaga e tatau ona asia e tagata atamamai ia alualu i luma a latou vaʻa, e aʻoaʻo mai ai
i latou na muamua atu ia tatou.
O nei malumalu o loʻo iai le aofaʻi o poto uma, ae tatau ona mafai ona tatou mauaina lena poto.
O le faʻasino lautele o se faʻafanua.
Lenei e le o se faʻafanua i le aofaʻiga o tagata uma malamalama,
ae e mautinoa lava o se vaega tele faʻavae.
Mo le faʻateleina ma le faʻasalalauina o le malamalama e faʻaauau, pe afai tatou te tutu i luga o tauʻau
o tagata tino ese, e tatau ona tatou avatua nei faʻafanua i lena lalolagi tele o aitia.
O le faʻasino lautele e naʻo le tasi mea faigaluega, o se mea faigaluega matou te faʻamoemoe o le alu o le taimi e maua ai le lelei
ma i le lautele, o se mea faigaluega matou te faʻamoemoe o le a maua o se sao aoga
i lau faʻataʻitaʻiga o le saienisi.
Matou te faʻamoemoe o le ae tuʻuina foʻi lenei faʻasino lautele faʻaaogaina ofo, e mafai ona tatou faia le faʻasino igoa
sili atu, e mafai ona e faia isi mea faigaluega, lena le pitonuʻu o sikola e mafai ona galulue faʻatasi
i se sailiga masani e maina ai le loloto loloto o lenei vasa o aʻoaʻoga.
Ou te talitonu tatou te tau fai tofu uma ma sini tutusa, o se faʻamoemoe masani.
A o saienitisi, sikola, atisi, tusitala, o sitiseni o le lalolagi, pei o fanau moomoo
ia aʻoaʻoina, i le avea ai ma tagata fiailoa, ou te talitonu matou te faamoemoe uma o le faʻateleina ma le salalau
o le poto o le a avea ai lo tatou lalolagi o se sili atu nofoaga, o le a fesoasoani tatou te malamalama ai i la tatou
lalolagi, e faʻamalolo faʻamaʻi ma le mativa, ia alualu i luma le alualu i luma o le saienisi ma pisinisi ma le
humanities ma faatufugaga.
Saienisi o se gagana tatou tatau ona tautatala uma pe a e tatau ona tatou faʻaleleia atili lo tatou lalolagi.
Faʻafetai mo le faʻafofogaina.
[O le Faʻamau ua Paʻu]
[Musika]