[Mmino]
[Mohoeletsi] Sena ke Sesebelisoa sa Sechaba
[Carl Malamud] Dumela, ke Carl Malamud.
Rea u amohela ho Index ea Kakaretso.
Re hlahisa mona bakeng sa mahala le se nang moeli sebelisa li-gram tsa n tse nkiloeng ho limilione tse 107,
233 likete, lingoloa tsa koranta tse 728.
Li-n-gram li tsoa mantsoeng a le mong, a tsejoang joalo ka li-unigrams, ho lipoleloana tsa mantsoe a mabeli (li-bigrams)
ho fihlela lipoleloana tsa mantsoe a 5, tse tsejoang e le 5-gram.
Ho na le, hohle, mela e libilione tse 355 ea n-gram tokollong ena ea index e akaretsang, e ngoe le e ngoe
e tsamaellanang le ho otloa ha sengoloa sa koranta.
Sesebelisoa sa lisebelisoa se bitsoang Spacy se sebelisitsoe ho ntša li-n-gram, tseo re li arotseng
lifaele tse fetang leshome le metso e ts'eletseng.
E amanang le mola o mong le o mong ke md5 hash, eo e emela sengoloa sa koranta.
Ntle le moo, re thathamisa makhetlo a n-gram sengoloeng.
Rea ts'epa ha nako e ntse e tsamaea hape ho thathamisa makhetlo ho kopase e akaretsang, metric ea bohlokoa
e tsejoang e le TD / IDF.
Ntle le li-gram, Index ea Kakaretso e na le mantsoe a bohlokoa a ntšitsoeng ka Yake
Yake "e ipapisitse le lipalo-palo tsa mongolo likarolo tse nkiloeng litokomaneng tse le 'ngoe ho ea ho
khetha mantsoe a bohlokoa ka ho fetisisa temaneng. ”
Tafole ea mantsoe a bohlokoa a index e na le kakaretso ea mantsoe a bohlokoa a limilione tse likete tse 19.
Qetellong, index ea kakaretso e na le metadata tafole, ho etsa 'mapa oa md5 hash ho lintho tse joalo
aterese e ikhethang ea DOI ea sengoloa sa koranta, sehlooho, sengoli, le koranta.
Ena ke tokollo ea pele ea index e akaretsang, mosebetsi o ntse o tsoela pele.
Maemong a mang, ho ntša mongolo ho hlolehile.
Ka linako tse ling, metadata ha e fumanehe kapa e teng mohlomong le e fosahetseng.
Le ha corpus ea mantlha e le kholo, e teng ha e felle, ebile ha e nakong.
Hona le mekhoa e mengata e ka ntlafatsoang, mme re lebelletse ho etsa General
Index e betere ha nako e ntse e tsamaea.
Lenane le akaretsang le nka hoo e ka bang 38 li-terabyte tsa data ka mokhoa oa Postgres
lahla, leha ho le joalo ka khatello, ASCII ena data e fokotsoe ho li-terabyte tse 8.5.
U ka khoasolla data ka kotloloho ho tloha mona, kapa sebelisa lisebelisoa tse kang bittorrent.
Ikutloe u lokolohile ho etsa liipone kapa sechaba se seng lipolokelo tsa ho tsamaisa kabong e akaretsang.
Tšepo ea rona ke hore e ka beoa palo ea tšebeliso. Re ntse re sebelisa database sa Postgres,
le ho sebelisa index ea kakaretso ho batla mabitso a limela ho tsoa lenaneng la lihlooho.
Lenane le ka sebelisoa ho batla tse ling dintho, tse kang lik'hemik'hale, liphatsa tsa lefutso tse sa tšoaneng
encodings, liprotheine, lisebelisoa, mabitso a libaka, kapa mekhatlo e meng.
Sebakeng sa database sa Postgres, mekhoa e meng, joalo ka BERT, e ka sebelisoa ho data.
Sena ke sesebelisoa sa ho batla, bukantswe ea tsebo, 'mapa oa tsebo, sesebelisoa seo re lumelang ho sona
ke setsi sa bohlokoa moetlong ona ea mahlale mehleng ea rona ea sejoale-joale.
Lenane lena le akaretsang la tsebo ha le etse mokotla o fumanehang, ho ena le hoo, ke lintlha
li ntšitsoe kopong.
Sena ha se nahane le tšebeliso ea liphetoho.
Re nka sena e le sesebelisoa sa sechaba ha ho na beng ba thepa ka kakaretso.
E nehetsoe sebakeng sa sechaba, letoto la lihlooho ea lintlha tse se nang palo tseo u ka li khonang
etsa seo o se batlang.
Ha ho litokelo tse bolokiloeng.
Litsebi tse tseleng ea ho sibolla li ka buisana 'mapa ona oa litsela ho fumana libaka tse potlakileng haholo
re lakatsa ho etela.Re mpa re le mekhoa e metle ho litselana tsa libaka tsa khale tse kholo tsa lefatše,
sechaba se kopaneng sa litsebi le bo-rasaense le baenjiniere le bataki ba li entseng
litempele tsena tsa tsebo.
Litempele tsena, tse tsoang Laeboraring ea Alexandria ho laeboraring ea Alexandra, ho tsoa ho baitlami
ea Ireland ho lilaebraring tse ngata tsa sejoale-joale tsa lipatlisiso ea kajeno, ho tsoa ho bangoli ba Maarabo le ba Bajode
ho sebetsa 'moho ho aha Ntlo ea Bohlale Baghdad ho ea lifekthering tsa tsebo tse hahiloeng
matlong a sejoale-joale a khoebo a India Bochabela joalo ka mechine ea khatiso ea Oxford le Cambridge, tsena
ke libaka tseo litsebi li lokelang ho etela ho tsona ho ntšetsa pele mosebetsi oa bona oa matsoho, ho ithuta ho
tse tlileng pele ho rona.
Litempele tsena li na le kakaretso ea tsebo eohle, empa re tlameha ho tseba ho fumana tsebo eo.
Index ea kakaretso ke 'mapa.
Sena ha se 'mapa oa kakaretso ea tsebo eohle ea motho,
empa ehlile ke karoloana ea bohlokoa.
Bakeng sa keketseho le ho hasana ha tsebo ho tsoelapele, haeba re lokela ho ema mahetleng
ea linatla, re tlameha ho fana ka limmapa tsena ho seo lefatše le leholo la mehopolo.
Index ea kakaretso ke sesebelisoa se le seng feela, sesebelisoa eo re ts'epileng ha nako e ntse e ea e tla ba boleng
le ka bophara, sesebelisoa seo re tšepang hore se tla fana ka monehelo o molemo
mokhoeng oa hau oa mahlale.
Re tšepa hore le uena u tla beha index ena ts'ebeliso e makatsang, eo re ka etsang index
betere, hore o ka etsa lisebelisoa tse ling, hore sechaba sa litsebi se ka sebetsa 'moho
ka sepheo se tloaelehileng sa ho rafa boliba bo boholo ea leoatle lena la thuto.
Ke lumela hore kaofela re arolelana sepheo se le seng, tšepo e tloaelehileng.
Joaloka bo-rasaense, litsebi, bataki, bangoli, le le baahi ba lefatše, joalo ka ha bana ba lakatsa
ho ithuta, ke le batho ba bohelehele, kea kholoa bohle re tšepa hore keketseho le phallo
ea tsebo e tla ntlafatsa lefatše beha, hore e tla re thusa ho utloisisa ea rona
lefats'e, ho folisa maloetse le bofuma, ho ea pele tsoelo-pele ea mahlale le khoebo le
botho le bonono.
Saense ke puo eo re tlamehang ho bua kaofela ha rona haeba re tlameha ho ntlafatsa lefatše la rona.
Ke leboha ho mamela.
[Tiiso ea Boea]
[Mmino]