[Mozika]
[Mpanambara] This is Public Resource
[Carl Malamud] Salama, izaho Carl Malamud.
Tongasoa eto amin'ny Index ankapobeny.
Manolotra eto izahay maimaim-poana sy tsy manam-petra mampiasa andiam-n-grama nalaina tamin'ny 107 tapitrisa,
233 arivo, lahatsoratra an-gazety 728.
Ny n-grama dia avy amin'ny teny tokana, fantatra toy ny unigrams, amin'ny andian-teny roa (bigrams)
andianteny misy teny 5, fantatra amin'ny hoe 5-grama.
Misy, 355 miliara andalana n-grama, hoy ny rehetra amin'ity famoahana ny index ankapobeny ity
mifandraika amin'ny tsikombakomba amin'ny lahatsoratry ny diary.
Fitaovana antsoina hoe Spacy no nalaina ny n-grama, izay nozarainay
manerana ny rakitra enina ambin'ny folo.
Mifandraika amin'ny laharana tsirairay dia hash md5, izay maneho ny lahatsoratra an-gazety.
Ho fanampin'izany, tanisaonay ny fatran'ny n-gram ao amin'ilay lahatsoratra.
Manantena izahay fa hanao lisitra ny fahita matetika ihany koa rehefa mandeha ny fotoana ao amin'ny corpus ankapobeny, metrika mifandraika
fantatra amin'ny anarana hoe TD / IDF.
Ho fanampin'ny n-gram, ny General Index misy teny lakile nalaina tamin'ny fampiasana ny Yake
toolkit.Yake “miankina amin'ny statistikan'ny lahatsoratra endri-javatra nalaina avy amin'ny antontan-taratasy tokana mankany
safidio ny teny fanalahidy lehibe indrindra amin'ny lahatsoratra. ”
Ireo latabatra teny fanalahidy ankapobeny dia misy totalin'ny teny fanalahidy 19 miliara.
Farany, ny index ankapobeny dia misy metadata latabatra, fanaovana sarintany ny hasd md5 amin'ireo zavatra toy izany
ny adiresy tsy manam-paharoa DOI ho an'ny lahatsoratra journal, ny lohateny, mpanoratra ary diary.
Ity dia famoahana aloha ny index ankapobeny, asa eo am-panatanterahana.
Amin'ny tranga sasany, tsy nahomby ny fitrandrahana lahatsoratra.
Indraindray, tsy misy ny metadata, na tsia angamba tsy marina.
Na dia lehibe aza ilay faty dia hita tsy feno, ary tsy vaovao.
Misy fomba maro azo hatsaraina, ary manantena ny hanao ny Jeneraly izahay
Tsara kokoa ny index rehefa mandeha ny fotoana.
Ny index ankapobeny dia manodidina ny 38 eo ho eo terabytes data amin'ny endrika Postgres
fanary, na izany aza, miaraka amin'ny famoretana, ity ASCII ity ny data dia ahena ho 8,5 terabytes.
Azonao atao ny misintona ny angona avy eto, na mampiasa fitaovana toy ny bittorrent.
Aza misalasala mamorona fitaratra na besinimaro repositories hanaparitahana indray ny index ankapobeny.
Ny fanantenanay dia ny ahafahana mametraka isa maromaro ny fampiasana. Nampiasa tahiry angona Postgres izahay,
ary mampiasa ny index ankapobeny hikarohana anaran'ny zavamaniry avy amin'ny lisitra master.
Ny index dia azo ampiasaina hitadiavana hafa zavatra, toy ny akora simika, fototarazo isan-karazany
encodings, proteinina, fitaovana, anaran-toerana, na orinasa hafa.
Raha tokony ho angona tahiry Postgres, teknika hafa, toy ny BERT, azo ampiharina amin'ny angona.
Ity dia fitaovana fikarohana, rakibolana fahalalana, sarintanin'ny fahalalana, fitaovana iray inoantsika
dia fotodrafitrasa ilaina amin'ny fampiharana ny siansa amin'ny vanim-potoana iainantsika ankehitriny.
Ity fanondroana ankapobeny an'ny fahalalana ity dia tsy mahomby misy ny faty hita ao, ny tena marina
nalaina avy tamin'ny faty.
Ity dia tsy mpino ary ny fampiasana fanovana.
Heverinay ho toy ny fitaovam-bahoaka izany tsy misy tompon'ny index ankapobeny.
Natokana ho an'ny daholobe, andiany iray ny zava-misy tsy voafetra izay azonao atao
ataovy izay sitrakao.
Tsy misy zo voatokana.
Ireo manam-pahaizana momba ny làlana mankany amin'ny fahitana dia afaka manatona ity tondrozotra ity hahitanao toerana itodiana haingana kokoa
Te hitsidika izy ireo, fa tsy mpikaroka ao amin'ny lalantsaran'ny rakitsoratr'izao tontolo izao,
ny vondron'olona manam-pahaizana sy siantifika ary injeniera sy mpanakanto namorona
ireo tempolin'ny fahalalana ireo.
Ireo tempoly ireo, avy amin'ny Tranombokin'i Alexandria hatrany amin'ny Tranombokin'i Alexandra, avy amin'ireo moanina
an'i Irlandy mankany amin'ireo tranomboky fikarohana maoderina midadasika ankehitriny, avy amin'ny mpanora-dalàna Arabo sy Jiosy
fiaraha-miasa amin'ny fananganana ny tranon'ny fahendrena any Baghdad mankany amin'ireo ozin-pahalalana napetraka
any amin'ny trano fivarotana indianina atsinanana toa ny milina fanontam-pirintin'i Oxford sy Cambridge, ireto
no toerana tsy maintsy tsidihan'ny manam-pahaizana hampandroso ny asan'izy ireo, hianarana avy
ireo izay tonga talohanay.
Ireo tempoly ireo dia misy ny fitambaran'ny fahalalana rehetra, fa tsy maintsy afaka mahita izany fahalalana izany isika.
Ny index ankapobeny dia sari-tany.
Tsy sarintany amin'ny fitambaran'ny fahalalan'olombelona rehetra io,
saingy azo antoka fa ampahany lehibe io.
Ho fampitomboana sy fanaparitahana fahalalana manohy, raha tokony hijoro amin'ny soroka isika
an'ny goavambe, tsy maintsy omentsintsika ireo sarintany ireo tontolon'ny hevitra midadasika.
Ny index ankapobeny dia fitaovana iray fotsiny, fitaovana iray manantena izahay fa hitombo ny kalitao rehefa mandeha ny fotoana
ary amin'ny sehatra iray, fitaovana antenainay hanome izany fandraisana anjara mahasoa
amin'ny fampiharana ny siansa.
Manantena izahay fa hametraka an'ity index ankapobeny ity koa ianao fampiasana mahagaga, fa afaka manao ny index
tsara kokoa, fa afaka mamorona fitaovana hafa ianao, izany afaka miara-miasa ny vondron'olona manam-pahaizana
amin'ny fikarohana iraisana hitrandrahana ny lalina lalina amin'ity ranomasim-pianarana ity.
Mino aho fa manana tanjona iraisana isika rehetra, fanantenana iraisana.
Amin'ny maha mpahay siansa, siansa, mpanakanto, mpanoratra, amin'ny maha olom-pirenena an'izao tontolo izao, toy ny ankizy maniry
hianatra, amin'ny maha olombelona mahaliana ahy, mino aho manantena isika rehetra fa ny fitomboana sy ny fanaparitahana
ny fahalalana no hanatsara ny tontolontsika toerana, fa hanampy antsika hahatakatra ny
izao tontolo izao, hanasitranana aretina sy fahantrana, handroso ny fandrosoan'ny siansa sy ny varotra ary ny
ny mahaolona sy ny zavakanto.
Ny siansa dia fiteny tokony hianarantsika rehetra raha manatsara ny tontolontsika isika.
Misaotra nihaino.
[Mikatona ny tombo-kase]
[Mozika]