[Waiata]
[Panui Panui] Ko tenei te Rauemi a te Katoa
[Carl Malamud] Kia ora, ko Carl Malamud ahau.
Nau mai ki te Tohu Whanui.
Ka tukuna e maatau ki konei mo to koreutu me te kore mutunga whakamahia he kohinga n-karamu i tangohia mai i te 107 miriona,
233 mano, 728 tuhinga hautaka.
Ko nga n-karamu mai i nga kupu kotahi, e mohiotia ana hei unigrams, ki nga kupu e rua-kupu (bigrams)
tae atu ki te 5-kupu kīanga, e mohiotia ana ko te 5-karamu.
E ai ki nga korero, 355 piriona nga rarangi n-karamu i roto i tenei putanga o te taupū whaanui, ia
e taurite ana ki te hit o te tuhinga a tuhi.
He kete taputapu ko Spacy te ingoa hei whakamahi nga n-karamu, kua wehea e maatau
puta noa i te tekau ma ono nga konae.
E hono ana ki ia rarangi ko te hash md5, nei he tohu i te tuhinga hautaka.
Hei taapiri, ka whakararangihia e maatau te auau o te n-karamu i roto i te tuhinga.
Ko te tumanako ka roa te whakararangi i te auau i roto i te tinana pohehe, he mehua whai kiko
e mohiotia ana ko TD / IDF.
Hei taapiri ki nga karamu-n, te Tohu Whanui he kupu matua i tangohia ma te whakamahi i te Yake
toolkit.Yake “kei runga i te tatauranga tuhinga nga ahuatanga i tangohia mai i nga tuhinga kotahi ki
tohua nga kupu matua nui o te tuhinga. ”
Kei roto i nga teepu kupu matua taurangi umanga te katoa o te 19 piriona kupu matua.
Te mea mutunga, kei te taupū whanui he metadata teepu, te mahere i te hash md5 ki nga taonga penei
te korero motuhake a DOI mo te tuhinga hautaka, te taitara, te kaituhi, me te puka a tuhi.
He tuku wawe tenei mo te taupū whaanui, he mahi kei te haere.
Ki etahi ke, i rahua te tango tuhinga.
I etahi wa, kaore i te waatea nga metadata, kei te ranei akene ahakoa he.
Ahakoa he nui te tinana mate, he kaore i oti, kaore ano hoki i te waa.
He maha nga huarahi ka taea te whakapai ake, ana ko ta matou tumanako kia mahia te General
He pai ake te taupū mo te wa.
Ko te taupū whaanui e 38 pea te roa terabytes o te raraunga i roto i te puka o te Postgres
putunga, heoi me te pehanga, tenei ASCII ka heke te raraunga ki te 8.5 terabytes.
Ka taea e koe te tango tika i nga raraunga mai i konei, whakamahi taputapu ranei penei i te bittorrent.
Kia pai ki te hanga whakaata, ki etahi atu ranei mo te iwi whare putunga hei tohatoha ano i te taupū whaanui.
Ko ta matou tumanako ka taea te hoatu ki te nama Tuhinga o mua. Kei te whakamahi maatau papaanga korero Postgres,
me te whakamahi i te taurangi whaanui hei rapu ingoa o nga tipu mai i te raarangi rangatira.
Ka taea te whakamahi i te taurangi ki te rapu i etahi atu taonga, penei i nga matū, nga ira i roto i nga momo momo
whakaurunga, pūmua, rauemi, ingoa wāhi, etahi atu hinonga ranei.
Hei utu mo te papaanga korero Postgres, etahi atu tikanga, penei i te BERT, ka taea te whakamahi ki nga korero.
He taputapu rapu tenei, he papakupu matauranga, he mahere ki te matauranga, he taonga e whakapono ana matou
he tino waahanga mo te mahi o te putaiao i roto i to taatau hou.
Kaore tenei tohu whaanui mo te matauranga e whakaputa te tupapaku e waatea ana, Engari, meka
ka tangohia mai i te tupapaku.
He koretake tenei me te whakamahi panoni.
Ki ta maatau ko tenei hei painga mo te iwi. E kii ana maatau kaore he mana o te taupū whanui.
Ka whakatapua ki te rohe a te iwi, he raupapa o nga meka kore pono hei taea e koe
mahia taau e pai ai.
Kaore he mana pupuri.
Ka taea e nga tohunga o te huarahi ki te rapu te kimi korero tenei mahere ara kia tere ake te rapu waahi
e hiahia ana ratou ki te toro. He kaituhi noa matou i roto i te ara whanui o nga kohinga nui o te ao,
te hapori ngatahi o nga tohungatanga me nga kaiputaiao me nga miihini me nga kaitoi i hanga
enei temepara matauranga.
Ko enei temepara, mai i te Whare Pukapuka o Alexandria ki te Whare Pukapuka o Alexandra, mai i nga monahi
o Ireland ki nga wharepukapuka rangahau hou o enei ra, mai i nga karaipi Arapi me nga Hurai
e mahi ngatahi ana ki te hanga i te Whare Paari i Baghdad ki nga wheketere o te matauranga e noho ana
i roto i nga whare hokohoko hou o Inia Rawhiti penei nga perehi o Oxford me Cambridge, enei
ko nga waahi me toro atu e nga kairangahau ki te ahu whakamua i a raatau mahi, ki te ako mai i
nga mea i haere mai i mua i a tatou.
Kei roto i enei temepara te kohinga o nga matauranga katoa, engari me kaha ki te rapu i taua mohiotanga.
Ko te taurangi whaanui he mapi.
Ehara tenei i te mapi ki te katoa o nga matauranga o te tangata,
engari he tino waahanga nui tena.
Mo te pikinga me te hora o te matauranga ki te haere tonu, mena ka tu tatou ki runga i nga pakihiwi
o nga tangata nunui, me whakarato e tatou enei mahere ki tera ao whakaaro nui.
Ko te taupū whanui he taputapu noa iho, he taputapu ko te tumanako ka roa te kounga ka piki haere te wa
a i te whanui, he taputapu e tumanakohia atu ana e maatau he takoha whai hua
ki to mahi putaiao.
Ko te tumanako ka tukuna ano e koe tenei taurangi tauanga whakamahinga maere, ka taea e taatau te hanga i te taurangi
pai ake, ka taea e koe te hanga i etahi atu taputapu, tena ka taea e te hapori tohunga te mahi tahi
i roto i te tono noa ki te maina i te hohonu hohonu o tenei moana ako.
E whakapono ana ahau he kaupapa kotahi ta tatou katoa. he tumanako noa.
Hei kaiputaiao, tohunga, tohunga toi, kaituhi, hei taangata o te ao, hei tamariki e hiahia ana
ki te ako, ano he tangata pākiki, whakapono ahau ko te tumanako ka piki te piki me te hora
o te matauranga ka pai ake to tatou ao wahi, e te reira e te marama ki a tatou i to tatou
te ao, ki te whakaora i te mate me te rawakore, ki te ahu whakamua te ahunga whakamua o te putaiao me te tauhokohoko me te
tangata me nga mahi toi.
Ko te Pūtaiao te reo me korero katoa tatou mena kia pai ake to taatau ao.
Mauruuru mo te whakarongo
[Te Tiri Te Tiri]
[Waiata]