[Suab paj nruag]
[Tshaj Tawm] Qhov no yog Chaw Pabcuam Tib Neeg
[Carl Malamud] Nyob zoo, Kuv yog Carl Malamud.
Txais tos rau General Index.
Peb nthuav qhia ntawm no rau koj dawb thiab tsis txwv siv txheej n-grams rho tawm los ntawm 107 lab,
233 txhiab, 728 cov ntawv xov xwm.
Tus n-grams ntau los ntawm ib lo lus, paub raws li unigrams, rau kab lus ob lo lus (bigrams)
txog li 5 lo lus kab lus, hu ua 5-grams.
Muaj, txhua qhov tau hais, 355 txhiab kab ntawm n-grams hauv qhov kev tso tawm ntawm qhov ntsuas dav dav, txhua tus
sib thooj rau kev ntaus hauv phau ntawv xov xwm.
Cov cuab yeej hu ua Spacy tau siv los rho tawm n-grams, uas peb tau faib
hla kaum rau cov ntaub ntawv.
Koom nrog txhua kab yog md5 hash, uas sawv cev rau kab ntawv xov xwm.
Ib qho ntxiv, peb teev cov zaus ntawm n-gram hauv kab lus.
Peb cia siab tias dhau sijhawm los tseem teev cov zaus nyob rau hauv tag nrho corpus, qhov tseem ceeb ntsuas
hu ua TD/IDF.
Ntxiv rau n-grams, General Index muaj cov ntsiab lus rho tawm siv Yake
toolkit.Yake “nyob ntawm cov ntawv sau nta muab rho tawm los ntawm cov ntaub ntawv ib zaug rau
xaiv cov ntsiab lus tseem ceeb tshaj plaws ntawm cov ntawv. "
Cov ntsiab lus tseem ceeb ntawm cov ntsiab lus ntxhuav muaj tag nrho 19 billion lo lus tseem ceeb.
Thaum kawg, qhov ntsuas dav dav muaj cov metadata rooj, kais md5 hash rau cov khoom xws li
DOI qhov chaw nyob tshwj xeeb rau kab ntawv xov xwm, lub npe, tus sau, thiab ntawv xov xwm.
Nov yog qhov kev tshaj tawm ntxov ntawm qhov ntsuas dav dav, ib txoj haujlwm tab tom ua.
Hauv qee kis, cov ntawv rho tawm ua tsis tiav.
Qee zaum, tsis muaj metadata, lossis yog tej zaum txawm tsis raug.
Thaum lub hauv paus lub cev loj, nws yog tsis tiav, thiab tsis hloov kho tshiab.
Muaj ntau txoj hauv kev no tuaj yeem txhim kho, thiab peb tos ntsoov yuav ua General
Index zoo dua lub sijhawm.
Qhov ntsuas dav dav kwv yees li ntawm 38 terabytes ntawm cov ntaub ntawv hauv daim ntawv ntawm Postgres
pob tseg, txawm li cas los nrog kev sib zog, qhov ASCII no cov ntaub ntawv raug txo mus rau 8.5 terabytes.
Koj tuaj yeem rub tawm cov ntaub ntawv ncaj qha los ntawm no, lossis siv cov cuab yeej xws li bittorrent.
Xav tias dawb los tsim tsom iav lossis lwm tus pej xeem repositories kom rov faib dua qhov ntsuas dav.
Peb qhov kev cia siab yog tias nws tuaj yeem tso rau tus lej ntawm kev siv. Peb tau siv Postgres database,
thiab siv qhov ntsuas dav dav los tshawb nrhiav cov npe ntawm cov nroj tsuag los ntawm tus tswv npe.
Qhov ntsuas tuaj yeem siv los tshawb nrhiav lwm yam yam khoom, xws li tshuaj lom neeg, noob caj noob ces hauv ntau yam
encodings, protein, khoom siv, npe chaw, lossis lwm qhov chaw.
Hloov chaw ntawm Postgres database, lwm cov txheej txheem, xws li BERT, tuaj yeem siv rau cov ntaub ntawv.
Nov yog cov cuab yeej tshawb nrhiav, phau ntawv txhais lus ntawm kev paub, daim ntawv qhia kev paub, ib qho cuab yeej uas peb ntseeg
yog qhov chaw tseem ceeb rau kev xyaum ntawm science hauv peb lub hnub nyoog niaj hnub no.
Qhov kev ntsuas dav dav rau kev paub tsis ua lub hauv paus corpus muaj, theej, qhov tseeb
tau muab rho tawm los ntawm lub cev.
Qhov no yog qhov tsis txaus ntseeg thiab siv kev hloov pauv.
Peb saib qhov no yog ib qho khoom siv rau pej xeem.Peb lees paub tsis muaj tswv cuab dhau qhov ntsuas dav dav.
Nws tau mob siab rau rau pej xeem sau, ua ntu zus ntawm qhov tsis suav nrog qhov tseeb uas koj tuaj yeem ua tau
ua yam koj xav tau.
Tsis muaj txoj cai tshwj tseg.
Cov kws tshawb fawb ntawm txoj kev mus nrhiav pom tuaj yeem sab laj daim ntawv qhia kev no kom nrawm dua nrhiav cov hom phiaj
lawv xav tuaj xyuas.Peb tab sis yog cov kws tshaj lij nyob hauv txoj hauv kev ntawm cov ntaub ntawv loj ntawm lub ntiaj teb,
zej zog sib koom ntawm kws tshawb fawb thiab kws tshawb fawb thiab engineers thiab cov kws ua yeeb yam uas tau tsim
cov tuam tsev ntawm kev paub.
Cov tuam tsev no, los ntawm Lub Tsev Qiv Ntawv ntawm Alexandria mus rau Lub Tsev Qiv Ntawv ntawm Alexandra, los ntawm cov hauj sam
ntawm Ireland rau cov tsev qiv ntawv tshawb fawb loj heev hnub no, los ntawm cov kws sau ntawv As Kiv thiab Yudais
ua hauj lwm ua ke los tsim lub Tsev Txawj Ntse hauv Baghdad mus rau cov chaw tsim khoom ntawm kev paub nyob
nyob rau niaj hnub sab hnub tuaj Indian kev lag luam tsev zoo li cov xovxwm ntawm Oxford thiab Cambridge, cov no
yog lub hom phiaj uas kws tshawb fawb yuav tsum mus ntsib txhawm rau txhim kho lawv cov khoom siv tes ua, kawm los ntawm
cov uas tuaj ua ntej peb.
Cov tuam tsev no suav nrog tag nrho cov kev paub, tab sis peb yuav tsum muaj peev xwm nrhiav tau qhov kev paub ntawd.
Qhov ntsuas dav dav yog daim duab qhia chaw.
Qhov no tsis yog daim ntawv qhia rau tag nrho ntawm tib neeg kev paub,
tab sis nws yog ib qho tseem ceeb subset.
Rau qhov nce thiab nthuav tawm kev paub txuas ntxiv mus, yog tias peb yuav sawv ntawm xub pwg
ntawm cov neeg loj, peb yuav tsum muab cov duab qhia chaw rau qhov ntawd ntiaj teb dav ntawm cov tswv yim.
Kev ntsuas dav dav tsuas yog ib qho cuab yeej, ib qho cuab yeej uas peb cia siab tias lub sijhawm yuav tau txais txiaj ntsig zoo
thiab hauv qhov dav, cov cuab yeej peb cia siab tias yuav muab muaj txiaj ntsig zoo
rau koj kev xyaum ua science.
Peb vam tias koj yuav muab qhov ntsuas dav dav no ib yam xav tsis thoob, uas peb tuaj yeem ua qhov ntsuas
zoo dua, uas koj tuaj yeem tsim lwm yam cuab yeej, uas zej zog ntawm kws tshawb fawb tuaj yeem ua haujlwm ua ke
hauv qhov kev tshawb nrhiav ib txwm rau kuv qhov tob tob ntawm dej hiav txwv ntawm kev kawm.
Kuv ntseeg tias peb txhua tus koom nrog lub hom phiaj sib koom, ib qho kev cia siab.
Raws li kws tshawb fawb, kws tshawb fawb, kws kos duab, sau ntawv, raws li cov pej xeem hauv ntiaj teb, raws li cov menyuam xav tau
kom kawm, raws li xav paub txog tib neeg, kuv ntseeg peb txhua tus cia siab tias qhov nce thiab nthuav tawm
kev paub yuav ua rau peb lub ntiaj teb zoo dua qhov chaw, tias nws yuav pab peb nkag siab peb
ntiaj teb, los kho tus kab mob thiab kev txom nyem, kom nce mus kev nce qib ntawm kev tshawb fawb thiab kev lag luam thiab
tib neeg thiab txuj ci yeeb yam.
Science yog hom lus peb txhua tus yuav tsum hais yog peb yuav tsum ua kom peb lub ntiaj teb zoo dua.
Ua tsaug rau mloog.
[Lub foob yog Barking]
[Suab paj nruag]