[Musika]
[Tigpahibalo] Kini ang Kapanguhaan sa Publiko
[Carl Malamud] Kumusta, ako si Carl Malamud.
Malipayon nga pag-abut sa General Index.
Nagpresentar kami dinhi alang sa imong libre ug walay kutub mogamit usa ka hugpong n-gramo nga nakuha gikan sa 107 milyon,
233 ka libo, 728 nga mga artikulo sa journal.
Ang n-gramo gikan sa us aka mga pulong, nahibal-an ingon mga unigram, sa duha ka pulong nga mga hugpong sa mga pulong (bigrams)
hangtod sa 5 ka pulong nga mga hugpong sa mga pulong, naila nga 5-gramo.
Adunay, tanan giingon, 355 bilyon nga mga laray sa n-gramo sa kini nga pagpagawas sa kinatibuk-ang indeks, matag usa
katugbang sa usa ka hit sa usa ka artikulo sa journal.
Usa ka toolkit nga gitawag Spacy gigamit aron makuha ang n-gramo, nga gibahinbahin namon
sa napulo ug unom ka mga file.
Kauban sa matag laray usa ka md5 hash, diin nagrepresentar sa usa ka artikulo sa journal.
Agi’g dugang, gilista namon ang kasubsob sa n-gramo sa artikulo.
Gihangyo namon nga sa paglabay sa panahon malista usab ang kasubsob sa kinatibuk-ang corpus, usa ka sukaranan nga may kalabutan
naila nga TD / IDF.
Gawas sa n-gramo, ang General Index adunay mga keyword nga nakuha nga gigamit ang Yake
toolkit.Yake "nagpahulay sa istatistika sa teksto mga bahin nga nakuha gikan sa us aka mga dokumento ngadto
pilia ang labing kahinungdan nga mga keyword sa usa ka teksto. ”
Adunay sulod ang mga lamesa sa kinatibuk-ang indeks sa keyword usa ka kinatibuk-an nga 19 bilyon nga mga keyword.
Sa katapusan, ang kinatibuk-ang indeks adunay sulud nga metadata lamesa, pagmapa sa md5 hash sa mga butang nga ingon
ang talagsaong adres sa DOI alang sa usa ka artikulo sa journal, ang titulo, tagsulat, ug journal.
Kini usa ka sayo nga pagpagawas sa kinatibuk-ang indeks, usa ka buluhaton nga nagpadayon.
Sa pila ka mga kaso, pakyas ang pagkuha sa teksto.
Usahay, ang metadata dili magamit, o naa tingali sayop pa.
Samtang ang nagpahiping corpus dako, kini mao dili kompleto, ug dili bag-o.
Daghang mga paagi nga mapaayo kini, ug gipaabut namon ang paghimo sa Heneral
Mas maayo ang indeks sa paglabay sa panahon.
Ang kinatibuk-ang indeks nag-okupar sa gibana-bana nga 38 terabytes nga datos sa porma sa usa ka Postgres
paglabay, bisan pa niana adunay kompresiyon, kini nga ASCII ang datos mikunhod ngadto sa 8.5 terabytes.
Mahimo nimo i-download ang datos direkta gikan dinhi, o mogamit mga gamit sama sa bittorrent.
Mobati nga gawasnon sa paghimo mga salamin o uban pang publiko ang mga repository aron maapud-apod ang kinatibuk-ang indeks.
Ang among gilauman nga mahimo kini mabutang sa usa ka numero sa mga gamit. Gigamit namon ang usa ka database sa Postgres,
ug paggamit sa kinatibuk-ang indeks aron pagpangita mga ngalan sa mga tanum gikan sa usa ka lista sa agalon.
Mahimo gamiton ang indeks aron makapangita lain mga butang, sama sa mga kemikal, lainlaing mga gene
mga pag-encode, protina, materyales, ngalan sa lugar, o uban pang mga entidad.
Imbis nga usa ka database sa Postgres, uban pang mga pamaagi, sama sa BERT, mahimong i-apply sa datos.
Kini usa ka galamiton sa pagpangita, usa ka diksyonaryo sa kahibalo, usa ka mapa sa kahibalo, usa ka himan nga among gituohan
hinungdanon nga pasilidad alang sa praktis sa syensya sa atong moderno nga panahon.
Kini nga kinatibuk-ang indeks sa kahibalo wala makahimo ang nagpahiping corpus nga magamit, Hinuon, mga katinuud
gikuha gikan sa corpus.
Kini usa ka dili pangatarungan ug paggamit sa pagbag-o.
Gitan-aw namon kini ingon usa ka magamit sa publiko. Gipahayag namon walay pagpanag-iya sa kinatibuk-ang indeks.
Kini gipahinungod sa publikong domain, usa ka serye sa wala’y hinungdan nga mga kamatuoran nga mahimo nimo mahimo
buhata ang gusto nimo.
Wala’y gitagana nga mga katungod.
Ang mga iskolar sa dalan sa pagdiskubre mahimong mokonsulta ang roadmap nga kini aron dali nga makapangita mga padulnganan
gusto nila nga mobisita. Kami apan mga dokumento sa pasilyo sa daghang arkibo sa kalibutan,
ang hiniusang komunidad sa mga scholar ug syentista ug mga inhinyero ug artista nga nagmugna
kini nga mga templo sa kahibalo.
Kini nga mga templo, gikan sa Library of Alexandria sa Library of Alexandra, gikan sa mga monghe
sa Ireland hangtod sa daghang moderno nga librarya sa panukiduki sa karon, gikan sa Arab ug Judeo nga mga eskriba
nagtinabangay sa pagtukod sa Balay sa Kaalam sa Baghdad sa mga pabrika sa kahibalo nga gibutang
sa modernong mga balay sa patigayon sa East India sama sa ang mga makina sa Oxford ug Cambridge, kini
ang mga padulnganan nga kinahanglan bisitahan sa mga scholar aron mapauswag ang ilang bapor, aron makakat-on gikan sa
kadtong nauna sa amon.
Kini nga mga templo adunay sulud sa tanan nga kahibalo, apan kinahanglan naton makapangita kana nga kahibalo.
Ang kinatibuk-ang indeks usa ka mapa.
Dili kini usa ka mapa sa kantidad sa tanan nga nahibal-an sa tawo,
apan kini sa tinuud usa ka igo nga subset.
Alang sa pagdugang ug pagsabwag sa kahibalo sa pagpadayon, kung kita mobarug sa mga abaga
sa mga higante, kinahanglan naton ihatag kini nga mga mapa halapad nga kalibutan sa mga ideya.
Ang kinatibuk-ang indeks usa ra ka gamit, us aka galamiton nga gilauman namon nga sa ulahi nga panahon makakuha og kalidad
ug sa kasangkaran, us aka galamiton nga gilauman namon nga makahatag usa ka mapuslanon nga amot
sa imong praktis sa syensya.
Gihangyo namon nga ibutang usab nimo kini nga kinatibuk-ang indeks katingad-an nga paggamit, nga mahimo namon ang indeks
labi ka maayo, nga makahimo ka uban pang mga gamit, kana ang komunidad sa mga scholar mahimong magtinabangay
sa usa ka kasagarang pagtinguha nga mina ang daghang giladmon ning kadagatan sa pagkat-on.
Nagtuo ako nga kitang tanan adunay parehas nga katuyoan, usa ka kasagarang paglaum.
Ingon mga syentista, scholar, artista, magsusulat, ingon mga lungsuranon sa kalibutan, ingon mga bata nga nagtinguha
aron mahibal-an, ingon us aka us aka us aka tawo nga katingad-an, nagatoo ako tanan kita naglaum nga ang pagdugang ug pagsabwag
sa kinaadman himuon nga labing maayo ang atong kalibutan lugar, nga kini makatabang kanato nga masabtan ang among
kalibutan, aron matambalan ang sakit ug kakabus, aron moabante ang pag-uswag sa syensya ug komersyo ug ang
humanities ug mga arte.
Ang syensya usa ka sinultian nga kinahanglan kitang tanan mosulti kung kinahanglan naton nga mapaayo ang aton kalibutan.
Salamat sa pagpaminaw.
[The Seal is Barking]
[Musika]