[Muzika]
[Diktorius] Tai yra viešieji ištekliai
[Carl Malamud] Sveiki, aš Carl Malamud.
Sveiki atvykę į Bendrąjį indeksą.
Mes čia nemokamai ir neribotai naudoti n gramų rinkinį, išgautą iš 107 mln.
233 tūkst., 728 žurnalo straipsniai.
N gramai yra nuo žinomų žodžių kaip unigramos, į dviejų žodžių frazes (bigrams)
iki 5 žodžių frazių, žinomų kaip 5 gramai.
Iš viso yra 355 milijardai n gramų eilučių šiame bendrojo indekso leidime kiekvienas
atitinkantis žurnalo straipsnio hitą.
Išgauti buvo naudojamas įrankių rinkinys, pavadintas „Spacy“ n gramų, kuriuos padalijome
per šešiolika failų.
Su kiekviena eilute susieta md5 maiša, kuri atstovauja žurnalo straipsniui.
Be to, išvardijame dažnumą n gramas straipsnyje.
Tikimės, kad laikui bėgant taip pat išvardinsime dažnumą bendrame korpuse - aktualumo metrika
žinomas kaip TD/IDF.
Be n gramų, bendrasis indeksas yra raktinių žodžių, išgautų naudojant „Yake“
įrankių rinkinys.Jake “remiasi teksto statistika funkcijos, išgautos iš atskirų dokumentų į
pasirinkite svarbiausius teksto raktinius žodžius “.
Bendrųjų indeksų raktinių žodžių lentelėse yra iš viso 19 milijardų raktinių žodžių.
Galiausiai bendrame indekse yra metaduomenys lentelę, susiejant md5 maišą su tokiais elementais
unikalus DOI adresas žurnalo straipsniui, pavadinimas, autorius ir žurnalas.
Tai ankstyvas bendrojo indekso išleidimas, nebaigtas darbas.
Kai kuriais atvejais teksto išskyrimas nepavyko.
Kartais metaduomenys nepasiekiami arba yra gal net neteisinga.
Nors pagrindinis korpusas yra didelis, jis yra nėra baigtas ir nėra atnaujintas.
Yra daug būdų, kaip tai pagerinti, ir mes nekantriai laukiame, kada galėsime tapti generolu
Laikui bėgant indeksas gerėja.
Bendras indeksas užima maždaug 38 terabaitų duomenų „Postgres“ pavidalu
dump, tačiau su suspaudimu, šis ASCII duomenys sumažinami iki 8,5 terabaitų.
Duomenis galite atsisiųsti tiesiai iš čia, arba naudoti tokias priemones kaip „bittorrent“.
Nesivaržykite kurti veidrodžių ar kitos viešos vietos saugyklos, kad perskirstytų bendrąjį indeksą.
Tikimės, kad jį galima sudėti į skaičių naudojimo būdų. Mes naudojome „Postgres“ duomenų bazę,
ir naudodamiesi bendru indeksu ieškokite augalų pavadinimai iš pagrindinio sąrašo.
Indeksas gali būti naudojamas ieškant kitų įvairių objektų, tokių kaip chemikalai, genai
kodavimas, baltymai, medžiagos, vietovardžiai, ar kiti subjektai.
Vietoj „Postgres“ duomenų bazės taikomi kiti metodai, tokiems kaip BERT, galima taikyti duomenims.
Tai yra paieškos įrankis, žinių žodynas, žinių žemėlapis, įrankis, kuriuo tikime
yra būtina priemonė praktikai mokslo mūsų laikais.
Šis bendras žinių indeksas nedaro turimas pagrindas, greičiau faktai
yra išgaunami iš korpuso.
Tai nesąmoningas ir transformacinis naudojimas.
Mes tai vertiname kaip viešąją paslaugą. Mes tvirtiname neturi bendrojo indekso nuosavybės teisės.
Jis skirtas visuomenei, serijai neapsunkintų faktų, su kuriais galite
daryk ką nori.
Nėra jokių teisių.
Mokslininkai kelyje į atradimus gali pasitarti šį planą, kad greičiau rastumėte kelionės tikslus
jie nori aplankyti. Mes esame tik docentai didžiųjų pasaulio archyvų koridoriai,
kolektyvinė mokslininkų ir mokslininkų bendruomenė kūrę inžinieriai ir menininkai
šios žinių šventyklos.
Šios šventyklos iš Aleksandrijos bibliotekos į Aleksandros biblioteką, iš vienuolių
iš daugybės šiuolaikinių mokslinių tyrimų bibliotekų iš arabų ir žydų raštininkų
dirbdami kartu statydami Išminties namus Bagdade į žinių fabrikus
šiuolaikiniuose Rytų Indijos prekybos namuose kaip Oksfordo ir Kembridžo spaudos
yra kryptys, kurias turi aplankyti mokslininkai tobulinti savo amatus, mokytis iš jų
tie, kurie atėjo prieš mus.
Šiose šventyklose yra visų žinių suma, bet mes turime sugebėti surasti tas žinias.
Bendrasis indeksas yra žemėlapis.
Tai nėra visų žmogaus žinių sumos žemėlapis,
bet tai tikrai esminis pogrupis.
Žinių didinimui ir sklaidai tęsti, jei norime stovėti ant pečių
iš milžinų, mes turime pateikti šiuos žemėlapius didžiulis idėjų pasaulis.
Bendrasis indeksas yra tik vienas įrankis, įrankis tikimės, kad laikui bėgant įgis kokybės
ir apimtimi - priemonė, kurios, tikimės, suteiks naudingas indėlis
savo mokslo praktikai.
Tikimės, kad įdėsite ir šį bendrą indeksą Stebina, kad galime sukurti indeksą
geriau, kad galite sukurti kitus įrankius mokslininkų bendruomenė gali dirbti kartu
bendrame siekyje iškasti didžiulę gelmę šio mokymosi vandenyno.
Manau, mus visus sieja bendras tikslas, bendra viltis.
Kaip mokslininkai, mokslininkai, menininkai, rašytojai, kaip pasaulio piliečiai, kaip vaikai, norintys
kaip smalsūs žmonės, aš tikiu mes visi tikimės, kad padidėjimas ir sklaida
žinios padarys mūsų pasaulį geresnį vieta, kad tai padės mums suprasti mūsų
pasaulyje, išgydyti ligas ir skurdą, tobulėti mokslo ir komercijos pažanga ir
humanitariniai mokslai ir menai.
Mokslas yra kalba, kurią turime kalbėti visi, jei mes norime pagerinti savo pasaulį.
Ačiū, kad klausėte.
[Ruonis loja]
[Muzika]