[Glasba]
[Napovedovalec] To je javni vir
[Carl Malamud] Pozdravljeni, jaz sem Carl Malamud.
Dobrodošli v Splošnem indeksu.
Tukaj vam predstavljamo brezplačno in neomejeno uporabite niz n-gramov, pridobljenih iz 107 milijonov,
233 tisoč, 728 člankov v reviji.
N-grami segajo od znanih besed kot unigrami, do dvobesednih stavkov (bigramov)
do 5 besednih stavkov, znanih kot 5 gramov.
Vse skupaj je 355 milijard vrstic n-gramov v tej izdaji splošnega indeksa vsak
ustreza zadetku v časopisnem članku.
Za pridobivanje so uporabili orodje Spacy n-gramov, ki smo jih razdelili
v šestnajstih datotekah.
Z vsako vrstico je povezan hash md5, ki predstavlja članek v reviji.
Poleg tega navajamo pogostost n-gram v članku.
Upamo, da bomo sčasoma navedli tudi pogostost v celotnem korpusu meritev ustreznosti
znan kot TD/IDF.
Poleg n-gramov je splošni indeks vsebuje ključne besede, pridobljene z uporabo Yake
orodje. Yake “temelji na besedilni statistiki funkcije, pridobljene iz posameznih dokumentov v
izberite najpomembnejše ključne besede v besedilu. "
Splošne tabele ključnih besed indeksa vsebujejo skupaj 19 milijard ključnih besed.
Nazadnje splošni indeks vsebuje metapodatke tabelo, ki preslikava razpršitev md5 na take elemente
edinstven naslov DOI za članek v reviji, naslov, avtor in revija.
To je zgodnja izdaja splošnega indeksa, delo v teku.
V nekaterih primerih ekstrakcija besedila ni uspela.
Včasih metapodatki niso na voljo ali pa so morda celo napačno.
Čeprav je osnovni korpus velik, je ni popolna in ni posodobljena.
Obstaja veliko načinov, kako to izboljšati, in veselimo se postavitve za generala
Sčasoma se indeks izboljša.
Splošni indeks zavzema približno 38 terabajtov podatkov v obliki Postgresa
dump, vendar s stiskanjem, ta ASCII podatki se zmanjšajo na 8,5 terabajtov.
Podatke lahko prenesete neposredno od tukaj, ali uporabite orodja, kot je bittorrent.
Ustvarite ogledala ali drugo javnost skladišča za ponovno distribucijo splošnega indeksa.
Upamo, da ga je mogoče šteti uporab. Uporabljali smo zbirko podatkov Postgres,
in uporabo splošnega indeksa za iskanje imena rastlin z glavnega seznama.
Indeks lahko uporabite za iskanje drugih predmeti, kot so kemikalije, geni v različnih
kodiranja, beljakovine, materiali, imena krajev, ali drugih subjektov.
Namesto zbirke Postgres, druge tehnike, kot je BERT, je mogoče uporabiti za podatke.
To je iskalno orodje, slovar znanja, zemljevid znanja, orodje, v katerega verjamemo
je bistven pripomoček za prakso znanosti v naši sodobni dobi.
Ta splošni kazalec znanja ne pomeni osnovni korpus, ki je na voljo, namesto tega dejstva
so izvlečeni iz korpusa.
To je nepotrebno in transformacijsko uporabo.
Na to gledamo kot na javno korist brez lastništva nad splošnim indeksom.
Namenjena je javni domeni, serija neobremenjenih dejstev, s katerimi lahko
naredi, kar hočeš.
Nobene pravice niso pridržane.
Znanstveniki na poti do odkritja se lahko posvetujejo ta načrt za hitrejše iskanje destinacij
želijo obiskati. Smo le docenti v hodniki obsežnih svetovnih arhivov,
kolektivna skupnost znanstvenikov in znanstvenikov in inženirji in umetniki, ki so ustvarjali
ti templji znanja.
Ti templji iz Aleksandrijske knjižnice v knjižnico Alexandra, od menihov
Irske v obsežne sodobne raziskovalne knjižnice danes, od arabskih in judovskih pisarjev
sodelujejo pri izgradnji Hiše modrosti v Bagdadu, kjer so nastanjene tovarne znanja
v sodobnih vzhodnoindijskih trgovskih hišah podobno stiskalnice v Oxfordu in Cambridgeu, te
so destinacije, ki jih morajo obiskati znanstveniki napredovati v svoji obrti in se učiti
tisti, ki so prišli pred nami.
Ti templji vsebujejo vsoto znanja, vendar moramo to znanje najti.
Splošni kazalec je zemljevid.
To ni zemljevid vsote človeškega znanja,
vsekakor pa je bistvena podmnožica.
Za povečanje in širjenje znanja če želimo stati na ramenih
velikanov, temu moramo priskrbeti te zemljevide ogromen svet idej.
Splošni kazalec je le eno orodje za katere upamo, da bodo sčasoma pridobili na kakovosti
in po obsegu orodje, za katerega upamo, da ga bo zagotovilo koristen prispevek
za vašo znanstveno prakso.
Upamo, da boste vnesli tudi ta splošni indeks presenetljive uporabe, da lahko naredimo indeks
bolje, da lahko ustvarite druga orodja, to skupnost učenjakov lahko sodeluje
v skupnem prizadevanju za izkopavanje velikih globin tega oceana učenja.
Verjamem, da imamo vsi skupni cilj, skupno upanje.
Kot znanstveniki, učenjaki, umetniki, pisatelji, kot državljani sveta, kot otroci, ki si to želijo
verjamem, da se kot radovedna človeka naučim vsi upamo, da bo povečanje in širjenje
znanja bo naš svet naredil boljši mesto, da nam bo pomagalo razumeti svoje
svetu, zdraviti bolezni in revščino, napredovati napredek znanosti in trgovine ter
humanistike in umetnosti.
Znanost je jezik, ki ga moramo vsi govoriti izboljšati moramo svoj svet.
Hvala za poslušanje.
[Pečat laja]
[Glasba]