[Muzika]
[Najavljivač] Ovo je Javni izvor
[Carl Malamud] Zdravo, ja sam Carl Malamud.
Dobro došli u Opći indeks.
Ovdje predstavljamo besplatno i neograničeno koristite skup n-grama izdvojenih iz 107 miliona,
233 hiljade, 728 članaka u časopisima.
N-grami se kreću od poznatih riječi kao unigrami, do fraza od dvije riječi (bigrams)
fraze do 5 riječi, poznate kao 5 grama.
Sve u svemu, postoji 355 milijardi redova n-grama u ovom izdanju općeg indeksa, svaki
što odgovara hitu u članku časopisa.
Za izdvajanje je korišćen pribor alata pod nazivom Spacy n-grama, koje smo podijelili
preko šesnaest datoteka.
Uz svaki red je pridružen md5 hash, koji predstavlja članak u časopisu.
Osim toga, navodimo i učestalost n-gram u članku.
Nadamo se da ćemo s vremenom navesti i frekvenciju u cjelokupnom korpusu, metrika relevantnosti
poznat kao TD/IDF.
Osim n-grama, Opći indeks sadrži ključne riječi izdvojene pomoću Yakea
Toolkit.Yake “počiva na tekstualnoj statistici funkcije izdvojene iz pojedinačnih dokumenata u
odaberite najvažnije ključne riječi u tekstu. "
Tablice ključnih riječi općeg indeksa sadrže ukupno 19 milijardi ključnih riječi.
Na kraju, opći indeks sadrži metapodatke tablica, mapiranje md5 hasha na stavke kao što je
jedinstvena DOI adresa za članak u časopisu, naslov, autor i časopis.
Ovo je prijevremeno objavljivanje općeg indeksa, posao u toku.
U nekim slučajevima izdvajanje teksta nije uspjelo.
Ponekad metapodaci nisu dostupni ili jesu možda čak i netačno.
Iako je osnovni korpus veliki, on jeste nije potpuna i nije ažurirana.
Postoji mnogo načina na koje se to može poboljšati, i radujemo se generalu
Indeks vremenom postaje sve bolji.
Opći indeks zauzima približno 38 terabajta podataka u obliku Postgresa
dump, međutim sa kompresijom, ovaj ASCII podaci su smanjeni na 8,5 terabajta.
Podatke možete preuzeti direktno ovdje, ili koristite alate kao što je bittorrent.
Slobodno napravite ogledala ili drugu javnost spremišta za preraspodjelu općeg indeksa.
Nadamo se da se to može brojiti upotrebe. Koristili smo Postgres bazu podataka,
i pomoću općeg indeksa za traženje imena biljaka sa glavne liste.
Indeks se može koristiti za traženje drugih predmeta, poput kemikalija, gena u raznim
kodiranja, proteini, materijali, nazivi mjesta, ili drugih entiteta.
Umjesto Postgres baze podataka, druge tehnike, kao što je BERT, može se primijeniti na podatke.
Ovo je alat za traženje, rječnik znanja, mapa znanja, alat u koji vjerujemo
je bitan objekat za praksu nauke u našem modernom dobu.
Ovaj opšti indeks znanja ne čini osnovni korpus koji je u osnovi dostupan, radije činjenice
izvlače se iz korpusa.
Ovo nije konzumiranje i transformacijsku upotrebu.
Mi na ovo gledamo kao na javni uslužni program. Mi tvrdimo nema vlasništva nad opštim indeksom.
Serija je posvećena javnom domenu neopterećenih činjenica s kojima možete
radi šta hoćeš.
Nema prava.
Mogu se konsultovati naučnici na putu otkrića ovu mapu puta za brže pronalaženje destinacija
koje želimo posjetiti. Mi smo samo docenti u hodnici ogromne arhive svijeta,
kolektivna zajednica naučnika i naučnika i inženjeri i umjetnici koji su stvarali
ove hramove znanja.
Ovi hramovi iz Aleksandrijske biblioteke u Aleksandrinu biblioteku, od monaha
Irske do velikih savremenih istraživačkih biblioteka današnjice, od arapskih i jevrejskih pisara
radeći zajedno na izgradnji Kuće mudrosti u Bagdadu do fabrika znanja koje su smeštene
u modernim istočnoindijskim trgovačkim kućama poput preše Oxforda i Cambridgea, ove
su odredišta koja učenjaci moraju posjetiti da unaprede svoj zanat, da uče od njih
oni koji su došli pre nas.
Ovi hramovi sadrže zbir svih znanja, ali moramo biti u stanju pronaći to znanje.
Opći indeks je karta.
Ovo nije mapa zbroja cjelokupnog ljudskog znanja,
ali to je svakako značajan podskup.
Za povećanje i širenje znanja da nastavimo, ako želimo stati na ramena
divova, tome moramo dostaviti ove karte ogroman svet ideja.
Opšti indeks je samo jedan alat, alat za koje se nadamo da će s vremenom dobiti na kvaliteti
i po opsegu, alat za koji se nadamo da će ga pružiti koristan doprinos
na svoju naučnu praksu.
Nadamo se da ćete staviti i ovaj opći indeks iznenađujuće upotrebe, da možemo napraviti indeks
bolje, da možete stvoriti druge alate, to zajednica naučnika može raditi zajedno
u zajedničkoj potrazi za miniranjem ogromnih dubina ovog okeana učenja.
Vjerujem da svi dijelimo zajednički cilj, zajednička nada.
Kao naučnici, naučnici, umetnici, pisci, kao građani svijeta, kao djeca koja to žele
vjerujem da ću naučiti kao znatiželjna ljudska bića svi se nadamo povećanju i širenju
znanje će učiniti naš svet boljim mesto, da će nam pomoći da razumemo svoje
svijetu, liječiti bolesti i siromaštvo, napredovati napredak nauke i trgovine i
humanističke nauke i umjetnost.
Nauka je jezik kojim svi moramo govoriti moramo poboljšati svoj svijet.
Hvala na slušanju.
[Pečat laje]
[Muzika]