[Glazba, muzika]
[Najavljivač] Ovo je javni resurs
[Carl Malamud] Zdravo, ja sam Carl Malamud.
Dobro došli u Opći indeks.
Ovdje vam predstavljamo besplatno i neograničeno koristiti skup n-grama izdvojenih iz 107 milijuna,
233 tisuće, 728 članaka u časopisima.
N-grami se kreću od poznatih riječi kao unigrami, do fraza od dvije riječi (bigrami)
fraze do 5 riječi, poznate kao 5 grama.
Sve u svemu, ima 355 milijardi redova n-grama u ovom izdanju općeg indeksa svaki
što odgovara hitu u članku časopisa.
Za izdvajanje je korišten pribor alata pod nazivom Spacy n-grama, koje smo podijelili
preko šesnaest datoteka.
Uz svaki redak povezan je md5 hash, koji predstavlja članak u časopisu.
Osim toga, navodimo učestalost n-gram u članku.
Nadamo se da ćemo s vremenom navesti i frekvenciju u cjelokupnom korpusu, metrika relevantnosti
poznat kao TD/IDF.
Osim n-grama, Opći indeks sadrži ključne riječi izdvojene pomoću Yakea
alata.Yake “počiva na tekstualnoj statistici značajke izdvojene iz pojedinačnih dokumenata u
odaberite najvažnije ključne riječi u tekstu. "
Opće tablice ključnih riječi indeksa sadrže ukupno 19 milijardi ključnih riječi.
Na kraju, opći indeks sadrži metapodatke tablicu, preslikavajući md5 hash na stavke kao što je
jedinstvena DOI adresa za članak u časopisu, naslov, autor i časopis.
Ovo je prijevremeno objavljivanje općeg indeksa, posao u tijeku.
U nekim slučajevima izdvajanje teksta nije uspjelo.
Ponekad metapodaci nisu dostupni ili jesu možda čak i netočno.
Iako je temeljni korpus velik, jest nije potpuna i nije ažurirana.
Postoji mnogo načina na koje se to može poboljšati, i veselimo se što ćemo napraviti generala
Indeks postaje sve bolji s vremenom.
Opći indeks zauzima približno 38 terabajta podataka u obliku Postgresa
dump, međutim sa kompresijom, ovaj ASCII podaci su smanjeni na 8,5 terabajta.
Podatke možete preuzeti izravno ovdje, ili upotrijebite alate kao što je bittorrent.
Slobodno stvorite ogledala ili drugu javnost spremišta za preraspodjelu općeg indeksa.
Nadamo se da se to može brojiti upotreba. Koristili smo Postgres bazu podataka,
i pomoću općeg indeksa za traženje nazivi biljaka s glavnog popisa.
Indeks se može koristiti za traženje drugih predmeta, poput kemikalija, gena u raznim
kodiranja, proteini, materijali, nazivi mjesta, ili drugih entiteta.
Umjesto Postgres baze podataka, druge tehnike, kao što je BERT, može se primijeniti na podatke.
Ovo je alat za traženje, rječnik znanja, karta znanja, alat u koji vjerujemo
je bitan objekt za praksu znanosti u našem modernom dobu.
Ovaj opći indeks znanja ne čini temeljni korpus dostupan, Umjesto toga, činjenice
izvlače se iz korpusa.
Ovo je nepotpuno i transformacijsku uporabu.
Mi to smatramo javnim komunalnim poduzećem. Mi tvrdimo nema vlasništva nad općim indeksom.
Posvećen je javnoj domeni, serija neopterećenih činjenica s kojima možete
učini što hoćeš.
Nema pridržanih prava.
Mogu se konzultirati znanstvenici na putu do otkrića ovu kartu za brže pronalaženje odredišta
koje žele posjetiti. Mi smo samo docenti u hodnici ogromne arhive svijeta,
kolektivna zajednica znanstvenika i znanstvenika te inženjeri i umjetnici koji su stvorili
ti hramovi znanja.
Ovi hramovi iz Aleksandrijske knjižnice u Aleksandrinu knjižnicu, od redovnika
Irske velikim modernim istraživačkim knjižnicama današnjice, od arapskih i židovskih pisara
radeći zajedno na izgradnji Kuće mudrosti u Bagdadu do tvornica znanja koje su smještene
u suvremenim istočnoindijskim trgovačkim kućama poput preše Oxforda i Cambridgea, ove
su odredišta koja učenjaci moraju posjetiti unaprijediti svoj zanat, učiti od njih
oni koji su došli prije nas.
Ovi hramovi sadrže zbir svih znanja, ali to znanje moramo moći pronaći.
Opći indeks je karta.
Ovo nije karta zbroja cjelokupnog ljudskog znanja,
ali to je zasigurno značajan podskup.
Za povećanje i širenje znanja nastaviti, ako ćemo stati na ramena
divova, tome moramo dati ove karte ogroman svijet ideja.
Opći indeks je samo jedan alat, alat za koje se nadamo da će s vremenom dobiti na kvaliteti
i po opsegu, alat za koji se nadamo da će ga pružiti koristan doprinos
na svoju znanstvenu praksu.
Nadamo se da ćete staviti i ovaj opći indeks iznenađujuće koristi, da možemo napraviti indeks
bolje, da možete stvoriti druge alate, to zajednica učenjaka može raditi zajedno
u zajedničkoj potrazi za miniranjem ogromnih dubina ovog oceana učenja.
Vjerujem da svi dijelimo zajednički cilj, zajednička nada.
Kao znanstvenici, učenjaci, umjetnici, književnici, kao građani svijeta, kao djeca koja to žele
vjerujem da ću naučiti kao znatiželjna ljudska bića svi se nadamo da će povećanje i širenje
znanja učinit će naš svijet boljim mjesto, da će nam pomoći razumjeti svoje
svijetu, liječiti bolesti i siromaštvo, napredovati napredak znanosti i trgovine i
humanističkih znanosti i umjetnosti.
Znanost je jezik kojim svi moramo govoriti ako moramo poboljšati svoj svijet.
Hvala za slušanje.
[Pečat laje]
[Glazba, muzika]