[Musikk]
[Announcer] Dette er offentlig ressurs
[Carl Malamud] Hei, jeg er Carl Malamud.
Velkommen til General Index.
Vi presenterer her gratis og ubegrenset bruk et sett med n-gram hentet fra 107 millioner,
233 tusen, 728 tidsskriftartikler.
N-gramene spenner fra enkeltord, kjent som unigrams, til to-ordssetninger (bigrammer)
opptil 5 ords fraser, kjent som 5 gram.
Det er alt sammen 355 milliarder rader med n-gram i denne utgaven av den generelle indeksen, hver
tilsvarer et treff i en tidsskriftartikkel.
Et verktøykasse kalt Spacy ble brukt til å trekke ut n-gramene, som vi har delt
over seksten filer.
Til hver rad er det knyttet en md5 -hash, som representerer en tidsskriftartikkel.
I tillegg lister vi frekvensen av n-gram i artikkelen.
Vi håper over tid også å liste frekvensen i det overordnede korpuset, en relevansberegning
kjent som TD/IDF.
I tillegg til n-gram, General Index inneholder søkeord trukket ut ved hjelp av Yake
verktøykasse.Yake “hviler på tekststatistikk funksjoner hentet fra enkeltdokumenter til
velg de viktigste søkeordene i en tekst. "
De generelle søkeordtabellene for indeksen inneholder totalt 19 milliarder søkeord.
Til slutt inneholder den generelle indeksen en metadata tabell, og kartlegger md5 -hash til elementer som dette
DOIs unike adresse for en tidsskriftartikkel, tittelen, forfatteren og tidsskriftet.
Dette er en tidlig utgivelse av den generelle indeksen, et pågående arbeid.
I noen tilfeller mislyktes tekstuttrekking.
Noen ganger er metadata ikke tilgjengelig, eller er kanskje til og med feil.
Selv om det underliggende korpuset er stort, er det det ikke fullstendig, og er ikke oppdatert.
Det er mange måter dette kan forbedres på, og vi gleder oss til å gjøre general
Indeks bedre over tid.
Den generelle indeksen opptar omtrent 38 terabyte med data i form av en Postgres
dump, men med kompresjon, denne ASCII data reduseres til 8,5 terabyte.
Du kan laste ned dataene direkte herfra, eller bruk verktøy som bittorrent.
Lag gjerne speil eller annen publikum lagre for å distribuere den generelle indeksen.
Vårt håp er at det kan settes til et tall av bruksområder. Vi har brukt en Postgres -database,
og bruke den generelle indeksen til å søke etter navn på planter fra en hovedliste.
Indeksen kan brukes til å søke etter andre objekter, for eksempel kjemikalier, gener i forskjellige
kodinger, proteiner, materialer, stedsnavn, eller andre enheter.
I stedet for en Postgres -database kan andre teknikker, for eksempel BERT, kan brukes på dataene.
Dette er et oppslagsverktøy, en kunnskapsordbok, et kart til kunnskap, et verktøy som vi tror
er et viktig anlegg for øvelsen av vitenskap i vår moderne tidsalder.
Denne generelle indeksen til kunnskap gjør ikke det underliggende korpuset som er tilgjengelig, Snarere, fakta
er trukket ut fra korpus.
Dette er et forbruk og transformasjonsbruk.
Vi ser på dette som et offentlig verktøy. Vi hevder ingen eierskap over den generelle indeksen.
Den er dedikert til allmennheten, en serie av ubeheftede fakta som du kan
gjør hva du vil.
Det er ingen rettigheter forbeholdt.
Forskere på veien til oppdagelse kan rådføre seg dette veikartet for å finne destinasjoner raskere
de ønsker å besøke. Vi er bare lærere i gangene i de enorme arkivene i verden,
det kollektive fellesskapet av forskere og forskere og ingeniører og kunstnere som har skapt
disse kunnskapens templer.
Disse templene, fra biblioteket i Alexandria til biblioteket til Alexandra, fra munkene
Irland til de store moderne forskningsbibliotekene i dag, fra de arabiske og jødiske skriftlærde
jobber sammen for å bygge visdomshuset i Bagdad til kunnskapens fabrikker
i moderne østindiske handelshus som pressene i Oxford og Cambridge, disse
er destinasjonene som lærde må besøke å fremme håndverket sitt, å lære av
de som kom foran oss.
Disse templene inneholder summen av all kunnskap, men vi må kunne finne den kunnskapen.
Den generelle indeksen er et kart.
Dette er ikke et kart for summen av all menneskelig kunnskap,
men det er absolutt en betydelig delmengde.
For å øke og spre kunnskap å fortsette, hvis vi skal stå på skuldrene
av kjemper, må vi gi disse kartene til det store ideer.
Den generelle indeksen er bare ett verktøy, et verktøy som vi håper over tid vil få kvalitet
og i omfang, et verktøy vi håper som vil gi et nyttig bidrag
til din vitenskapspraksis.
Vi håper du vil sette denne generelle indeksen også overraskende bruk, at vi kan lage indeksen
bedre, at du kan lage andre verktøy, det fellesskapet av lærde kan jobbe sammen
i en felles søken etter å utvinne de store dypene av dette læringshavet.
Jeg tror vi alle har et felles mål, et felles håp.
Som forskere, lærde, kunstnere, forfattere, som verdens borgere, som barn som ønsker det
å lære, som nysgjerrige mennesker, tror jeg Vi håper alle at økningen og spredningen
av kunnskap vil gjøre verden vår bedre stedet, at det vil hjelpe oss å forstå vår
verden, for å kurere sykdom og fattigdom, for å komme videre utviklingen av vitenskap og handel og
humaniora og kunst.
Vitenskap er et språk vi alle må snakke om vi skal forbedre verden vår.
Takk for at du lyttet.
[Seglet er bjeffende]
[Musikk]