[Musik]
[Announcer] Dette er offentlig ressource
[Carl Malamud] Hej, jeg er Carl Malamud.
Velkommen til General Index.
Vi præsenterer dig her gratis og ubegrænset bruge et sæt n-gram ekstraheret fra 107 millioner,
233 tusinde, 728 tidsskriftartikler.
N-gram spænder fra enkelte ord, kendt som unigrams, til to-ordssætninger (bigrammer)
op til 5-ordssætninger, kendt som 5-gram.
Der er alt i alt 355 milliarder rækker af n-gram i denne udgivelse af det generelle indeks, hver
svarende til et hit i en tidsskriftartikel.
Et værktøjskasse kaldet Spacy blev brugt til at udtrække de n-gram, som vi har delt
på tværs af seksten filer.
Til hver række er knyttet en md5 hash, som repræsenterer en tidsskriftartikel.
Derudover angiver vi frekvensen af n-gram i artiklen.
Vi håber over tid også at angive hyppigheden i det overordnede korpus, en relevans -metrik
kendt som TD/IDF.
Ud over n-gram, General Index indeholder søgeord udvundet ved hjælp af Yake
værktøjskasse.Yake “hviler på tekststatistik funktioner hentet fra enkeltdokumenter til
vælg de vigtigste nøgleord i en tekst. ”
De generelle indeks søgeordstabeller indeholder i alt 19 milliarder søgeord.
Endelig indeholder det generelle indeks en metadata bord, kortlægger md5 -hash til emner som f.eks
DOIs unikke adresse til en tidsskriftartikel, titlen, forfatteren og tidsskriftet.
Dette er en tidlig udgivelse af det generelle indeks, et igangværende arbejde.
I nogle tilfælde mislykkedes tekstudtrækning.
Nogle gange er metadata ikke tilgængelige, eller er måske endda forkert.
Mens det underliggende korpus er stort, er det det ikke fuldstændig og er ikke opdateret.
Der er mange måder dette kan forbedres på, og vi ser frem til at lave general
Indeks bedre over tid.
Det generelle indeks fylder cirka 38 terabyte data i form af en Postgres
dump, dog med komprimering, denne ASCII data reduceres til 8,5 terabyte.
Du kan downloade dataene direkte herfra, eller brug værktøjer som bittorrent.
Opret gerne spejle eller anden offentlighed lagre for at omfordele det generelle indeks.
Vores håb er, at det kan sættes til et tal af anvendelser. Vi har brugt en Postgres -database,
og ved hjælp af det generelle indeks til at søge efter navne på planter fra en masterliste.
Indekset kan bruges til at søge efter andre genstande, såsom kemikalier, gener i forskellige
kodninger, proteiner, materialer, stednavne, eller andre enheder.
I stedet for en Postgres -database kan andre teknikker, f.eks. BERT, kan anvendes på dataene.
Dette er et opslagsværktøj, en videnbog, et kort til viden, et værktøj, som vi tror på
er en væsentlig facilitet for øvelsen videnskab i vores moderne tidsalder.
Dette generelle indeks for viden gør ikke det underliggende korpus til rådighed, snarere fakta
er ekstraheret fra corpus.
Dette er et forbrug og transformationsanvendelse.
Vi betragter dette som et offentligt værktøj. Vi hævder intet ejerskab over det generelle indeks.
Det er dedikeret til det offentlige domæne, en serie af ubesværede fakta, som du kan
gør hvad du vil.
Der er ingen rettigheder forbeholdt.
Forskere på vej til opdagelse kan rådføre sig denne køreplan for hurtigere at finde destinationer
de ønsker at besøge. Vi er kun docenter i gange i de store arkiver i verden,
det kollektive fællesskab af forskere og forskere og ingeniører og kunstnere, der har skabt
disse templer af viden.
Disse templer, fra biblioteket i Alexandria til biblioteket i Alexandra, fra munkene
Irland til de store moderne forskningsbiblioteker i dag, fra de arabiske og jødiske skriftlærde
arbejder sammen om at bygge visdomshuset i Bagdad til vidensfabrikkerne
i moderne østindiske handelshuse som presserne i Oxford og Cambridge, disse
er de destinationer, forskere skal besøge at fremme deres håndværk, at lære af
dem, der kom foran os.
Disse templer indeholder summen af al viden, men vi skal kunne finde den viden.
Det generelle indeks er et kort.
Dette er ikke et kort til summen af al menneskelig viden,
men det er bestemt en væsentlig delmængde.
Til forøgelse og spredning af viden at fortsætte, hvis vi skal stå på skuldrene
af giganter, skal vi levere disse kort til det store idéverden.
Det generelle indeks er kun et værktøj, et værktøj at vi håber med tiden vil vinde i kvalitet
og i omfang, et værktøj, vi håber, vil give et nyttigt bidrag
til din videnskabspraksis.
Vi håber, at du også vil sætte dette generelle indeks overraskende anvendelser, at vi kan lave indekset
bedre, at du kan oprette andre værktøjer, det lærdefællesskabet kan arbejde sammen
i en fælles søgen efter at udvinde de store dybder af dette læringshav.
Jeg tror, vi alle deler et fælles mål, et fælles håb.
Som forskere, forskere, kunstnere, forfattere, som verdens borgere, som børn ønsker
at lære, som nysgerrige mennesker, tror jeg vi håber alle, at stigningen og udbredelsen
af viden vil gøre vores verden til en bedre sted, at det vil hjælpe os med at forstå vores
verden, for at helbrede sygdom og fattigdom, at komme videre videnskabens og handelens fremskridt og
humaniora og kunst.
Videnskab er et sprog, vi alle skal tale hvis vi skal forbedre vores verden.
Tak for at lytte.
[Seglet er gøen]
[Musik]