[Musik]
[Announcer] Detta är allmän resurs
[Carl Malamud] Hej, jag heter Carl Malamud.
Välkommen till General Index.
Vi presenterar här gratis och obegränsat använd en uppsättning n-gram extraherade från 107 miljoner,
233 tusen, 728 tidskriftsartiklar.
N-gram sträcker sig från enstaka ord, kända som unigram, till fraser med två ord (bigram)
upp till 5-ordsfraser, kända som 5-gram.
Det finns 355 miljarder rader med n-gram i denna version av det allmänna indexet, var
motsvarande en träff i en tidningsartikel.
En verktygslåda som heter Spacy användes för att extrahera n-gram, som vi har delat
över sexton filer.
Till varje rad hör en md5 -hash, vilken representerar en tidningsartikel.
Dessutom listar vi frekvensen för n-gram i artikeln.
Vi hoppas med tiden också att lista frekvensen i den övergripande korpusen, en relevansmätning
känd som TD/IDF.
Förutom n-gram, General Index innehåller nyckelord extraherade med hjälp av Yake
verktygslåda.Yake ”vilar på textstatistik funktioner extraherade från enstaka dokument till
välj de viktigaste sökorden i en text. ”
De generella sökordstabellerna för index innehåller totalt 19 miljarder sökord.
Slutligen innehåller det allmänna indexet en metadata tabell, mappa md5 -hash till objekt som
DOI: s unika adress för en tidningsartikel, titeln, författaren och tidskriften.
Detta är en tidig publicering av det allmänna indexet, ett pågående arbete.
I vissa fall misslyckades textuttagning.
Ibland är metadata inte tillgänglig, eller är kanske till och med fel.
Medan den underliggande korpusen är stor är den det inte komplett och är inte uppdaterad.
Det finns många sätt att förbättra detta, och vi ser fram emot att göra general
Index bättre över tid.
Det allmänna indexet upptar cirka 38 terabyte med data i form av en Postgres
dumpa, dock med komprimering, denna ASCII data reduceras till 8,5 terabyte.
Du kan ladda ner data direkt härifrån, eller använd verktyg som bittorrent.
Skapa gärna speglar eller annan publik lagrar för att omfördela det allmänna indexet.
Vår förhoppning är att det kan sättas till ett antal av användningsområden. Vi har använt en Postgres -databas,
och använda det allmänna indexet för att söka efter namn på växter från en huvudlista.
Indexet kan användas för att söka efter andra föremål, såsom kemikalier, gener i olika
kodningar, proteiner, material, ortnamn, eller andra enheter.
I stället för en Postgres -databas kan andra tekniker, t.ex. BERT, kan tillämpas på data.
Detta är ett sökverktyg, en kunskapsordlista, en karta till kunskap, ett verktyg som vi tror
är en väsentlig möjlighet för praktiken vetenskap i vår moderna tid.
Detta allmänna index för kunskap gör inte den underliggande korpusen tillgänglig, Snarare fakta
extraheras från korpus.
Detta är ett icke -konsumtionsmedel och transformationsanvändning.
Vi ser detta som ett allmänt nyttigt verktyg. Vi hävdar inget ägande över det allmänna indexet.
Det är tillägnat det offentliga området, en serie av obefintliga fakta som du kan
gör vad du vill.
Det finns inga rättigheter förbehållna.
Forskare på vägen till upptäckten kan rådfråga denna färdplan för att snabbare hitta destinationer
de vill besöka. Vi är bara docenter i korridorer i världens stora arkiv,
den kollektiva gemenskapen av forskare och forskare och ingenjörer och konstnärer som har skapat
dessa kunskapstempel.
Dessa tempel, från biblioteket i Alexandria till Alexandras bibliotek, från munkarna
av Irland till de stora moderna forskningsbiblioteken i dag, från de arabiska och judiska skriftlärda
arbeta tillsammans för att bygga House of Wisdom i Bagdad till kunskapsfabrikerna
i moderna östindiska handelshus som pressarna i Oxford och Cambridge, dessa
är de destinationer som forskare måste besöka att främja sitt hantverk, att lära av
de som kom före oss.
Dessa tempel innehåller summan av all kunskap, men vi måste kunna hitta den kunskapen.
Det allmänna indexet är en karta.
Detta är inte en karta till summan av all mänsklig kunskap,
men det är verkligen en betydande delmängd.
För att öka och sprida kunskap att fortsätta, om vi ska stå på axlarna
av jättar måste vi tillhandahålla dessa kartor till det en stor idévärld.
Det allmänna indexet är bara ett verktyg, ett verktyg som vi hoppas med tiden kommer att öka i kvalitet
och i omfattning, ett verktyg som vi hoppas kommer att ge ett användbart bidrag
till din vetenskapspraxis.
Vi hoppas att du kommer att lägga detta allmänna index också överraskande användningsområden, att vi kan göra indexet
bättre, att du kan skapa andra verktyg, det gemenskapen av forskare kan arbeta tillsammans
i en gemensam strävan efter att bryta de stora djupen av detta lärande hav.
Jag tror att vi alla har ett gemensamt mål, ett gemensamt hopp.
Som forskare, forskare, konstnärer, författare, som medborgare i världen, som barn som önskar
att lära mig, som nyfikna människor, tror jag vi hoppas alla att ökningen och spridningen
av kunskap kommer att göra vår värld till en bättre plats, att det kommer att hjälpa oss att förstå vår
världen, för att bota sjukdomar och fattigdom, att gå framåt vetenskapens och handelns framsteg och
humaniora och konst.
Vetenskap är ett språk vi alla måste tala om vi ska förbättra vår värld.
Tack för att du lyssna.
[Sälen skäller]
[Musik]