[Musica]
[Annunciatore] Questa è una risorsa pubblica
[Carl Malamud] Ciao, sono Carl Malamud.
Benvenuti nell'indice generale.
Vi presentiamo qui per il vostro libero e illimitato utilizzare un insieme di n-grammi estratti da 107 milioni,
233 mila, 728 articoli su riviste.
Gli n-grammi vanno da singole parole, conosciute come unigrammi, a frasi di due parole (bigrammi)
fino a frasi di 5 parole, note come 5 grammi.
Ci sono, tutto sommato, 355 miliardi di righe di n-grammi in questa versione dell'indice generale, ciascuno
corrispondente a un successo in un articolo di giornale.
Per estrarre è stato utilizzato un toolkit chiamato Spacy gli n-grammi, che abbiamo diviso
su sedici file.
Associato a ciascuna riga è un hash md5, che rappresenta un articolo di giornale.
Inoltre, elenchiamo la frequenza del n-grammo nell'articolo.
Speriamo col tempo di elencare anche la frequenza nel corpus complessivo, una metrica di pertinenza
noto come TD/IDF.
Oltre agli n-grammi, l'Indice Generale contiene parole chiave estratte utilizzando Yake
toolkit.Yake “si basa sulla statistica del testo caratteristiche estratte da singoli documenti per
seleziona le parole chiave più importanti di un testo.”
Le tabelle delle parole chiave dell'indice generale contengono un totale di 19 miliardi di parole chiave.
Infine, l'indice generale contiene un metadata tabella, mappando l'hash md5 a elementi come
l'indirizzo univoco DOI per un articolo di giornale, titolo, autore e rivista.
Questa è una versione anticipata dell'indice generale, un lavoro in corso.
In alcuni casi, l'estrazione del testo non è riuscita.
A volte, i metadati non sono disponibili o lo sono forse anche scorretto.
Sebbene il corpus sottostante sia ampio, lo è non è completo e non è aggiornato.
Ci sono molti modi in cui questo può essere migliorato, e non vediamo l'ora di fare il Generale
Indice migliore nel tempo.
L'indice generale occupa circa 38 terabyte di dati sotto forma di Postgres
dump, tuttavia con la compressione, questo ASCII i dati sono ridotti a 8,5 terabyte.
Puoi scaricare i dati direttamente da qui, o utilizzare strumenti come bittorrent.
Sentiti libero di creare specchi o altro pubblico repository per ridistribuire l'indice generale.
La nostra speranza è che possa essere messo a un numero di usi. Abbiamo utilizzato un database Postgres,
e usando l'indice generale per cercare nomi di piante da un elenco principale.
L'indice potrebbe essere utilizzato per cercare altro oggetti, come sostanze chimiche, geni in vari
codifiche, proteine, materiali, toponimi, o altri enti.
Invece di un database Postgres, altre tecniche, come BERT, può essere applicato ai dati.
Questo è uno strumento di ricerca, un dizionario della conoscenza, una mappa per la conoscenza, uno strumento in cui crediamo
è una struttura essenziale per la pratica della scienza nella nostra epoca moderna.
Questo indice generale di conoscenza non rende il corpus sottostante disponibile, Piuttosto, fatti
sono estratti dal corpus.
Questo è un non consuntivo e l'uso trasformazionale.
Consideriamo questo come un'utilità pubblica. Affermiamo nessuna proprietà sull'indice generale.
È dedicato al pubblico dominio, una serie di fatti liberi con cui puoi
fai quello che vuoi.
Non ci sono diritti riservati.
Gli studiosi sulla strada della scoperta possono consultare questa tabella di marcia per trovare più rapidamente le destinazioni
desiderano visitare. Siamo solo docenti universitari nel corridoi dei vasti archivi del mondo,
la comunità collettiva di studiosi e scienziati e ingegneri e artisti che hanno creato
questi templi della conoscenza.
Questi templi, dalla Biblioteca di Alessandria alla Biblioteca di Alessandra, dai monaci
d'Irlanda alle vaste moderne biblioteche di ricerca di oggi, dagli scribi arabi ed ebrei
lavorare insieme per costruire la Casa della Sapienza a Baghdad alle fabbriche della conoscenza ospitate
nelle moderne case commerciali dell'India orientale come le presse di Oxford e Cambridge, queste
sono le mete che gli studiosi devono visitare per far progredire il loro mestiere, per imparare da
quelli che ci hanno preceduto.
Questi templi contengono la somma di tutta la conoscenza, ma dobbiamo essere in grado di trovare quella conoscenza.
L'indice generale è una mappa.
Questa non è una mappa per la somma di tutta la conoscenza umana,
ma è certamente un sottoinsieme sostanziale.
Per l'incremento e la diffusione della conoscenza continuare, se dobbiamo stare sulle spalle
dei giganti, dobbiamo fornire queste mappe a quello vasto mondo di idee.
L'indice generale non è che uno strumento, uno strumento che speriamo col tempo guadagni in qualità
e nell'ambito, uno strumento che speriamo possa fornire un utile contributo
alla tua pratica scientifica.
Speriamo che metterai anche questo indice generale usi sorprendenti, che possiamo fare dell'indice
meglio, che puoi creare altri strumenti, che la comunità degli studiosi può lavorare insieme
in una ricerca comune per estrarre le vaste profondità di questo oceano di apprendimento.
Credo che tutti condividiamo un obiettivo comune, una speranza comune.
Come scienziati, studiosi, artisti, scrittori, come cittadini del mondo, come bambini che desiderano
imparare, come esseri umani curiosi, credo speriamo tutti che l'aumento e la diffusione
di conoscenza renderà il nostro mondo un migliore luogo, che ci aiuterà a capire il nostro
mondo, per curare malattie e povertà, per avanzare il progresso della scienza e del commercio e la
umanistiche e artistiche.
La scienza è una lingua che dobbiamo parlare tutti se dobbiamo migliorare il nostro mondo.
Grazie per aver ascoltato.
[Il sigillo sta abbaiando]
[Musica]