[Musica]
[Annunciatore] Questa hè Risorsa Publica
[Carl Malamud] Salutu, sò Carl Malamud.
Benvenuti à l'Indice Generale.
Avemu prisentatu quì per u vostru liberu è illimitatu aduprà un inseme di n-grammi estratti da 107 milioni,
233 mila, 728 articuli di rivista.
I n-grammi vanu da parolle uniche, cunnisciute cum'è unigrammi, à frasi à duie parolle (bigrami)
finu à frasi 5-parola, cunnisciute cum'è 5-grammi.
Ci hè, tuttu dettu, 355 miliardi di file di n-grammi in questa versione di l'indici generale, ognuna
currisponde à un successu in un articulu di rivista.
Un strumentu chjamatu Spacy hè statu adupratu per estrarre i n-grammi, chì avemu spartutu
attraversu sedici fugliali.
Assuciatu à ogni fila hè un hash md5, chì rapprisenta un articulu di rivista.
Inoltre, elencemu a frequenza di u n-gram in l'articulu.
Speremu cù u tempu di listà dinò a frequenza in u corpus generale, una metrica di rilevanza
cunnisciutu cum'è TD / IDF.
In più di i n-grammi, l'Indice Generale cuntene parolle chjave estratte aduprendu u Yake
toolkit.Yake "si basa nantu à u testu statisticu funziunalità estratti da documenti singuli à
selezziunate e parolle chjave più impurtanti di un testu. "
L'indice generale di e tabelle di parole chiave cuntene un tutale di 19 miliardi di parolle chjave.
Infine, l'indice generale cuntene una metadata tavula, mappendu u hash md5 à elementi tali
l'indirizzu unicu DOI per un articulu di rivista, u titulu, autore è rivista.
Questa hè una prima liberazione di l'indici generale, un travagliu in corsu.
In certi casi, l'estrazione di u testu hà fiascatu.
A volte, i metadati ùn sò micca dispunibili, o sò forse ancu incorrettu.
Mentre u corpus sottostante hè grande, hè micca cumpletu, è ùn hè micca aggiornatu.
Ci hè parechje manere chì si pò migliurà, è aspettemu cun impazienza di fà u Generale
Indice megliu cù u tempu.
L'indice generale occupa circa 38 terabyte di dati in forma di Postgres
dump, quantunque cù compressione, questu ASCII i dati sò ridotti à 8,5 terabyte.
Pudete scaricà i dati direttamente da quì, o utilizate strumenti cum'è bittorrent.
Sentitevi liberi di creà specchi o altru publicu repositorii per ridistribuisce l'indici generale.
A nostra speranza hè chì pò esse messu à un numeru d'usi. Avemu usatu una basa di dati Postgres,
è utilizendu l'indici generale per circà nomi di piante da una lista maestru.
L'indice puderia esse adupratu per circà l'altru oggetti, cume chimichi, geni in vari
codificazioni, proteine, materiali, nomi di lochi, o altre entità.
Invece di una basa di dati Postgres, altre tecniche, cum'è BERT, pò esse applicatu à i dati.
Questu hè un strumentu di ricerca, un dizziunariu di cunniscenza, una mappa à a cunniscenza, un strumentu chì credemu
hè una facilità essenziale per a pratica di a scienza in a nostra età muderna.
Stu indice generale à a cunniscenza ùn face micca u corpus sottostante dispunibile, Piuttostu, fatti
sò estratti da u corpus.
Questu hè un non cunsumitivu è usu trasfurmativu.
U cunsideremu cum'è una utilità publica nisuna pruprietà annantu à l'indici generale.
Hè dedicatu à u duminiu publicu, una seria di fatti inutili cù i quali pudete
fà ciò chì vulete.
Ùn ci hè micca diritti riservati.
I studiosi nantu à a strada di a scuperta ponu cunsultà stu fogliu di strada per truvà più rapidamente destinazioni
volenu visità. Ùn simu chè docenti in u corridoi di i vasti archivi di u mondu,
a cumunità cullettiva di studiosi è scienziati è ingegneri è artisti chì anu creatu
sti tempii di a cunniscenza.
Issi tempii, da a Bibbiuteca d’Alessandria à a Bibbiuteca d'Alexandra, da i monachi
di l'Irlanda à e vaste bibliuteche di ricerca muderne d'oghje, da i scribi arabi è ghjudei
travagliendu inseme per custruisce a Casa di a Sapienza in Baghdad à l'usine di cunniscenza allughjate
in case di cummerciu muderne indiane orientali cume e stampa di Oxford è Cambridge, queste
sò e destinazioni chì i studiosi devenu visità per fà avanzà u so mistieru, per amparà
quelli chì sò ghjunti nanzu à noi.
Questi tempii cuntenenu a somma di tutte e cunniscenze, ma duvemu esse capace di truvà quella cunniscenza.
L'indice generale hè una carta.
Questa ùn hè micca una mappa per a somma di tutte e cunniscenze umane,
ma hè di sicuru un sottogruppu sustanziale.
Per l'aumentu è a diffusione di a cunniscenza per cuntinuvà, sè no duvimu stà nantu à e spalle
di giganti, duvemu furnisce queste mape à quellu vastu mondu di idee.
L'indice generale hè solu un strumentu, un strumentu chì speremu cù u tempu guadagnerà in qualità
è in u scopu, un strumentu chì speremu chì furnisce una cuntribuzione utile
à a vostra pratica di scienza.
Speremu chì metterete ancu questu indice generale usi sorprendenti, chì pudemu fà l'indice
megliu, chì pudete creà altri strumenti, questu a cumunità di studiosi pò travaglià inseme
in una ricerca cumuna per sfruttà e vaste profondità di questu oceanu di amparera.
Credu chì tutti avemu un scopu cumunu, una speranza cumuna.
Cum'è scientisti, studiosi, artisti, scrittori, cum'è cittadini di u mondu, cum'è zitelli chì volenu
per amparà, cume esseri umani curiosi, credu speremu tutti chì l'aumentu è a diffusione
di cunniscenza farà u nostru mondu un megliu locu, chì ci aiuterà à capì u nostru
mondu, per curà e malatie è a puvertà, per avanzà u prugressu di a scienza è u cummerciu è u
l'umanità è l'arti.
A scienza hè una lingua chì duvemu tutti parlà sì simu per migliurà u nostru mondu.
Grazie per stà à sente.
[U Sigillu abbaia]
[Musica]