[Muusika]
[Kuulutaja] See on avalik ressurss
[Carl Malamud] Tere, mina olen Carl Malamud.
Tere tulemast üldindeksisse.
Esitame siin tasuta ja piiramatult kasutage 107 miljonist eraldatud n-grammi komplekti,
233 tuhat, 728 ajakirja artiklit.
N-grammid ulatuvad üksikutest sõnadest unigrammidena kahesõnaliste fraasideni (bigrammid)
kuni 5-sõnalisi fraase, mida nimetatakse 5-grammilisteks.
Kokkuvõttes on n-gramme 355 miljardit rida käesolevas üldindeksi väljaandes igaüks
vastab ajakirja artikli tabamusele.
Ekstraheerimiseks kasutati tööriistakomplekti nimega Spacy n-grammi, mille oleme poolitanud
kuusteist faili.
Iga reaga on seotud md5 räsi, mis esindab ajakirja artiklit.
Lisaks loetleme sageduse n-grammi artiklis.
Loodame aja jooksul ka sageduse loetleda üldises korpuses asjakohasuse mõõdik
tuntud kui TD/IDF.
Lisaks n-grammidele üldindeks sisaldab Yake abil ekstraheeritud märksõnu
tööriistakomplekt.Yake “toetub tekstistatistikale funktsioonid, mis on eraldatud üksikutest dokumentidest
valige teksti kõige olulisemad märksõnad. ”
Indeksite üldtabelid sisaldavad kokku 19 miljardit märksõna.
Lõpuks sisaldab üldindeks metaandmeid tabel, kaardistades md5 räsi selliste elementidega
ajakirjaartikli ainulaadne aadress DOI, pealkiri, autor ja ajakiri.
See on üldindeksi varajane avaldamine, pooleliolev töö.
Mõnel juhul ei õnnestunud teksti väljavõtmine.
Mõnikord pole metaandmeid või on võib -olla isegi vale.
Kuigi selle aluseks olev korpus on suur, on see nii pole täielik ega ole ajakohane.
Seda saab parandada mitmel viisil, ja ootame kindrali valimist
Aja jooksul on indeks parem.
Üldindeks on umbes 38 terabaiti andmeid Postgresi kujul
prügila, kuid tihendamisega see ASCII andmeid vähendatakse 8,5 terabaidini.
Andmed saate alla laadida otse siit, või kasutage selliseid tööriistu nagu bittorrent.
Looge julgelt peegleid või muud avalikku hoidlad üldindeksi ümberjaotamiseks.
Loodame, et selle saab numbrile panna kasutustest. Oleme kasutanud Postgresi andmebaasi,
ja otsimiseks üldist indeksit taimede nimed põhiloendist.
Indeksit saab kasutada muu otsimiseks mitmesuguseid objekte, nagu kemikaalid, geenid
kodeeringud, valgud, materjalid, kohanimed, või muud üksused.
Postgresi andmebaasi asemel kasutatakse muid tehnikaid, nagu BERT, saab andmetele rakendada.
See on otsingutööriist, teadmiste sõnastik, teadmiste kaart, tööriist, mida me usume
on praktika jaoks hädavajalik teadusest meie tänapäeval.
See üldine teadmiste indeks ei võimalda aluseks olev korpus olemas, Pigem faktid
ekstraheeritakse korpusest.
See on mittetarbiv ja transformatiivne kasutamine.
Me peame seda avalikuks. Me väidame puudub üldine indeks.
See on pühendatud üldkasutatavale sarjale koormamata faktidest, millega saate
tee mis tahad.
Puuduvad õigused.
Teadlased avastusteel saavad nõu pidada see tegevuskava sihtkohtade kiiremaks leidmiseks
nad soovivad külastada. Oleme vaid dotsendid maailma suurte arhiivide koridorid,
teadlaste ja teadlaste kollektiiv insenerid ja kunstnikud, kes on loonud
need teadmiste templid.
Need templid Aleksandria raamatukogust munkadelt Alexandra raamatukokku
Iirimaalt tohututesse kaasaegsetesse teadusraamatukogudesse tänapäeval araablaste ja juudi kirjatundjate käest
koos tarkuse maja ehitamiseks Bagdadis asuvasse teadmistehasesse
kaasaegsetes Ida -India kaubandusmajades nagu Oxfordi ja Cambridge'i pressid, need
on sihtkohad, mida teadlased peavad külastama oma käsitööd edendada, millest õppida
need, kes tulid enne meid.
Need templid sisaldavad kõigi teadmiste summat, aga me peame suutma need teadmised üles leida.
Üldine indeks on kaart.
See ei ole kaart kõigi inimteadmiste summale,
kuid see on kindlasti oluline alamhulk.
Teadmiste suurendamiseks ja levitamiseks jätkata, kui tahame õlgadel seista
hiiglastest, peame need kaardid selleks esitama suur ideede maailm.
Üldindeks on vaid üks tööriist, tööriist loodame, et aja jooksul kvaliteet paraneb
ja ulatuses - vahend, mida loodame pakkuda kasulik panus
oma teaduspraktikale.
Loodame, et panete ka selle üldise indeksi on üllatav, et saame indeksi koostada
parem, kui saate luua muid tööriistu teadlaste kogukond saab koostööd teha
ühises püüdluses kaevata tohutut sügavust sellest õppimise ookeanist.
Usun, et meil kõigil on ühine eesmärk, ühine lootus.
Teadlaste, teadlaste, kunstnike, kirjanike, maailmakodanikena, soovivatena lastena
ma usun uudishimulike inimestena õppima loodame kõik, et kasv ja levik
teadmised muudavad meie maailma paremaks koht, mis aitab meil mõista oma
maailmas, et ravida haigusi ja vaesust, edasi liikuda teaduse ja kaubanduse arengut ning
humanitaarteadused ja kunstid.
Teadus on keel, mida me kõik peame rääkima, kui me tahame oma maailma paremaks muuta.
Aitah kuulamast.
[Hüljes haugub]
[Muusika]