[Musiikki]
[Ilmoittaja] Tämä on julkinen resurssi
[Carl Malamud] Hei, olen Carl Malamud.
Tervetuloa Yleishakemistoon.
Esittelemme täällä ilmaiseksi ja rajoittamattomasti käyttää 107 miljoonasta uutettua n-grammaa,
233 tuhatta, 728 aikakauslehti -artikkelia.
N-grammat vaihtelevat yksittäisistä sanoista, jotka tunnetaan unigrammeina, kahden sanan lauseiksi (bigrams)
enintään 5 sanan lauseita, jotka tunnetaan nimellä 5 grammaa.
Kaiken kaikkiaan on 355 miljardia riviä n-grammaa tässä yleisen indeksin julkaisussa jokainen
vastaa osumaa lehden artikkelissa.
Uuttamiseen käytettiin työkalupakki nimeltään Spacy n-grammaa, jonka olemme jakaneet
kuusitoista tiedostoa.
Jokaiselle riville liittyy md5 -tiiviste, joka edustaa lehden artikkelia.
Lisäksi luetellaan taajuus n-grammaa artikkelissa.
Toivomme, että ajan myötä luetellaan myös taajuus koko korpus, osuvuusmittari
tunnetaan nimellä TD/IDF.
N-grammojen lisäksi yleinen indeksi sisältää avainsanoja, jotka on poimittu Yaken avulla
toolkit.Yake "perustuu tekstitilastotietoihin ominaisuuksia, jotka on purettu yksittäisistä asiakirjoista kohteeseen
valitse tekstin tärkeimmät avainsanat. ”
Yleiset hakemiston avainsanataulukot sisältävät yhteensä 19 miljardia avainsanaa.
Lopuksi yleinen hakemisto sisältää metatiedot taulukko, kartoittamalla md5 -tiiviste kohteisiin
päiväkirjaartikkelin yksilöllinen DOI -osoite, otsikko, kirjoittaja ja päiväkirja.
Tämä on yleisen indeksin varhainen julkaisu, käynnissä oleva työ.
Joissakin tapauksissa tekstin poiminta epäonnistui.
Joskus metatietoja ei ole saatavilla tai on ehkä jopa väärin.
Vaikka taustalla oleva korpus on suuri, se on ei ole täydellinen eikä ajan tasalla.
Tätä voidaan parantaa monella tavalla, ja odotamme kenraalin valintaa
Indeksi parani ajan myötä.
Yleinen indeksi on noin 38 teratavua dataa Postgres -muodossa
dump, mutta pakattaessa tämä ASCII tiedot pienenevät 8,5 teratavuun.
Voit ladata tiedot suoraan täältä, tai käytä työkaluja, kuten bittorrent.
Voit vapaasti luoda peilejä tai muuta julkista arkistot jakamaan uudelleen yleistä indeksiä.
Toivomme, että se voidaan asettaa numeroon käyttötarkoituksista. Olemme käyttäneet Postgres -tietokantaa,
ja käyttämällä yleistä hakemistoa kasvien nimet pääluettelosta.
Indeksiä voitaisiin käyttää etsimään muita esineitä, kuten kemikaaleja, eri geenejä
koodaukset, proteiinit, materiaalit, paikannimet, tai muita yhteisöjä.
Postgres -tietokannan sijasta muita tekniikoita, kuten BERT, voidaan soveltaa tietoihin.
Tämä on hakutyökalu, tiedon sanakirja, tiedon kartta, työkalu, johon uskomme
on välttämätön väline harjoittelulle tieteen nykyaikana.
Tämä yleinen tietoindeksi ei tee taustalla oleva korpus saatavilla, pikemminkin tosiasiat
poimitaan korpusesta.
Tämä on ei -kuluva ja muutoskäyttöön.
Pidämme tätä yleishyödyllisenä palveluna ei omista yleistä indeksiä.
Se on omistettu julkiselle sarjalle rajoittamattomista tosiasioista, joiden avulla voit
tee mitä haluat.
Ei ole oikeuksia pidätetty.
Tutkijat tiellä löytöihin voivat kuulla tämän etenemissuunnitelman avulla löydät kohteet nopeammin
he ovat vain dosentteja maailman valtavien arkistojen eteiset,
tutkijoiden ja tutkijoiden kollektiivinen yhteisö insinöörejä ja taiteilijoita, jotka ovat luoneet
nämä tiedon temppelit.
Nämä temppelit, Aleksandrian kirjastosta munkkien Alexandran kirjastoon
Irlannista laajoihin nykyaikaisiin tutkimuskirjastoihin nykyään arabien ja juutalaisten kirjanoppineilta
yhdessä rakentamaan Viisauden taloa Bagdadissa sijaitseville tietotehtaille
nykyaikaisissa Itä -Intian kauppakeskuksissa Oxfordin ja Cambridgen lehdistöt, nämä
ovat kohteita, joissa tutkijoiden on käytävä kehittää ammattiaan, oppia
ne, jotka tulivat ennen meitä.
Nämä temppelit sisältävät kaiken tiedon, mutta meidän on löydettävä tämä tieto.
Yleinen hakemisto on kartta.
Tämä ei ole kartta kaikkien ihmisten tietämyksen summasta,
mutta se on varmasti merkittävä osajoukko.
Tiedon lisäämiseksi ja levittämiseksi jatkaa, jos aiomme seisoa hartioilla
jättiläisistä, meidän on toimitettava nämä kartat siihen laaja ajatusmaailma.
Yleinen indeksi on vain yksi työkalu, työkalu toivomme, että laatu paranee ajan myötä
ja laajuudessa työkalu, jonka toivomme tarjoavan hyödyllinen panos
tieteelliseen käytäntöönne.
Toivomme, että laitat myös tämän yleisen indeksin yllättäviä käyttötapoja, että voimme tehdä indeksin
parempi, että voit luoda muita työkaluja tutkijayhteisö voi tehdä yhteistyötä
yhteisenä pyrkimyksenä louhia valtavia syvyyksiä tästä oppimisen merestä.
Uskon, että meillä kaikilla on yhteinen tavoite, yhteinen toivo.
Tiedemiehinä, tutkijoina, taiteilijoina, kirjailijoina, maailman kansalaisina, lapsina, jotka haluavat
oppia uteliaina ihmisinä, uskon toivomme kaikki, että lisääntyminen ja leviäminen
tieto tekee maailmasta paremman paikka, että se auttaa meitä ymmärtämään omaamme
maailmassa, parantaa sairauksia ja köyhyyttä, edetä tieteen ja kaupan kehitystä ja
humanistiset tieteet ja taiteet.
Tiede on kieli, jota meidän kaikkien on puhuttava, jos meidän on parannettava maailmaa.
Kiitos kuuntelemisesta.
[Sinetti haukkuu]
[Musiikki]