[Zene]
[Hirdető] Ez nyilvános erőforrás
[Carl Malamud] Helló, Carl Malamud vagyok.
Üdvözöljük az Általános Indexben.
Itt ingyen és korlátlanul bemutatjuk használjon 107 millióból kivont n-gramm készletet,
233 ezer, 728 folyóiratcikk.
Az n-gramm egyetlen szóból áll, ismert unigrammként, kétszavas kifejezésekhez (bigrams)
legfeljebb 5 szóból álló kifejezés, 5 gramm néven.
Összességében elmondható, hogy 355 milliárd sor n-gramm van az általános index jelen kiadásában mindegyik
találatnak felel meg egy folyóiratcikkben.
A kibontáshoz Spacy nevű eszköztárat használtak az n-grammokat, amelyeket felosztottunk
tizenhat fájlban.
Minden sorhoz egy md5 hash tartozik, amely folyóiratcikket képvisel.
Ezenkívül felsoroljuk a gyakoriságát n-gramm a cikkben.
Reméljük idővel a gyakoriságot is felsoroljuk a teljes korpuszban egy relevancia mutató
TD/IDF néven ismert.
Az n-grammon kívül az Általános Index a Yake segítségével kinyert kulcsszavakat tartalmazza
toolkit.Yake „a szöveges statisztikai adatokon nyugszik az egyes dokumentumokból kibontott funkciók
válassza ki a szöveg legfontosabb kulcsszavait. ”
Az általános index kulcsszótáblák tartalmazzák összesen 19 milliárd kulcsszó.
Végül az általános index metaadatokat tartalmaz táblázat, az md5 hash leképezése olyan elemekre
a DOI egyedi címe egy folyóiratcikkhez, a cím, a szerző és a folyóirat.
Ez az általános index korai kiadása, folyamatban lévő munka.
Bizonyos esetekben a szöveg kibontása nem sikerült.
Néha a metaadatok nem vagy nem állnak rendelkezésre talán még helytelen is.
Bár a mögöttes korpusz nagy, mégis az nem teljes, és nem naprakész.
Ezt sokféleképpen lehet javítani, és várjuk a tábornokot
Idővel jobb az index.
Az általános index körülbelül 38 -at foglal el terabájtnyi adat Postgres formában
dump, azonban tömörítéssel ez az ASCII az adatok 8,5 terabájtra csökkennek.
Innen közvetlenül letöltheti az adatokat, vagy használjon olyan eszközöket, mint a bittorrent.
Nyugodtan hozzon létre tükröket vagy más nyilvánosságot adattárak az általános index újraelosztására.
Reméljük, hogy ez egy számra is felírható felhasználásokról. Postgres adatbázist használtunk,
és az általános index használatával keres növények nevei egy mesterlistából.
Az index más keresésére is használható tárgyak, például vegyszerek, gének különböző
kódolások, fehérjék, anyagok, helynevek, vagy más entitások.
A Postgres adatbázis helyett más technikák, mint például a BERT, alkalmazható az adatokra.
Ez egy keresési eszköz, a tudás szótára, egy térkép a tudáshoz, egy eszköz, amiben hiszünk
elengedhetetlen eszköz a gyakorlathoz a tudományról modern korunkban.
Ez az általános tudásmutató nem teszi lehetővé a rendelkezésre álló korpusz, Inkább tények
kivonják a korpuszból.
Ez nem fogyasztó jellegű és transzformációs használat.
Ezt közszolgáltatásnak tekintjük. Azt állítjuk nincs tulajdonjoga az általános index felett.
A nyilvánosság számára, egy sorozatnak szentelt a tehermentes tényeket, amelyekkel lehet
tedd, amit akarsz.
Nincsenek fenntartva jogok.
A felfedezéshez vezető úton tudósok konzultálhatnak ezt az útitervet az úti célok gyorsabb megtalálásához
meg akarják látogatni.Mi csak docensek vagyunk a a világ hatalmas archívumának folyosói,
a tudósok és tudósok kollektív közössége és a létrehozott mérnökök és művészek
a tudásnak ezek a templomai.
Ezek a templomok, az alexandriai könyvtárból az Alexandrai Könyvtárba, a szerzetesektől
Írországból a hatalmas modern kutatókönyvtárakba ma az arab és zsidó írástudóktól
közösen építeni a Bölcsesség Házát Bagdadban a tudás gyáraiba
a modern kelet -indiai kereskedőházakban, mint a Oxford és Cambridge sajtóit, ezeket
ezek azok a célpontok, amelyeket a tudósoknak meg kell látogatniuk hogy fejlesszék mesterségüket, tanuljanak
akik előttünk jöttek.
Ezek a templomok minden tudás összegét tartalmazzák, de meg kell tudnunk találni ezt a tudást.
Az általános index egy térkép.
Ez nem egy térkép az összes emberi tudás összegére,
de mindenképpen lényeges részhalmaz.
A tudás gyarapítására és terjesztésére folytatni, ha vállra akarunk állni
az óriások közül ezeket a térképeket kell biztosítanunk az ötletek hatalmas világa.
Az általános index csak egy eszköz, egy eszköz reméljük, hogy idővel minőségileg javulni fog
és hatókörében egy olyan eszköz, amelyet remélünk, hogy nyújtani fog hasznos hozzájárulás
tudománygyakorlatához.
Reméljük, ezt az általános indexet is felteszi meglepő módon, hogy elkészíthetjük az indexet
jobb, ha más eszközöket is létrehozhat a tudósok közössége együttműködhet
közös törekvésben, hogy kitermeljék a hatalmas mélységeket a tanulás ezen óceánjáról.
Hiszem, hogy mindannyiunknak közös célja van, közös remény.
Mint tudósok, tudósok, művészek, írók, a világ polgáraiként, kívánó gyermekekként
hogy kíváncsi emberként tanuljak, azt hiszem mindannyian reméljük, hogy a növekedés és a terjedés
a tudás jobbá teszi a világunkat helyen, hogy ez segítsen nekünk megérteni a sajátunkat
világ, a betegségek és a szegénység gyógyítása, a fejlődés a tudomány és a kereskedelem fejlődése és a
bölcsészettudományok és a művészetek.
A tudomány olyan nyelv, amelyet mindannyian beszélnünk kell, ha jobbá akarjuk tenni a világunkat.
Köszönöm, hogy meghallgattak.
[A pecsét ugat]
[Zene]