[Musika]
[Announcer] Ito ay Public Resource
[Carl Malamud] Kumusta, ako si Carl Malamud.
Maligayang pagdating sa Pangkalahatang Index.
Nagpapakita kami dito para sa iyong libre at walang limitasyong gumamit ng isang hanay ng mga n-gramo na nakuha mula sa 107 milyon,
233 libo, 728 na mga artikulo sa journal.
Ang n-gramo ay mula sa mga solong salita, kilala bilang mga unigram, sa dalawang pariralang parirala (bigrams)
hanggang sa 5-salita na parirala, na kilala bilang 5-gramo.
Mayroong, lahat sinabi, 355 bilyong mga hilera ng n-gramo sa paglabas na ito ng pangkalahatang index, bawat isa
naaayon sa isang hit sa isang artikulo sa journal.
Ang isang toolkit na tinatawag na Spacy ay ginamit upang kumuha ang n-gramo, na pinaghati-hati namin
sa labing-anim na mga file.
Naiuugnay sa bawat hilera ay isang md5 hash, kung saan kumakatawan sa isang artikulo sa journal.
Bilang karagdagan, nakalista kami sa dalas ng n-gramo sa artikulo.
Inaasahan namin sa paglipas ng panahon upang mailista din ang dalas sa pangkalahatang corpus, isang sukatan ng kaugnayan
kilala bilang TD / IDF.
Bilang karagdagan sa n-gramo, ang Pangkalahatang Index naglalaman ng mga keyword na nakuha gamit ang Yake
toolkit.Yake "nakasalalay sa istatistika ng teksto mga tampok na nakuha mula sa solong mga dokumento hanggang sa
piliin ang pinakamahalagang mga keyword ng isang teksto. ”
Naglalaman ang mga talahanayan ng pangkalahatang keyword keyword isang kabuuang 19 bilyong mga keyword.
Panghuli, ang pangkalahatang index ay naglalaman ng isang metadata talahanayan, pagmamapa ng md5 hash sa mga item tulad
ang natatanging address ng DOI para sa isang artikulo sa journal, ang pamagat, may-akda, at journal.
Ito ay isang maagang pagpapalabas ng pangkalahatang index, isang gawaing isinasagawa.
Sa ilang mga kaso, nabigo ang pagkuha ng teksto.
Minsan, ang metadata ay hindi magagamit, o mayroon baka mali pa.
Habang ang kalakip na corpus ay malaki, ito ay hindi kumpleto, at hindi napapanahon.
Maraming mga paraan upang mapabuti ito, at inaasahan namin ang paggawa ng Pangkalahatan
Mas mahusay ang index sa paglipas ng panahon.
Ang pangkalahatang index ay sumasakop sa humigit-kumulang na 38 terabytes ng data sa anyo ng isang Postgres
magtapon, subalit may compression, ang ASCII na ito ang data ay nabawasan sa 8.5 terabytes.
Maaari mong i-download ang data nang direkta mula dito, o gumamit ng mga tool tulad ng bittorrent.
Huwag mag-atubiling lumikha ng mga salamin o iba pang publiko mga repositoryo upang muling ipamahagi ang pangkalahatang index.
Ang aming pag-asa ay maaari itong ilagay sa isang numero ng gamit. Gumagamit kami ng isang database ng Postgres,
at paggamit ng pangkalahatang index upang maghanap mga pangalan ng halaman mula sa isang master list.
Maaaring gamitin ang index upang maghanap ng iba pa mga bagay, tulad ng mga kemikal, mga gene sa iba`t ibang
mga pag-encode, protina, materyales, pangalan ng lugar, o iba pang mga entity.
Sa halip na isang database ng Postgres, iba pang mga diskarte, tulad ng BERT, maaaring mailapat sa data.
Ito ay isang tool sa paghahanap, isang diksyunaryo ng kaalaman, isang mapa sa kaalaman, isang tool na pinaniniwalaan namin
ay isang mahalagang pasilidad para sa pagsasanay ng agham sa ating modernong panahon.
Ang pangkalahatang index sa kaalaman ay hindi nagagawa ang pinagbabatayan ng corpus na magagamit, Sa halip, mga katotohanan
ay nakuha mula sa corpus.
Ito ay isang hindi konpumpto at paggamit ng transformational.
Tinitingnan namin ito bilang isang public utility. Pinatutunayan namin walang pagmamay-ari sa pangkalahatang index.
Ito ay nakatuon sa pampublikong domain, isang serye ng mga walang katotohanan na katotohanan na maaari mong makuha
gawin ang nais mo
Walang nakalaan na mga karapatan.
Ang mga iskolar sa daan patungo sa pagtuklas ay maaaring kumunsulta ang roadmap na ito upang mas mabilis makahanap ng mga patutunguhan
nais nilang bisitahin. Kami ay ngunit mga dokumento sa mga pasilyo ng malawak na mga archive ng mundo,
ang sama na pamayanan ng mga iskolar at siyentipiko at mga inhinyero at artista na lumikha
ang mga templo ng kaalaman.
Ang mga templo na ito, mula sa Library of Alexandria sa Library ng Alexandra, mula sa mga monghe
ng Ireland sa malawak na modernong mga aklatan sa pagsasaliksik ng ngayon, mula sa Arab at Hudyo na mga eskriba
nagtutulungan upang maitayo ang Kapulungan ng Karunungan sa Baghdad sa mga pabrika ng kaalaman na nakalagay
sa modernong mga bahay sa pangangalakal ng East India tulad ng ang mga pagpindot sa Oxford at Cambridge, ito
ang mga patutunguhan na dapat bisitahin ng mga iskolar upang isulong ang kanilang bapor, upang matuto mula sa
ang nauna sa atin.
Ang mga templong ito ay naglalaman ng kabuuan ng lahat ng kaalaman, ngunit dapat nating matagpuan ang kaalamang iyon.
Ang pangkalahatang index ay isang mapa.
Hindi ito isang mapa sa kabuuan ng lahat ng kaalaman ng tao,
ngunit ito ay tiyak na isang malaking subset.
Para sa pagtaas at pagsasabog ng kaalaman upang magpatuloy, kung tayo ay tatayo sa balikat
ng mga higante, dapat nating ibigay ang mga mapang ito malawak na mundo ng mga ideya.
Ang pangkalahatang index ay ngunit isang tool, isang tool na inaasahan naming sa paglipas ng panahon ay makakakuha ng kalidad
at sa saklaw, isang tool na inaasahan naming ibibigay isang kapaki-pakinabang na kontribusyon
sa iyong pagsasanay ng agham.
Inaasahan namin na mailagay mo rin ang pangkalahatang index na ito nakakagulat na paggamit, na maaari naming gawin ang index
mas mabuti, na maaari kang lumikha ng iba pang mga tool, iyon ang pamayanan ng mga iskolar ay maaaring magtulungan
sa isang karaniwang pakikipagsapalaran upang mina ang malawak na kalaliman ng karagatang ito ng pag-aaral.
Naniniwala akong lahat tayo ay nagbabahagi ng isang karaniwang layunin, isang pangkaraniwang pag-asa.
Bilang siyentipiko, iskolar, artista, manunulat, bilang mga mamamayan ng mundo, bilang mga bata na nagnanais
upang matuto, bilang mausisa na tao, naniniwala ako inaasahan nating lahat na ang pagtaas at pagsasabog
ng kaalaman ay magpapaganda ng ating mundo lugar, na makakatulong ito sa amin na maunawaan ang ating
mundo, upang pagalingin ang sakit at kahirapan, upang isulong ang pag-usad ng agham at komersyo at ang
makatao at mga sining.
Ang agham ay isang wika na dapat nating lahat magsalita kung tayo ay upang mapabuti ang ating mundo.
Salamat sa pakikinig.
[Ang Selyo ay Nagbabarkada]
[Musika]