[Müzik]
[Sunucu] Bu Kamusal Kaynaktır
[Carl Malamud] Merhaba, ben Carl Malamud.
Genel Dizine hoş geldiniz.
Burada ücretsiz ve sınırsız olarak sunuyoruz 107 milyondan çıkarılan bir dizi n-gram kullanın,
233 bin 728 dergi makalesi.
n-gramlar, bilinen tek kelimelerden unigram olarak, iki kelimelik tümcelere (bigramlar)
5 gram olarak bilinen 5 kelimeye kadar tümceler.
Söylenenlere göre 355 milyar sıra n-gram var. genel endeksin bu yayınında, her biri
bir dergi makalesindeki bir isabete karşılık gelir.
çıkarmak için Spacy adlı bir araç seti kullanıldı. böldüğümüz n-gramlar
on altı dosyada.
Her satırla ilişkilendirilen bir md5 karma değeridir. bir dergi makalesini temsil eder.
Ek olarak, frekansını listeleriz. makaledeki n-gram.
Zamanla sıklığı da listelemeyi umuyoruz genel korpusta, bir alaka düzeyi metriği
TD/IDF olarak bilinir.
n-gramlara ek olarak, Genel Endeks Yake kullanılarak çıkarılan anahtar kelimeleri içerir
toolkit.Yake “metin istatistiksel tek bir belgeden çıkarılan özellikler
bir metnin en önemli anahtar kelimelerini seçin.”
Genel dizin anahtar kelime tabloları şunları içerir: toplam 19 milyar anahtar kelime.
Son olarak, genel dizin bir meta veri içerir. tablo, md5 karmasını aşağıdaki gibi öğelerle eşleme
Bir dergi makalesi için DOI benzersiz adresi, başlık, yazar ve dergi.
Bu, genel endeksin erken bir sürümüdür, devam eden bir çalışma.
Bazı durumlarda, metin çıkarma işlemi başarısız oldu.
Bazen meta veriler mevcut değildir veya hatta belki yanlış.
Altta yatan korpus büyük olsa da, tamamlanmamıştır ve güncel değildir.
Bunu iyileştirmenin birçok yolu var, ve General'i yapmak için sabırsızlanıyoruz
Zamanla daha iyi dizin.
Genel endeks yaklaşık 38'i kaplar Postgres biçiminde terabaytlarca veri
dökümü, ancak sıkıştırma ile, bu ASCII veri 8,5 terabayta düşürülür.
Verileri doğrudan buradan indirebilirsiniz, veya bittorrent gibi araçlar kullanın.
Aynalar veya diğer halka açık şeyler oluşturmaktan çekinmeyin genel endeksi yeniden dağıtmak için depolar.
Umudumuz, bir sayıya konabilmesidir. kullanımlar. Bir Postgres veritabanı kullanıyoruz,
ve aramak için genel dizini kullanma bir ana listeden bitki isimleri.
Endeks diğerlerini aramak için kullanılabilir kimyasallar, genler gibi çeşitli nesneler
kodlamalar, proteinler, malzemeler, yer adları, veya diğer varlıklar.
Postgres veritabanı yerine başka teknikler, BERT gibi verilere uygulanabilir.
Bu bir arama aracı, bir bilgi sözlüğü, bilgiye giden bir harita, inandığımız bir araç
uygulama için önemli bir tesistir modern çağımızda bilimin
Bu genel bilgi endeksi, mevcut temel korpus, Aksine, gerçekler
korpustan çıkarılır.
Bu tüketim dışı ve dönüşümsel kullanım.
Bunu bir kamu hizmeti olarak görüyoruz. genel endeks üzerinde sahiplik yok.
Kamusal alana adanmıştır, bir dizi yapabileceğiniz engellenmemiş gerçeklerin
ne yapacaksan yap.
Hakları saklı değildir.
Keşif yolundaki alimler danışabilir hedefleri daha hızlı bulmak için bu yol haritası
ziyaret etmek istiyorlar. dünyanın geniş arşivlerinin koridorları,
bilim adamları ve bilim adamlarından oluşan kolektif topluluk ve yaratan mühendisler ve sanatçılar
bu bilgi tapınakları.
Bu tapınaklar, İskenderiye Kütüphanesi'nden keşişlerden Alexandra Kütüphanesi'ne
İrlanda'nın geniş modern araştırma kütüphanelerine Arap ve Yahudi yazıcılardan bugünün
Bilgelik Evi'ni inşa etmek için birlikte çalışmak Bağdat'ta bulunan bilgi fabrikalarına
gibi modern Doğu Hint ticaret evlerinde Oxford ve Cambridge matbaaları, bu
bilim adamlarının ziyaret etmesi gereken yerler zanaatlarını ilerletmek, öğrenmek
bizden önce gelenler.
Bu tapınaklar tüm bilgilerin toplamını içerir, ama bu bilgiyi bulabilmemiz gerekir.
Genel dizin bir haritadır.
Bu, tüm insan bilgisinin toplamının bir haritası değil,
ama kesinlikle önemli bir alt kümedir.
Bilginin artması ve yayılması için devam etmek için, eğer omuzlarda duracaksak
devlerin, bu haritaları buna sağlamalıyız geniş fikir dünyası.
Genel indeks sadece bir araçtır, bir araçtır zamanla kalite kazanacağını umduğumuz
ve kapsamında, sağlayacağını umduğumuz bir araç faydalı katkı
bilim pratiğiniz için.
Bu genel endeksi de koyacağınızı umuyoruz dizini yapabileceğimiz şaşırtıcı kullanımlar
daha iyisi, başka araçlar oluşturabilmeniz, bilim adamları topluluğu birlikte çalışabilir
engin derinlikleri kazmak için ortak bir arayış içinde bu öğrenme okyanusunun
Hepimizin ortak bir amacı paylaştığımıza inanıyorum, ortak bir umut.
Bilim adamları, bilim adamları, sanatçılar, yazarlar olarak, dünya vatandaşları olarak, isteyen çocuklar olarak
meraklı insanlar olarak öğrenmek için, inanıyorum artmasını ve yayılmasını umarız
bilgi dünyamızı daha iyi hale getirecek yerimizi anlamamıza yardımcı olacak
dünya, hastalıkları ve yoksulluğu tedavi etmek, ilerlemek bilim ve ticaretin gelişmesi ve
beşeri bilimler ve sanat.
Bilim, hepimizin konuşması gereken bir dildir, eğer dünyamızı daha iyi hale getirmek için varız.
Dinlediğin için teşekkürler.
[Mühür Havluyor]
[Müzik]