[Musiqi]
[Diktor] Bu İctimai Mənbədir
[Carl Malamud] Salam, mən Carl Malamud.
Ümumi İndeksə xoş gəldiniz.
Burada pulsuz və məhdudiyyətsiz təqdim edirik 107 milyondan çıxarılan n-qram dəstini istifadə edin,
233 min, 728 jurnal məqaləsi.
N-qramlar, bilinən tək sözlərdən ibarətdir unigrams olaraq, iki sözlü ifadələrə (bigrams)
5 qram kimi tanınan 5 sözdən ibarət ifadələr.
Hamısının söylədiyi kimi, 355 milyard sıra n qram var ümumi indeksin bu buraxılışında hər biri
bir jurnal məqaləsindəki bir hitə uyğun gəlir.
Çıxarmaq üçün Spacy adlı bir alət dəsti istifadə edildi bölündüyümüz n qram
on altı fayl arasında.
Hər bir satır ilə əlaqəli olan bir md5 hash var jurnal məqaləsini təmsil edir.
Əlavə olaraq, tezliyin siyahısını veririk n-qram məqalədə.
Ümid edirik ki, zaman keçdikcə tezliyi də sadalayacağıq ümumi korpusda bir uyğunluq metrikası
TD/IDF olaraq bilinir.
N qramına əlavə olaraq Ümumi İndeks Yake istifadə edərək çıxarılan açar sözlər var
toolkit.Yake “mətn statistikasına əsaslanır tək sənədlərdən çıxarılan xüsusiyyətlər
mətnin ən vacib açar sözlərini seçin. "
Ümumi indeks açar söz cədvəlləri var cəmi 19 milyard açar söz.
Nəhayət, ümumi indeks bir metadata ehtiva edir cədvəl, md5 hash -ı bu cür maddələrə uyğunlaşdırmaq
bir jurnal məqaləsi üçün DOI unikal ünvanı, başlıq, müəllif və jurnal.
Bu ümumi indeksin erkən buraxılışıdır, davam edən bir iş.
Bəzi hallarda mətn çıxarılması uğursuz oldu.
Bəzən metadata mövcud deyil və ya mövcuddur bəlkə də səhvdir.
Əsas korpus böyük olsa da, belədir tam deyil və müasir deyil.
Bunu yaxşılaşdırmağın bir çox yolu var, və Generalın hazırlanmasını səbirsizliklə gözləyirik
Vaxt keçdikcə indeks daha yaxşıdır.
Ümumi indeks təxminən 38 -ni tutur bir Postgres şəklində terabayt məlumat
dump, lakin sıxılma ilə, bu ASCII məlumatlar 8.5 terabayta endirilir.
Veriləri buradan birbaşa yükləyə bilərsiniz, ya da bittorrent kimi vasitələrdən istifadə edin.
Güzgülər və ya digər kütlələr yaratmaqdan çekinmeyin ümumi indeksi yenidən paylamaq üçün depolar.
Ümidimiz bir rəqəmə çevrilə biləcəyidir istifadələrdən. Postgres verilənlər bazasından istifadə edirik.
və axtarmaq üçün ümumi indeksdən istifadə edin əsas siyahıdakı bitkilərin adları.
İndeks başqalarını axtarmaq üçün istifadə edilə bilər kimyəvi maddələr, genlər kimi müxtəlif obyektlər
kodlaşdırmalar, zülallar, materiallar, yer adları, və ya digər qurumlar.
Postgres verilənlər bazası əvəzinə digər üsullar, BERT kimi məlumatlara tətbiq oluna bilər.
Bu bir axtarış vasitəsi, bilik lüğəti, bilik xəritəsidir, inandığımız bir vasitədir
təcrübə üçün vacib bir vasitədir müasir dövrümüzdə elmin.
Bu ümumi bilik indeksini etmir mövcud korpus, Əksinə, faktlar
korpusdan çıxarılır.
Bu qeyri -qənaətbəxşdir və transformasiya istifadəsi.
Biz bunu ictimai xidmət kimi görürük ümumi indeks üzərində mülkiyyət yoxdur.
İctimai sahəyə, bir seriyaya həsr edilmişdir edə biləcəyiniz çox sayda faktlar
istədiyini et.
Hüquqlar qorunmur.
Kəşf yolunda olan alimlər məsləhətləşə bilərlər istiqamətləri daha tez tapmaq üçün bu yol xəritəsi
Biz ziyarət etmək istəyirik. Biz ancaq müəllimik dünyanın geniş arxivlərinin koridorları,
alim və alimlərin kollektiv birliyi və yaradan mühəndislər və rəssamlar
bu bilik məbədləri.
Bu məbədlər, İskəndəriyyə Kitabxanasından rahiblərdən Alexandra Kitabxanasına
İrlandiya geniş müasir tədqiqat kitabxanalarına bu gün ərəb və yəhudi katiblərindən
Hikmət Evini qurmaq üçün birlikdə çalışırıq Bağdaddakı məlumat fabriklərinə ev sahibliyi etdi
kimi müasir Şərqi Hindistan ticarət evlərində Oksford və Kembricdəki mətbuat, bunlar
alimlərin ziyarət etməli olduqları yerlərdir sənətlərini inkişaf etdirmək, öyrənmək
bizdən əvvəl gələnlər.
Bu məbədlər bütün biliklərin cəmini ehtiva edir, amma bu bilikləri tapmağı bacarmalıyıq.
Ümumi indeks xəritədir.
Bu, bütün insan biliklərinin cəminin xəritəsi deyil.
amma əlbəttə ki, əhəmiyyətli bir alt hissədir.
Biliklərin artması və yayılması üçün davam etmək, əgər çiyinlərimizdə dayanmaq istəyiriksə
nəhənglərdən, bu xəritələri buna təmin etməliyik geniş fikir dünyası.
Ümumi indeks yalnız bir vasitə, bir vasitədir zaman keçdikcə keyfiyyət qazanacağını ümid edirik
və əhatə dairəsində təmin edəcəyini ümid etdiyimiz bir vasitədir faydalı bir töhfədir
elm təcrübənizə.
Ümid edirik ki, bu ümumi indeksi də qoyacaqsınız İndeks edə biləcəyimiz təəccüblü istifadə
başqa vasitələr yarada biləcəyiniz daha yaxşıdır alimlər cəmiyyəti birlikdə işləyə bilər
geniş dərinlikləri mənimsəmək üçün ortaq bir axtarışda bu öyrənmə okeanından.
İnanıram ki, hamımızın ortaq bir məqsədimiz var, ortaq bir ümid.
Elm adamları, alimlər, sənətçilər, yazıçılar kimi, dünya vətəndaşları olaraq, arzulayan uşaqlar kimi
öyrənmək, maraqlı insan olaraq, inanıram hamımız ümid edirik ki, artım və yayılma
bilik dünyamızı daha yaxşı edəcək yerimizi anlamağımıza kömək edəcək
dünya, xəstəlik və yoxsulluğu müalicə etmək, irəliləmək elm və ticarətin inkişafı və
humanitar və incəsənət.
Elm, hamımızın danışmalı olduğumuz bir dildir dünyamızı daha da yaxşılaşdırmalıyıq.
Dinlədiyiniz üçün təşəkkürlər.
[Mühür hürür]
[Musiqi]