[संगीत]
[उद्घोषक] यो सार्वजनिक संसाधन हो
[कार्ल Malamud] नमस्कार, म कार्ल Malamud हुँ।
सामान्य सूचकांकमा स्वागत छ।
हामी यहाँ तपाइँको नि: शुल्क र असीमित को लागी प्रस्तुत गर्दछौं १०7 मिलियन बाट निकालेको एन-ग्राम को एक सेट को उपयोग गर्नुहोस्,
२३३ हजार, 28२ journal जर्नल लेख।
एन ग्राम दायरा एकल शब्दहरु बाट, ज्ञात unigrams को रूप मा, दुई शब्द वाक्यांश (bigrams)
5-शब्द वाक्यांश सम्म, 5 ग्राम को रूप मा जानिन्छ।
त्यहाँ छन्, सबै भनिएको छ, एन-ग्राम को ३५५ बिलियन पows्क्तिहरु सामान्य सूचकांक, प्रत्येक को यो रिलीज मा
एक जर्नल लेख मा एक हिट को अनुरूप।
Spacy नामक एक टूलकिट निकाल्न को लागी प्रयोग गरीएको थियो एन-ग्राम, जुन हामी विभाजित छौं
सोह्र फाइलहरु भर।
प्रत्येक प row्क्ति संग सम्बद्ध एक md5 हैश, जो छ एक जर्नल लेख प्रतिनिधित्व गर्दछ।
यसको अतिरिक्त, हामी को आवृत्ति सूची लेखमा n- ग्राम।
हामी समय संगै आवृत्ति को सूची मा आशा गर्दछौं समग्र कोष मा, एक प्रासंगिकता मेट्रिक
TD/IDF को रूपमा चिनिन्छ।
एन ग्राम को अतिरिक्त, सामान्य सूचकांक याक को उपयोग गरी निकालेका कीवर्डहरु छन्
toolkit.Yake "पाठ सांख्यिकीय मा टिकी रहेको छ सुविधाहरु एकल कागजात बाट निकालीएको
एउटा पाठ को सबैभन्दा महत्वपूर्ण कीवर्ड छान्नुहोस्।
सामान्य सूचकांक कीवर्ड तालिकाहरु छन् कुल १ billion अर्ब कीवर्ड।
अन्तमा, सामान्य सूचकांक एक मेटाडाटा समावेश गर्दछ तालिका, आइटम को लागी md5 हैश म्यापि
एक पत्रिका लेख को लागी DOI अद्वितीय ठेगाना, शीर्षक, लेखक, र पत्रिका।
यो सामान्य सूचकांक को एक प्रारम्भिक रिलीज हो, एउटा काम प्रगतिमा छ।
केहि अवस्थामा, पाठ निकासी असफल भयो।
कहिलेकाहीँ, मेटाडेटा उपलब्ध छैन, वा छ शायद गलत पनि।
जबकि अन्तर्निहित कोष ठूलो छ, यो छ पूरा छैन, र अप-टु-डेट छैन।
त्यहाँ धेरै तरिकाहरु यो सुधार गर्न सकिन्छ, र हामी जनरल बनाउन को लागी तत्पर छौं
समय संगै अनुक्रमणिका राम्रो हुन्छ।
सामान्य सूचकांक लगभग 38 कब्जा गर्दछ एक Postgres को रूप मा डाटा को टेराबाइट
डम्प, तर कम्प्रेसन संग, यो ASCII डाटा .5.५ टेराबाइटमा घटाइएको छ।
तपाइँ यहाँ बाट सीधा डाटा डाउनलोड गर्न सक्नुहुन्छ, वा bittorrent जस्तै उपकरणहरु को उपयोग गर्नुहोस्।
दर्पण वा अन्य सार्वजनिक बनाउन स्वतन्त्र महसुस गर्नुहोस् सामान्य सूचकांक पुनः वितरण गर्न को लागी भण्डार।
हाम्रो आशा छ कि यो एक नम्बर मा राख्न सकिन्छ उपयोग को। हामी एक Postgres डाटाबेस को उपयोग गरी रहेको छ,
र खोज्न को लागी सामान्य सूचकांक को उपयोग गरेर एक मास्टर सूची बाट बिरुवाहरु को नाम।
सूचकांक अन्य को लागी खोज गर्न को लागी प्रयोग गर्न सकिन्छ वस्तुहरु, जस्तै रसायन, विभिन्न मा जीन
एन्कोडि ,्ग, प्रोटीन, सामाग्री, ठाउँ को नाम, वा अन्य संस्थाहरु।
यसको सट्टा एक Postgres डाटाबेस, अन्य प्रविधिहरु, जस्तै BERT, डाटा मा लागू गर्न सकिन्छ।
यो एक खोज उपकरण, ज्ञान को एक शब्दकोश हो, ज्ञान को लागी एक नक्शा, एक उपकरण हो कि हामी विश्वास गर्छौं
अभ्यास को लागी एक आवश्यक सुविधा हो हाम्रो आधुनिक युग मा विज्ञान को।
ज्ञान को लागी यो सामान्य सूचकांक बनाउँदैन अन्तर्निहित कोष उपलब्ध, बरु, तथ्यहरु
कोष बाट निकालिन्छ।
यो एक nonconsumptive हो र परिवर्तनकारी उपयोग।
हामी यो एक सार्वजनिक उपयोगिता को रूप मा हेर्छौं सामान्य सूचकांक मा कुनै स्वामित्व छैन।
यो सार्वजनिक डोमेन, एक श्रृंखला को लागी समर्पित छ unencumbered तथ्यहरु जसको साथ तपाइँ सक्नुहुन्छ
तिमी जे चाहन्छौ गर।
त्यहाँ कुनै अधिकार आरक्षित छैन।
खोज को बाटो मा विद्वानहरु परामर्श गर्न सक्नुहुन्छ यो मार्गचित्र छिटो छिटो गन्तव्यहरु पाउन को लागी
उनीहरु भ्रमण गर्न चाहन्छन् संसारको विशाल संग्रह को हलवे,
विद्वान र वैज्ञानिकहरुको सामूहिक समुदाय र ईन्जिनियरहरु र कलाकारहरु कि सिर्जना गरीएको छ
ज्ञान का यी मन्दिरहरु।
यी मन्दिरहरु, अलेक्जान्ड्रिया को पुस्तकालय बाट भिक्षुहरु बाट अलेक्जान्ड्रा को पुस्तकालय को लागी
आयरल्याण्ड को विशाल आधुनिक अनुसन्धान पुस्तकालयहरु को लागी आज को, अरब र यहूदी शास्त्रीहरु बाट
बुद्धि को घर निर्माण गर्न सँगै काम गर्दै बग्दाद मा स्थित ज्ञान को कारखानाहरु
जस्तै आधुनिक पूर्वी भारतीय व्यापार घरहरु मा अक्सफोर्ड र क्याम्ब्रिज को प्रेस, यी
गन्तव्यहरु छन् कि विद्वानहरु भ्रमण गर्नु पर्छ आफ्नो शिल्प अग्रिम गर्न, बाट सिक्न
ती जो हाम्रा सामु आएका थिए।
यी मन्दिरहरु सबै ज्ञान को योग, तर हामी त्यो ज्ञान पाउन सक्षम हुनु पर्छ।
सामान्य सूचकांक एक नक्शा हो।
यो सबै मानव ज्ञान को योग को लागी एक नक्शा छैन,
तर यो पक्कै एक पर्याप्त उपसमुच्चय हो।
ज्ञान को बृद्धि र प्रसार को लागी जारी राख्न को लागी, यदि हामी काँध मा खडा छौं
दिग्गजहरु को, हामी त्यो नक्शा प्रदान गर्नै पर्छ विचारहरुको विशाल संसार।
सामान्य सूचकांक मात्र एक उपकरण, एक उपकरण हो कि हामी आशा गर्दछौं कि समय संगै गुणस्तर मा प्राप्त हुनेछ
र दायरा मा, एक उपकरण हामी आशा गर्दछौं कि प्रदान गर्नेछ एक उपयोगी योगदान
तपाइँको विज्ञान को अभ्यास को लागी।
हामी आशा गर्दछौं कि तपाइँ यो सामान्य सूचकांक पनि राख्नुहुनेछ आश्चर्यजनक उपयोग गर्दछ, कि हामी सूचकांक बनाउन सक्छौं
राम्रो छ, कि तपाइँ अन्य उपकरणहरु, कि बनाउन सक्नुहुन्छ विद्वानहरुको समुदाय मिलेर काम गर्न सक्छन्
एक विशाल गहिराइ को खानी को लागी एक साधारण खोज मा यो शिक्षा को सागर को।
मलाई विश्वास छ कि हामी सबै एक साझा लक्ष्य साझा, एक साझा आशा।
वैज्ञानिक, विद्वान, कलाकार, लेखक, संसारका नागरिकहरु को रूप मा, बच्चाहरु चाहना को रूप मा
जान्न को लागी, उत्सुक मानव को रूप मा, म विश्वास गर्दछु हामी सबै आशा गर्दछौं कि वृद्धि र प्रसार
ज्ञानले हाम्रो संसारलाई अझ राम्रो बनाउनेछ ठाउँ, कि यसले हामीलाई हाम्रो बुझ्न मद्दत गर्दछ
संसार, रोग र गरीबी को उपचार को लागी, अग्रिम विज्ञान र वाणिज्य को प्रगति र
मानविकी र कला।
विज्ञान एक भाषा हो यदि हामी सबैले बोल्नु पर्छ हामी हाम्रो संसारलाई अझ राम्रो बनाउन चाहन्छौं।
सुनिदिएकोमा धन्यबाद।
[सील बार्किंग छ]
[संगीत]