[संगीत]
[उद्घोषक] यह सार्वजनिक संसाधन है
[कार्ल मालामुद] हैलो, मैं कार्ल मालामुद हूं।
सामान्य सूचकांक में आपका स्वागत है।
हम यहां आपके मुफ़्त और असीमित के लिए प्रस्तुत करते हैं 107 मिलियन से निकाले गए n-ग्राम के एक सेट का उपयोग करें,
233 हजार, 728 जर्नल लेख।
n-ग्राम एकल शब्दों से होता है, जिसे जाना जाता है यूनिग्राम के रूप में, दो-शब्द वाक्यांशों के लिए (bigrams)
५-शब्द वाक्यांशों तक, जिन्हें ५-ग्राम के रूप में जाना जाता है।
सभी को बताया गया है, n-ग्राम की 355 बिलियन पंक्तियाँ सामान्य सूचकांक की इस विज्ञप्ति में, प्रत्येक
एक जर्नल लेख में हिट के अनुरूप।
स्पेसी नामक टूलकिट का उपयोग निकालने के लिए किया गया था एन-ग्राम, जिसे हमने विभाजित किया है
सोलह फाइलों में।
प्रत्येक पंक्ति से संबद्ध एक md5 हैश है, जो एक जर्नल लेख का प्रतिनिधित्व करता है।
इसके अलावा, हम की आवृत्ति सूचीबद्ध करते हैं लेख में एन-ग्राम।
हम आशा करते हैं कि समय के साथ आवृत्ति को भी सूचीबद्ध किया जाएगा समग्र कोष में, एक प्रासंगिकता मीट्रिक
टीडी/आईडीएफ के रूप में जाना जाता है।
एन-ग्राम के अलावा, सामान्य सूचकांक याक का उपयोग करके निकाले गए कीवर्ड शामिल हैं
Toolkit.Yake "पाठ सांख्यिकीय पर टिकी हुई है" के लिए एकल दस्तावेज़ों से निकाली गई सुविधाएँ
पाठ के सबसे महत्वपूर्ण खोजशब्दों का चयन करें।"
सामान्य अनुक्रमणिका कीवर्ड तालिका में शामिल हैं कुल 19 बिलियन कीवर्ड।
अंत में, सामान्य सूचकांक में एक मेटाडेटा होता है तालिका, md5 हैश को आइटम जैसे मैप करना
जर्नल लेख के लिए DOI अद्वितीय पता, शीर्षक, लेखक और पत्रिका।
यह सामान्य सूचकांक का प्रारंभिक विमोचन है, कार्य प्रगति पर है।
कुछ मामलों में, पाठ निष्कर्षण विफल रहा।
कभी-कभी, मेटाडेटा उपलब्ध नहीं होता है, या है शायद गलत भी।
जबकि अंतर्निहित कोष बड़ा है, यह है पूर्ण नहीं है, और अप-टू-डेट नहीं है।
इसे कई तरीकों से सुधारा जा सकता है, और हम जनरल बनाने के लिए तत्पर हैं
समय के साथ बेहतर सूचकांक।
सामान्य सूचकांक लगभग 38 . पर है पोस्टग्रेज के रूप में डेटा की टेराबाइट्स
डंप, हालांकि संपीड़न के साथ, यह ASCII डेटा घटाकर 8.5 टेराबाइट कर दिया गया है।
आप यहां से सीधे डेटा डाउनलोड कर सकते हैं, या बिटटोरेंट जैसे टूल का उपयोग करें।
दर्पण या अन्य सार्वजनिक बनाने के लिए स्वतंत्र महसूस करें सामान्य सूचकांक के पुनर्वितरण के लिए भंडार।
हमारी आशा है कि इसे एक संख्या में रखा जा सकता है उपयोगों की। हम एक Postgres डेटाबेस का उपयोग कर रहे हैं,
और खोजने के लिए सामान्य अनुक्रमणिका का उपयोग करना मास्टर लिस्ट से पौधों के नाम
सूचकांक का उपयोग अन्य की खोज के लिए किया जा सकता है वस्तुओं, जैसे कि रसायन, जीन विभिन्न में
एन्कोडिंग, प्रोटीन, सामग्री, स्थान के नाम, या अन्य संस्थाएं।
Postgres डेटाबेस के बजाय, अन्य तकनीकें, जैसे BERT, डेटा पर लागू किया जा सकता है।
यह एक खोज उपकरण है, ज्ञान का शब्दकोश है, ज्ञान का नक्शा, एक उपकरण जिसे हम मानते हैं
अभ्यास के लिए एक आवश्यक सुविधा है हमारे आधुनिक युग में विज्ञान की।
ज्ञान का यह सामान्य सूचकांक नहीं बनाता है उपलब्ध अंतर्निहित कोष, बल्कि, तथ्य
कोष से निकाले जाते हैं।
यह एक गैर-उपभोग्य है और परिवर्तनकारी उपयोग।
हम इसे एक सार्वजनिक उपयोगिता के रूप में देखते हैं। हम जोर देते हैं सामान्य सूचकांक पर कोई स्वामित्व नहीं।
यह सार्वजनिक डोमेन के लिए समर्पित है, एक श्रृंखला बिना भार वाले तथ्यों की जिनके साथ आप कर सकते हैं
तुम जो करोगे वह करो।
कोई अधिकार सुरक्षित नहीं हैं।
खोज की राह पर चल रहे विद्वान परामर्श कर सकते हैं अधिक तेज़ी से गंतव्य खोजने के लिए यह रोडमैप
वे जाना चाहते हैं दुनिया के विशाल अभिलेखागार के हॉलवे,
विद्वानों और वैज्ञानिकों का सामूहिक समुदाय और इंजीनियरों और कलाकारों ने बनाया है
ज्ञान के ये मंदिर।
अलेक्जेंड्रिया की लाइब्रेरी से ये मंदिर एलेक्जेंड्रा पुस्तकालय के लिए, भिक्षुओं से
आयरलैंड के विशाल आधुनिक अनुसंधान पुस्तकालयों के लिए आज के, अरब और यहूदी शास्त्रियों से
बुद्धि का घर बनाने के लिए मिलकर काम करना बगदाद में ज्ञान के कारखानों में स्थित
आधुनिक पूर्वी भारतीय व्यापारिक घरानों में जैसे ऑक्सफोर्ड और कैम्ब्रिज के प्रेस, ये
वे स्थान हैं जहाँ विद्वानों को अवश्य जाना चाहिए अपने शिल्प को आगे बढ़ाने के लिए, से सीखने के लिए
जो हमारे सामने आए।
इन मंदिरों में है समस्त ज्ञान का योग, लेकिन हमें उस ज्ञान को खोजने में सक्षम होना चाहिए।
सामान्य सूचकांक एक नक्शा है।
यह सभी मानव ज्ञान के योग का नक्शा नहीं है,
लेकिन यह निश्चित रूप से एक पर्याप्त उपसमुच्चय है।
ज्ञान की वृद्धि और प्रसार के लिए जारी रखने के लिए, अगर हमें कंधों पर खड़ा होना है
दिग्गजों के, हमें ये नक्शे उन्हें प्रदान करने होंगे विचारों की विशाल दुनिया।
सामान्य सूचकांक केवल एक उपकरण है, एक उपकरण हम आशा करते हैं कि समय के साथ गुणवत्ता में वृद्धि होगी
और दायरे में, एक उपकरण जिसकी हम आशा करते हैं जो प्रदान करेगा एक उपयोगी योगदान
विज्ञान के अपने अभ्यास के लिए।
हमें उम्मीद है कि आप इस सामान्य सूचकांक को भी रखेंगे आश्चर्यजनक उपयोग, कि हम सूचकांक बना सकते हैं
बेहतर है कि आप अन्य उपकरण बना सकें, कि विद्वानों का समुदाय एक साथ काम कर सकता है
विशाल गहराइयों को तराशने की एक साझा खोज में सीखने के इस सागर के
मेरा मानना है कि हम सब एक साझा लक्ष्य साझा करते हैं, एक सामान्य आशा।
वैज्ञानिकों, विद्वानों, कलाकारों, लेखकों के रूप में, दुनिया के नागरिकों के रूप में, बच्चों की इच्छा के रूप में
सीखने के लिए, जिज्ञासु मनुष्य के रूप में, मेरा मानना है हम सभी आशा करते हैं कि वृद्धि और प्रसार
ज्ञान की हमारी दुनिया को एक बेहतर बना देगा जगह, कि यह हमें हमारे को समझने में मदद करेगा
दुनिया, बीमारी और गरीबी को दूर करने के लिए, आगे बढ़ने के लिए विज्ञान और वाणिज्य की प्रगति और
मानविकी और कला।
विज्ञान एक ऐसी भाषा है जिसे हम सभी को बोलना चाहिए अगर हमें अपनी दुनिया को बेहतर बनाना है।
सुनने के लिए धन्यवाद।
[मुहर भौंक रही है]
[संगीत]