[संगीत]
[उद्घोषक] हे सार्वजनिक संसाधन आहे
[कार्ल मालामुद] हॅलो, मी कार्ल मालामुद आहे.
सामान्य निर्देशांकात आपले स्वागत आहे.
आम्ही आपल्या विनामूल्य आणि अमर्यादितसाठी येथे सादर करतो 107 दशलक्षातून काढलेल्या एन-ग्रॅमचा संच वापरा,
233 हजार, 728 जर्नल लेख.
ज्ञात असलेल्या एन-ग्राम श्रेणी एकाच शब्दांपासून आहे unigrams म्हणून, दोन शब्दांचे वाक्यांश (bigrams)
5-शब्दांपर्यंतची वाक्ये, 5-ग्रॅम म्हणून ओळखली जातात.
तेथे सर्व, एन-ग्रॅमच्या 355 अब्ज पंक्ती आहेत सर्वसाधारण निर्देशांकाच्या या प्रकाशनात, प्रत्येक
जर्नल लेखातील हिटशी संबंधित.
काढण्यासाठी Spacy नावाची टूलकिट वापरली गेली एन-ग्रॅम, जे आम्ही विभाजित केले आहे
सोळा फायली ओलांडून.
प्रत्येक पंक्तीशी संबंधित एक md5 हॅश आहे, जे जर्नल लेखाचे प्रतिनिधित्व करते.
याव्यतिरिक्त, आम्ही ची वारंवारता सूचीबद्ध करतो लेखातील n-gram.
आम्हाला आशा आहे की कालांतराने वारंवारता देखील सूचीबद्ध होईल एकूण कॉर्पसमध्ये, एक प्रासंगिकता मेट्रिक
TD/IDF म्हणून ओळखले जाते.
एन-ग्रॅम व्यतिरिक्त, सामान्य निर्देशांक याक वापरून काढलेले कीवर्ड आहेत
टूलकिट येक “मजकूर सांख्यिकीवर अवलंबून आहे एकल दस्तऐवजांमधून काढलेली वैशिष्ट्ये
मजकुराचे सर्वात महत्वाचे कीवर्ड निवडा. ”
सामान्य अनुक्रमणिका कीवर्ड सारण्या असतात एकूण 19 अब्ज कीवर्ड.
शेवटी, सामान्य निर्देशांकात मेटाडेटा असतो सारणी, md5 हॅश अशा वस्तूंवर मॅपिंग
जर्नल लेखासाठी DOI अद्वितीय पत्ता, शीर्षक, लेखक आणि जर्नल.
हे सामान्य निर्देशांकाचे लवकर प्रकाशन आहे, एक काम प्रगतीपथावर आहे.
काही प्रकरणांमध्ये, मजकूर काढणे अयशस्वी झाले.
कधीकधी, मेटाडेटा उपलब्ध नाही, किंवा आहे कदाचित चुकीचे देखील.
अंतर्निहित कॉर्पस मोठा असला तरी, आहे पूर्ण नाही, आणि अद्ययावत नाही.
हे सुधारण्याचे अनेक मार्ग आहेत, आणि आम्ही जनरल बनण्यास उत्सुक आहोत
कालांतराने अनुक्रमणिका अधिक चांगली.
सामान्य निर्देशांक अंदाजे 38 व्यापतो पोस्टग्रेसच्या स्वरूपात टेराबाइट डेटा
डंप, तथापि कॉम्प्रेशनसह, हे ASCII डेटा 8.5 टेराबाइट्स पर्यंत कमी केला आहे.
आपण थेट येथून डेटा डाउनलोड करू शकता, किंवा बिटोरेंट सारखी साधने वापरा.
आरसे किंवा इतर सार्वजनिक तयार करण्यास मोकळ्या मनाने सामान्य निर्देशांकाचे पुनर्वितरण करण्यासाठी भांडार.
आमची आशा आहे की ती एका क्रमांकावर ठेवली जाऊ शकते वापरांचे. आम्ही पोस्टग्रेस डेटाबेस वापरत आहोत,
आणि शोधण्यासाठी सामान्य निर्देशांक वापरणे मास्टर सूचीमधून वनस्पतींची नावे.
अनुक्रमणिका इतर शोधण्यासाठी वापरली जाऊ शकते वस्तू, जसे की रसायने, विविध जनुके
एन्कोडिंग, प्रथिने, साहित्य, ठिकाणांची नावे, किंवा इतर संस्था.
पोस्टग्रेस डेटाबेसऐवजी इतर तंत्र, जसे की BERT, डेटावर लागू केले जाऊ शकते.
हे एक शोध साधन आहे, ज्ञानाचा शब्दकोश आहे, ज्ञानाचा नकाशा, एक साधन ज्यावर आपण विश्वास ठेवतो
सरावासाठी आवश्यक सुविधा आहे आपल्या आधुनिक युगात विज्ञानाचे.
ज्ञानाचा हा सामान्य निर्देशांक बनवत नाही अंतर्निहित निधी उपलब्ध, उलट, तथ्य
कॉर्पसमधून काढले जातात.
हे एक बिनकामाचे आहे आणि परिवर्तनशील वापर.
आम्ही याला सार्वजनिक उपयोगिता म्हणून पाहतो सामान्य निर्देशांकावर मालकी नाही.
हे सार्वजनिक डोमेन, एक मालिका समर्पित आहे आपण करू शकत नसलेल्या तथ्यांची
तुला जे पाहिजे ते कर.
कोणतेही अधिकार आरक्षित नाहीत.
शोधाच्या मार्गावरील विद्वान सल्ला घेऊ शकतात अधिक जलद गंतव्ये शोधण्यासाठी हा रोडमॅप
त्यांना भेट द्यायची इच्छा आहे जगाच्या विशाल संग्रहांचे हॉलवे,
विद्वान आणि शास्त्रज्ञांचा एकत्रित समुदाय आणि तयार केलेले अभियंते आणि कलाकार
ही ज्ञानाची मंदिरे.
अलेक्झांड्रिया ग्रंथालयातून ही मंदिरे भिक्षुंकडून अलेक्झांड्राच्या ग्रंथालयाकडे
आयर्लंडच्या विशाल आधुनिक संशोधन ग्रंथालयांपर्यंत आज, अरब आणि ज्यू शास्त्रींकडून
बुद्धीचे घर बांधण्यासाठी एकत्र काम करणे बगदादमध्ये ज्ञानाच्या कारखान्यांपर्यंत
आधुनिक ईस्ट इंडियन ट्रेडिंग हाऊसमध्ये जसे ऑक्सफोर्ड आणि केंब्रिजचे प्रेस, हे
विद्वानांनी भेट द्यावी अशी ठिकाणे आहेत त्यांच्या कलाकुसरांना पुढे नेण्यासाठी, त्यांच्याकडून शिकण्यासाठी
जे आमच्या आधी आले होते.
या मंदिरांमध्ये सर्व ज्ञानाची बेरीज असते, परंतु आपण ते ज्ञान शोधण्यास सक्षम असले पाहिजे.
सामान्य निर्देशांक हा नकाशा आहे.
हा सर्व मानवी ज्ञानाच्या बेरजेचा नकाशा नाही,
पण तो नक्कीच एक महत्त्वपूर्ण उपसंच आहे.
ज्ञानाच्या वाढीसाठी आणि प्रसारासाठी जर आपण खांद्यावर उभे राहिलो तर चालू ठेवणे
राक्षसांपैकी, आपण हे नकाशे त्यांना पुरवले पाहिजेत कल्पनांचे विशाल जग.
सामान्य निर्देशांक फक्त एक साधन, एक साधन आहे आम्हाला आशा आहे की कालांतराने गुणवत्ता वाढेल
आणि व्याप्तीमध्ये, एक साधन जे आम्हाला प्रदान करेल अशी आशा आहे एक उपयुक्त योगदान
तुमच्या विज्ञानाच्या अभ्यासासाठी.
आम्हाला आशा आहे की आपण हा सामान्य निर्देशांक देखील ठेवाल आश्चर्यकारक उपयोग, की आपण अनुक्रमणिका बनवू शकतो
चांगले, की तुम्ही इतर साधने तयार करू शकता, ते विद्वानांचा समुदाय एकत्र काम करू शकतो
अफाट खोली खोदण्याच्या सामान्य शोधात या शिकण्याच्या महासागराचा.
माझा विश्वास आहे की आपण सर्व एक समान ध्येय सामायिक करतो, एक सामान्य आशा.
शास्त्रज्ञ, विद्वान, कलाकार, लेखक म्हणून, जगाचे नागरिक म्हणून, इच्छुक मुले म्हणून
जाणून घेण्यासाठी, जिज्ञासू माणूस म्हणून, माझा विश्वास आहे आम्ही सर्व आशा करतो की वाढ आणि प्रसार
ज्ञानामुळे आपले जग अधिक चांगले होईल स्थान, की ते आम्हाला आमचे समजण्यास मदत करेल
जग, रोग आणि गरिबी दूर करण्यासाठी, पुढे जाण्यासाठी विज्ञान आणि वाणिज्य प्रगती आणि
मानवता आणि कला.
विज्ञान ही एक भाषा आहे जी आपण सर्वांनी जर बोलली पाहिजे आपण आपले जग चांगले बनवू.
ऐकल्या बद्दल धन्यवाद.
[सील भुंकत आहे]
[संगीत]