[موسيقى]
[المذيع] هذا مصدر عام
[كارل مالامود] مرحبًا ، أنا كارل مالامود.
مرحبا بكم في الفهرس العام.
نقدم هنا لك مجانًا وغير محدود استخدام مجموعة من n-grams المستخرجة من 107 مليون ،
233 ألفًا ، 728 مقالاً في المجلات.
وتتراوح قيم n-grams من كلمات مفردة ومعروفة كـ unigrams ، إلى عبارات من كلمتين (bigrams)
عبارات تصل إلى 5 كلمات ، والمعروفة باسم 5 غرامات.
هناك ، كما قيل ، 355 مليار صف من n-grams في هذا الإصدار من الفهرس العام ، كل
المقابلة لضربة في مقال صحفي.
تم استخدام مجموعة أدوات تسمى Spacy لاستخراجها n-grams ، التي قسمناها
عبر ستة عشر ملفًا.
يقترن بكل صف تجزئة md5 ، والتي يمثل مقال صحفي.
بالإضافة إلى ذلك ، نقوم بإدراج تردد ن غرام في المقال.
نأمل بمرور الوقت أيضًا سرد التردد مقياس الملاءمة
المعروف باسم TD / IDF.
بالإضافة إلى الفهرس العام n-grams يحتوي على كلمات رئيسية مستخرجة باستخدام Yake
toolkit.Yake “تستند إلى نص إحصائي الميزات المستخرجة من المستندات الفردية إلى
حدد أهم الكلمات الرئيسية للنص ".
تحتوي جداول الكلمات الرئيسية العامة على إجمالي 19 مليار كلمة رئيسية.
أخيرًا ، يحتوي الفهرس العام على بيانات وصفية الجدول ، وتعيين تجزئة md5 لعناصر مثل
عنوان DOI الفريد لمقال في مجلة ، العنوان والمؤلف والمجلة.
هذا إصدار مبكر من الفهرس العام ، التقدم في العمل.
في بعض الحالات ، فشل استخراج النص.
في بعض الأحيان ، البيانات الوصفية غير متوفرة ، أو تكون كذلك ربما غير صحيح.
في حين أن الجسم الأساسي كبير ، فهو كذلك غير مكتمل وغير محدث.
هناك طرق عديدة يمكن من خلالها تحسين ذلك ، ونتطلع إلى صنع الجنرال
الفهرس أفضل بمرور الوقت.
المؤشر العام يحتل حوالي 38 تيرابايت من البيانات في شكل Postgres
تفريغ ، ولكن مع ضغط ، هذا ASCII يتم تقليل البيانات إلى 8.5 تيرابايت.
يمكنك تحميل البيانات مباشرة من هنا ، أو استخدم أدوات مثل bittorrent.
لا تتردد في إنشاء مرايا أو عامة أخرى مستودعات لإعادة توزيع الفهرس العام.
أملنا هو أنه يمكن وضع رقم من الاستخدامات. كنا نستخدم قاعدة بيانات Postgres ،
واستخدام الفهرس العام للبحث عنه أسماء النباتات من قائمة رئيسية.
يمكن استخدام الفهرس للبحث عن الآخر الأشياء ، مثل المواد الكيميائية والجينات في مختلف
ترميزات ، بروتينات ، مواد ، أسماء أماكن ، أو كيانات أخرى.
بدلاً من قاعدة بيانات Postgres ، هناك تقنيات أخرى ، مثل BERT ، يمكن تطبيقها على البيانات.
هذه أداة بحث ، قاموس للمعرفة ، خريطة للمعرفة ، أداة نؤمن بها
هو مرفق أساسي لهذه الممارسة العلم في عصرنا الحديث.
هذا المؤشر العام للمعرفة لا يجعل المجموعة الأساسية المتاحة ، بالأحرى ، الحقائق
من الجسم.
هذا أمر غير مستهلك والاستخدام التحويلي.
نحن ننظر إلى هذا على أنه مرفق عام ، ونحن نؤكد لا ملكية على المؤشر العام.
وهي مخصصة للملك العام ، سلسلة من الحقائق غير المربوطة التي يمكنك استخدامها
افعل ما شئت.
لا توجد حقوق محفوظة.
يمكن للباحثين في طريق الاكتشاف أن يتشاوروا خريطة الطريق هذه للعثور على الوجهات بسرعة أكبر
إنهم يرغبون في الزيارة. نحن مجرد دكاترة في أروقة المحفوظات الشاسعة في العالم ،
المجتمع الجماعي للعلماء والعلماء والمهندسين والفنانين الذين ابتكروا
معابد المعرفة هذه.
هذه المعابد من مكتبة الإسكندرية لمكتبة الكسندرا من الرهبان
من أيرلندا إلى مكتبات الأبحاث الحديثة الواسعة اليوم من الكتبة العرب واليهود
نعمل معا لبناء بيت الحكمة في بغداد لمصانع المعرفة يسكنها
في البيوت التجارية الحديثة في شرق الهند مثل مطابع أكسفورد وكامبريدج ، هذه
هي الوجهات التي يجب على العلماء زيارتها لتطوير حرفتهم والتعلم منها
الذين جاءوا قبلنا.
تحتوي هذه المعابد على مجموع كل علم ، لكن يجب أن نكون قادرين على إيجاد تلك المعرفة.
الفهرس العام عبارة عن خريطة.
هذه ليست خريطة لمجموع المعرفة البشرية ،
لكنها بالتأكيد مجموعة فرعية كبيرة.
لزيادة المعرفة ونشرها للاستمرار ، إذا أردنا أن نقف على الأكتاف
من العمالقة ، يجب أن نقدم هذه الخرائط لذلك عالم واسع من الأفكار.
الفهرس العام ليس سوى أداة واحدة ، أداة التي نأمل أن تكتسب الجودة بمرور الوقت
وفي نطاقها ، أداة نأمل أن توفرها مساهمة مفيدة
لممارستك للعلوم.
نأمل أن تضع هذا المؤشر العام أيضًا استخدامات مدهشة ، يمكننا أن نجعل الفهرس
أفضل ، أنه يمكنك إنشاء أدوات أخرى يمكن لمجتمع العلماء العمل معًا
في مسعى مشترك للتنقيب في الأعماق الشاسعة من هذا المحيط من التعلم.
أعتقد أننا جميعًا نتشارك هدفًا مشتركًا ، أمل مشترك.
كعلماء وعلماء وفنانين وكتاب ، كمواطنين في العالم ، كأطفال يرغبون
للتعلم ، كبشر فضوليين ، على ما أعتقد نتمنى جميعا أن تتكاثر وتنتشر
المعرفة ستجعل عالمنا أفضل المكان ، سيساعدنا ذلك على فهم
العالم ، لعلاج المرض والفقر ، للتقدم تقدم العلم والتجارة و
العلوم الإنسانية والفنون.
العلم لغة يجب أن نتحدثها جميعًا علينا تحسين عالمنا.
شكرا على الإنصات.
[الختم ينبح]
[موسيقى]