[موسیقی]
[گوینده] این منبع عمومی است
[کارل مالامود] سلام ، من کارل مالامود هستم.
به فهرست عمومی خوش آمدید.
ما در اینجا به صورت رایگان و نامحدود ارائه می دهیم از مجموعه ای از n-gram استخراج شده از 107 میلیون استفاده کنید ،
233 هزار ، 728 مقاله مجله.
n-gram شامل کلمات واحد ، شناخته شده است به صورت یونی گرام ، به عبارات دو کلمه ای (bigrams)
حداکثر عبارات 5 کلمه ای ، معروف به 5 گرم.
همه می گویند ، 355 میلیارد ردیف n-gram وجود دارد در این نسخه از شاخص کلی ، هر کدام
مربوط به یک ضربه در مقاله مجله است.
برای استخراج از جعبه ابزاری به نام Spacy استفاده شد n گرم ، که ما آن را تقسیم کرده ایم
در شانزده پرونده
با هر ردیف یک هش md5 همراه است که نشان دهنده مقاله مجله است
علاوه بر این ، ما فرکانس برنامه را لیست می کنیم n-gram در مقاله.
امیدواریم به مرور زمان فرکانس را نیز لیست کنیم در مجموعه کلی ، یک معیار ارتباط است
معروف به TD/IDF
علاوه بر n-gram ، نمایه عمومی شامل کلمات کلیدی استخراج شده با استفاده از Yake است
toolkit.Yake "متکی به متن آماری است ویژگی های استخراج شده از اسناد واحد به
مهمترین کلمات کلیدی یک متن را انتخاب کنید. "
جدول کلمات کلیدی فهرست عمومی شامل در کل 19 میلیارد کلمه کلیدی
در نهایت ، نمای کلی شامل یک فراداده است جدول ، نگاشت هش md5 به مواردی از این قبیل
آدرس منحصر به فرد DOI برای مقاله ژورنالی ، عنوان ، نویسنده و مجله
این انتشار اولیه شاخص عمومی است ، کاری در حال انجام
در برخی موارد ، استخراج متن ناموفق بود.
گاهی اوقات ، فراداده در دسترس نیست یا وجود دارد شاید حتی نادرست
در حالی که پیکر زیرین بزرگ است ، بزرگ است کامل نیست و به روز نیست
راههای زیادی وجود دارد که می توان آن را بهبود بخشید ، و ما منتظر ساختن ژنرال هستیم
به مرور زمان نمایه سازی بهتر شود.
شاخص کلی تقریباً 38 را اشغال می کند ترابایت داده به شکل Postgres
هرچند با فشرده سازی ، این ASCII را تخلیه کنید داده ها به 8.5 ترابایت کاهش می یابد.
می توانید داده ها را مستقیماً از اینجا بارگیری کنید ، یا از ابزارهایی مانند bittorrent استفاده کنید.
با خیال راحت آینه یا سایر موارد عمومی ایجاد کنید مخازن برای توزیع مجدد شاخص کلی
امید ما این است که بتوان آن را به عددی رساند از موارد استفاده ما از پایگاه داده Postgres استفاده می کنیم ،
و استفاده از فهرست عمومی برای جستجو نام گیاهان از لیست اصلی
از ایندکس می توان برای جستجوی موارد دیگر استفاده کرد اجسام ، مانند مواد شیمیایی ، ژن های مختلف
رمزگذاری ها ، پروتئین ها ، مواد ، نام مکان ها ، یا نهادهای دیگر
به جای پایگاه داده Postgres ، تکنیک های دیگر ، مانند BERT ، می تواند روی داده ها اعمال شود.
این یک ابزار جستجو ، فرهنگ دانش ، نقشه ای برای دانش ، ابزاری که ما معتقدیم
یک تسهیلات ضروری برای تمرین است علم در عصر جدید ما
این شاخص کلی برای دانش ایجاد نمی کند بدنه اساسی موجود ، بلکه حقایق
از بدن استخراج می شوند.
این یک مورد غیرمصرفی است و استفاده تحول آفرین
ما این را به عنوان یک ابزار عمومی در نظر می گیریم. ما ادعا می کنیم عدم مالکیت بر شاخص کلی
این مجموعه به حوزه عمومی اختصاص داده شده است ، یک سری حقایق بی شمار که می توانید با آنها
کاری را که می خواهی انجام بده
هیچ حقی محفوظ نمی باشد.
دانشمندان در راه کشف می توانند مشورت کنند این نقشه راه برای یافتن سریعتر مقاصد است
آنها مایل به دیدار هستند. ما فقط متخصص در راهروهای بایگانی وسیع جهان ،
جامعه جمعی از علما و دانشمندان و مهندسان و هنرمندانی که خلق کرده اند
این معابد دانش
این معابد ، از کتابخانه اسکندریه به کتابخانه الکساندرا ، از راهبان
ایرلند به کتابخانه های وسیع تحقیقاتی مدرن امروز ، از کاتبان عرب و یهودی
همکاری برای ساختن خانه حکمت در بغداد به کارخانه های دانش مستقر شده است
در خانه های تجاری مدرن شرق هند مانند مطبوعات آکسفورد و کمبریج ، اینها
مقاصدی هستند که دانشمندان باید از آنها دیدن کنند برای پیشبرد هنر خود ، برای یادگیری از
آنهایی که پیش از ما آمده بودند
این معابد شامل کل دانش است ، اما ما باید بتوانیم آن دانش را بیابیم.
فهرست کلی یک نقشه است.
این نقشه ای برای مجموع تمام دانش بشر نیست ،
اما مطمئناً زیر مجموعه قابل توجهی است.
برای افزایش و اشاعه دانش ادامه دهیم ، اگر بخواهیم روی شانه ها بایستیم
از غول ها ، ما باید این نقشه ها را در اختیار آن قرار دهیم دنیای وسیع ایده ها
شاخص کلی تنها یک ابزار نیست ، یک ابزار است که امیدواریم با گذشت زمان کیفیت آن افزایش یابد
و در ابعاد ، ابزاری که امیدواریم ارائه دهد مشارکت مفید
به تمرین علم شما
امیدواریم این شاخص کلی را نیز قرار دهید استفاده های شگفت انگیز ، که ما می توانیم فهرست را ایجاد کنیم
بهتر است که بتوانید ابزارهای دیگری ایجاد کنید ، آن جامعه علما می توانند با هم کار کنند
در تلاش مشترک برای استخراج عمق وسیع از این اقیانوس یادگیری
من معتقدم که همه ما یک هدف مشترک داریم ، یک امید مشترک
به عنوان دانشمندان ، دانشمندان ، هنرمندان ، نویسندگان ، به عنوان شهروندان جهان ، به عنوان کودکان آرزو می کنند
من معتقدم که به عنوان یک انسان کنجکاو یاد بگیرم همه ما امیدواریم که افزایش و انتشار
دانش جهان ما را بهتر می کند مکان ، که به ما در درک ما کمک می کند
جهان ، برای درمان بیماری و فقر ، برای پیشرفت پیشرفت علم و تجارت و
علوم انسانی و هنر
علم زبانی است که اگر باید همه به آن صحبت کنیم ما باید دنیای خود را بهتر کنیم
ممنون که گوش دادید.
[مهر در حال پارس شدن است]
[موسیقی]