[সঙ্গীত]
[ঘোষক] এটি পাবলিক রিসোর্স
[কার্ল মালামুদ] হ্যালো, আমি কার্ল মালামুদ।
সাধারণ সূচীতে আপনাকে স্বাগতম।
আমরা আপনার বিনামূল্যে এবং সীমাহীন জন্য এখানে উপস্থাপন 107 মিলিয়ন থেকে নিষ্কাশিত এন-গ্রাম একটি সেট ব্যবহার করুন,
233 হাজার, 728 জার্নাল নিবন্ধ।
একক শব্দ থেকে এন-গ্রাম পরিসীমা, পরিচিত unigrams হিসাবে, দুই শব্দের বাক্যাংশ (bigrams)
5-শব্দের বাক্যাংশ, যা 5-গ্রাম হিসাবে পরিচিত।
সব বলা আছে, 355 বিলিয়ন সারি এন-গ্রাম আছে সাধারণ সূচকের এই রিলিজে, প্রতিটি
একটি জার্নাল নিবন্ধে একটি হিট অনুরূপ।
স্পেসি নামে একটি টুলকিট বের করার জন্য ব্যবহার করা হয়েছিল এন-গ্রাম, যা আমরা বিভক্ত করেছি
ষোলটি ফাইল জুড়ে।
প্রতিটি সারির সাথে যুক্ত একটি md5 হ্যাশ, যা একটি জার্নাল নিবন্ধ উপস্থাপন করে।
উপরন্তু, আমরা ফ্রিকোয়েন্সি তালিকা নিবন্ধে n- গ্রাম।
আমরা সময়ের সাথে সাথে ফ্রিকোয়েন্সি তালিকা করার আশা করি সামগ্রিক কর্পাসে, একটি প্রাসঙ্গিকতা মেট্রিক
টিডি/আইডিএফ নামে পরিচিত।
এন-গ্রাম ছাড়াও, সাধারণ সূচক ইয়াক ব্যবহার করে বের করা কীওয়ার্ড রয়েছে
টুলকিট বৈশিষ্ট্যগুলি একক নথি থেকে বের করা হয়েছে
একটি পাঠ্যের সবচেয়ে গুরুত্বপূর্ণ কীওয়ার্ড নির্বাচন করুন।
সাধারণ সূচক কীওয়ার্ড টেবিলে রয়েছে মোট 19 বিলিয়ন কীওয়ার্ড।
সবশেষে, সাধারণ সূচকে একটি মেটাডেটা থাকে টেবিল, এই ধরনের আইটেমগুলিতে md5 হ্যাশ ম্যাপিং
একটি জার্নাল নিবন্ধের জন্য DOI অনন্য ঠিকানা, শিরোনাম, লেখক এবং জার্নাল।
এটি সাধারণ সূচকের প্রাথমিক প্রকাশ, একটি কাজ চলছে
কিছু ক্ষেত্রে, টেক্সট এক্সট্রাকশন ব্যর্থ হয়েছে।
কখনও কখনও, মেটাডেটা পাওয়া যায় না, অথবা হয় সম্ভবত ভুল।
অন্তর্নিহিত কর্পাস বড় হলেও, এটি সম্পূর্ণ নয়, এবং আপ টু ডেট নয়।
এটি উন্নত করার অনেক উপায় আছে, এবং আমরা জেনারেল তৈরির জন্য উন্মুখ
সময়ের সাথে সূচক আরও ভাল।
সাধারণ সূচক প্রায় 38 দখল করে একটি Postgres আকারে ডেটা টেরাবাইট
ডাম্প, তবে কম্প্রেশন সহ, এই ASCII ডেটা 8.5 টেরাবাইটে হ্রাস করা হয়।
আপনি সরাসরি এখান থেকে ডেটা ডাউনলোড করতে পারেন, অথবা বিটটোরেন্টের মতো সরঞ্জাম ব্যবহার করুন।
আয়না বা অন্যান্য পাবলিক তৈরি করতে বিনা দ্বিধায় সাধারণ সূচকে পুনরায় বিতরণের জন্য সংগ্রহস্থল।
আমাদের আশা হল এটি একটি নম্বরে রাখা যেতে পারে ব্যবহারের। আমরা একটি Postgres ডাটাবেস ব্যবহার করে আসছি,
এবং অনুসন্ধানের জন্য সাধারণ সূচক ব্যবহার করে একটি মাস্টার তালিকা থেকে উদ্ভিদের নাম।
সূচকটি অন্যদের অনুসন্ধান করতে ব্যবহার করা যেতে পারে বস্তু, যেমন রাসায়নিক, বিভিন্ন ধরণের জিন
এনকোডিং, প্রোটিন, উপকরণ, জায়গার নাম, বা অন্যান্য সত্তা।
একটি Postgres ডাটাবেসের পরিবর্তে, অন্যান্য কৌশল, যেমন BERT, ডেটা প্রয়োগ করা যেতে পারে।
এটি একটি অনুসন্ধান সরঞ্জাম, জ্ঞানের অভিধান, জ্ঞানের একটি মানচিত্র, একটি হাতিয়ার যা আমরা বিশ্বাস করি
অনুশীলনের জন্য একটি অপরিহার্য সুবিধা আমাদের আধুনিক যুগে বিজ্ঞানের
জ্ঞানের এই সাধারণ সূচক তৈরি করে না উপলব্ধ অন্তর্নিহিত কর্পাস, বরং, তথ্য
কর্পাস থেকে বের করা হয়।
এটি একটি অযৌক্তিক এবং রূপান্তরিত ব্যবহার।
আমরা এটাকে একটি পাবলিক ইউটিলিটি হিসেবে দেখি সাধারণ সূচকের উপর কোন মালিকানা নেই।
এটি পাবলিক ডোমেইন, একটি সিরিজের জন্য নিবেদিত এমন অসংখ্য সত্য যা দিয়ে আপনি পারেন
তোমার যা ইচ্ছা কর।
কোন অধিকার সংরক্ষিত নেই।
আবিষ্কারের পথে পণ্ডিতরা পরামর্শ করতে পারেন আরও দ্রুত গন্তব্য খুঁজে পেতে এই রোডম্যাপ
তারা পরিদর্শন করতে চায় বিশ্বের বিশাল আর্কাইভের হলওয়ে,
পণ্ডিত এবং বিজ্ঞানীদের সম্মিলিত সম্প্রদায় এবং প্রকৌশলী এবং শিল্পীরা যারা তৈরি করেছেন
এই জ্ঞানের মন্দির।
এই মন্দিরগুলি, আলেকজান্দ্রিয়ার লাইব্রেরি থেকে আলেকজান্দ্রার লাইব্রেরিতে, সন্ন্যাসীদের কাছ থেকে
আয়ারল্যান্ডের বিশাল আধুনিক গবেষণাগার আজ থেকে, আরব এবং ইহুদি লেখকদের কাছ থেকে
হাউস অফ উইজডম তৈরির জন্য একসাথে কাজ করা বাগদাদে জ্ঞানের কারখানা
যেমন আধুনিক ইস্ট ইন্ডিয়ান ট্রেডিং হাউসে অক্সফোর্ড এবং কেমব্রিজের প্রেস, এগুলি
যে গন্তব্যগুলি পণ্ডিতদের অবশ্যই পরিদর্শন করতে হবে তাদের নৈপুণ্যকে এগিয়ে নিতে, থেকে শিখতে
যারা আমাদের আগে এসেছিল।
এই মন্দিরগুলিতে সমস্ত জ্ঞানের সমষ্টি রয়েছে, কিন্তু আমরা অবশ্যই সেই জ্ঞান খুঁজে পেতে সক্ষম হব।
সাধারণ সূচক একটি মানচিত্র।
এটি সমস্ত মানব জ্ঞানের সমষ্টি একটি মানচিত্র নয়,
কিন্তু এটি অবশ্যই একটি উল্লেখযোগ্য উপসেট।
জ্ঞানের বৃদ্ধি ও বিস্তারের জন্য চালিয়ে যেতে, যদি আমরা কাঁধে দাঁড়াই
দৈত্যদের, আমাদের অবশ্যই এই মানচিত্রগুলি সরবরাহ করতে হবে ধারণার বিশাল জগত।
সাধারণ সূচক শুধুমাত্র একটি হাতিয়ার, একটি হাতিয়ার যা আমরা আশা করি সময়ের সাথে সাথে গুণগত মান লাভ করবে
এবং সুযোগের মধ্যে, আমরা আশা করি যে একটি টুল প্রদান করবে একটি দরকারী অবদান
তোমার বিজ্ঞানের চর্চায়।
আমরা আশা করি আপনিও এই সাধারণ সূচকটি রাখবেন আশ্চর্যজনক ব্যবহার, যে আমরা সূচক তৈরি করতে পারি
ভাল, যে আপনি অন্যান্য সরঞ্জাম তৈরি করতে পারেন, যে পণ্ডিত সম্প্রদায় একসাথে কাজ করতে পারে
বিশাল গভীরতা খনন করার একটি সাধারণ অনুসন্ধানে এই শেখার সাগরের।
আমি বিশ্বাস করি আমরা সবাই একটি অভিন্ন লক্ষ্য ভাগ করি, একটি সাধারণ আশা।
যেমন বিজ্ঞানী, পণ্ডিত, শিল্পী, লেখক, বিশ্বের নাগরিক হিসাবে, ইচ্ছুক শিশুদের হিসাবে
শিখতে, কৌতূহলী মানুষ হিসাবে, আমি বিশ্বাস করি আমরা সবাই আশা করি যে বৃদ্ধি এবং বিস্তার
জ্ঞানের মাধ্যমে আমাদের পৃথিবী উন্নত হবে স্থান, যে এটি আমাদের বুঝতে সাহায্য করবে
পৃথিবী, রোগ এবং দারিদ্র্য নিরাময়ে, এগিয়ে যাওয়ার জন্য বিজ্ঞান ও বাণিজ্যের অগ্রগতি এবং
মানবিক এবং শিল্পকলা।
বিজ্ঞান এমন একটি ভাষা যা আমাদের সকলের কথা বলতে হবে আমরা আমাদের পৃথিবীকে উন্নত করতে চাই।
শোনার জন্য ধন্যবাদ.
[সীলটি ঘেউ ঘেউ করছে]
[সঙ্গীত]