[സംഗീതം]
[അനൗൺസർ] ഇത് പൊതുവിഭവമാണ്
[കാൾ മലമൂട്] ഹലോ, ഞാൻ കാൾ മലമൂട്.
പൊതു സൂചികയിലേക്ക് സ്വാഗതം.
നിങ്ങളുടെ സൗജന്യവും പരിമിതികളില്ലാത്തതുമായി ഞങ്ങൾ ഇവിടെ അവതരിപ്പിക്കുന്നു 107 ദശലക്ഷത്തിൽ നിന്ന് വേർതിരിച്ചെടുത്ത n- ഗ്രാം സെറ്റ് ഉപയോഗിക്കുക,
233 ആയിരം, 728 ജേണൽ ലേഖനങ്ങൾ.
അറിയപ്പെടുന്ന ഒറ്റ വാക്കുകളിൽ നിന്ന് n- ഗ്രാം പരിധി യൂണിഗ്രാമുകളായി, രണ്ട് വാക്കുകളുള്ള ശൈലികളിലേക്ക് (ബിഗ്രാം)
5-ഗ്രാം പദങ്ങൾ എന്നറിയപ്പെടുന്ന 5-പദ പദങ്ങൾ വരെ.
355 ബില്യൺ വരികളായ n- ഗ്രാം ഉണ്ട് പൊതു സൂചികയുടെ ഈ റിലീസിൽ, ഓരോന്നും
ഒരു ജേണൽ ലേഖനത്തിലെ ഹിറ്റുമായി ബന്ധപ്പെട്ടത്.
സ്പെയ്സി എന്ന ടൂൾകിറ്റ് എക്സ്ട്രാക്റ്റ് ചെയ്യാൻ ഉപയോഗിച്ചു നമ്മൾ വിഭജിച്ച n- ഗ്രാം
പതിനാറ് ഫയലുകളിലുടനീളം.
ഓരോ വരിയിലും ഒരു md5 ഹാഷ് ബന്ധപ്പെട്ടിരിക്കുന്നു ഒരു ജേണൽ ലേഖനത്തെ പ്രതിനിധീകരിക്കുന്നു.
കൂടാതെ, ഇതിന്റെ ആവൃത്തി ഞങ്ങൾ പട്ടികപ്പെടുത്തുന്നു ലേഖനത്തിൽ n- ഗ്രാം.
കാലക്രമേണ ആവൃത്തിയും പട്ടികപ്പെടുത്തുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു മൊത്തത്തിലുള്ള കോർപ്പസിൽ, ഒരു പ്രസക്തി മെട്രിക്
TD/IDF എന്നറിയപ്പെടുന്നു.
എൻ-ഗ്രാമിന് പുറമേ, പൊതു സൂചിക യാക്ക് ഉപയോഗിച്ച് വേർതിരിച്ചെടുത്ത കീവേഡുകൾ അടങ്ങിയിരിക്കുന്നു
ടൂൾകിറ്റ് സിംഗിൾ ഡോക്യുമെന്റുകളിൽ നിന്ന് വേർതിരിച്ചെടുത്ത സവിശേഷതകൾ
ഒരു ടെക്സ്റ്റിന്റെ ഏറ്റവും പ്രധാനപ്പെട്ട കീവേഡുകൾ തിരഞ്ഞെടുക്കുക. "
പൊതു സൂചിക കീവേഡ് പട്ടികകളിൽ അടങ്ങിയിരിക്കുന്നു ആകെ 19 ബില്യൺ കീവേഡുകൾ.
അവസാനമായി, പൊതു സൂചികയിൽ ഒരു മെറ്റാഡാറ്റ അടങ്ങിയിരിക്കുന്നു പട്ടിക, md5 ഹാഷ് പോലുള്ള ഇനങ്ങളിലേക്ക് മാപ്പ് ചെയ്യുന്നു
ഒരു ജേണൽ ലേഖനത്തിനുള്ള DOI തനതായ വിലാസം, ശീർഷകം, രചയിതാവ്, ജേണൽ.
ഇത് പൊതു സൂചികയുടെ നേരത്തെയുള്ള പ്രകാശനമാണ്, ഒരു പണി പുരോഗമിക്കുന്നു.
ചില സന്ദർഭങ്ങളിൽ, ടെക്സ്റ്റ് എക്സ്ട്രാക്ഷൻ പരാജയപ്പെട്ടു.
ചിലപ്പോൾ, മെറ്റാഡാറ്റ ലഭ്യമല്ല, അല്ലെങ്കിൽ ഒരുപക്ഷേ തെറ്റായിരിക്കാം.
അന്തർലീനമായ കോർപ്പസ് വലുതാണെങ്കിലും, അത് പൂർത്തിയായിട്ടില്ല, കാലികമല്ല.
ഇത് മെച്ചപ്പെടുത്താൻ നിരവധി മാർഗങ്ങളുണ്ട്, ഞങ്ങൾ ജനറൽ ആകാൻ കാത്തിരിക്കുന്നു
കാലക്രമേണ മെച്ചപ്പെട്ട സൂചിക.
പൊതു സൂചിക ഏകദേശം 38 ആണ് ഒരു പോസ്റ്റ്ഗ്രെസിന്റെ രൂപത്തിൽ ടെറാബൈറ്റ് ഡാറ്റ
എങ്ങനെയെങ്കിലും കംപ്രഷൻ ഉപയോഗിച്ച്, ഈ ASCII ഡാറ്റ 8.5 ടെറാബൈറ്റായി ചുരുക്കി.
നിങ്ങൾക്ക് ഇവിടെ നിന്ന് നേരിട്ട് ഡാറ്റ ഡൗൺലോഡ് ചെയ്യാം, അല്ലെങ്കിൽ bittorrent പോലുള്ള ഉപകരണങ്ങൾ ഉപയോഗിക്കുക.
കണ്ണാടികളോ മറ്റ് പൊതുജനങ്ങളോ സൃഷ്ടിക്കാൻ മടിക്കേണ്ടതില്ല പൊതു സൂചിക പുനർവിതരണം ചെയ്യുന്നതിനുള്ള സംഭരണികൾ.
ഇത് ഒരു സംഖ്യയിൽ ഉൾപ്പെടുത്താനാകുമെന്നാണ് ഞങ്ങളുടെ പ്രതീക്ഷ ഉപയോഗങ്ങൾ. ഞങ്ങൾ ഒരു പോസ്റ്റ്ഗ്രെസ് ഡാറ്റാബേസ് ഉപയോഗിക്കുന്നു,
തിരയാൻ പൊതു സൂചിക ഉപയോഗിക്കുന്നു ഒരു മാസ്റ്റർ ലിസ്റ്റിൽ നിന്നുള്ള സസ്യങ്ങളുടെ പേരുകൾ.
മറ്റുള്ളവരെ തിരയാൻ സൂചിക ഉപയോഗിക്കാം രാസവസ്തുക്കൾ പോലുള്ള വസ്തുക്കൾ, വിവിധ ജീനുകൾ
എൻകോഡിംഗുകൾ, പ്രോട്ടീനുകൾ, മെറ്റീരിയലുകൾ, സ്ഥലപ്പേരുകൾ, അല്ലെങ്കിൽ മറ്റ് സ്ഥാപനങ്ങൾ.
ഒരു പോസ്റ്റ്ഗ്രെസ് ഡാറ്റാബേസിനുപകരം, മറ്റ് ടെക്നിക്കുകൾ, BERT പോലുള്ളവ, ഡാറ്റയിൽ പ്രയോഗിക്കാവുന്നതാണ്.
ഇത് ഒരു തിരയൽ ഉപകരണമാണ്, അറിവിന്റെ നിഘണ്ടു, അറിവിലേക്കുള്ള ഒരു ഭൂപടം, ഞങ്ങൾ വിശ്വസിക്കുന്ന ഒരു ഉപകരണം
പരിശീലനത്തിന് അത്യാവശ്യമായ ഒരു സൗകര്യമാണ് നമ്മുടെ ആധുനിക കാലഘട്ടത്തിലെ ശാസ്ത്രം.
അറിവിലേക്കുള്ള ഈ പൊതു സൂചിക ഉണ്ടാക്കുന്നില്ല ലഭ്യമായ അടിസ്ഥാന കോർപ്പസ്, മറിച്ച് വസ്തുതകൾ
കോർപ്പസിൽ നിന്ന് വേർതിരിച്ചെടുക്കുന്നു.
ഇതൊരു സംവേദനക്ഷമമല്ല പരിവർത്തന ഉപയോഗവും.
ഞങ്ങൾ ഇത് ഒരു പൊതു ഉപയോഗമായി കാണുന്നു പൊതു സൂചികയിൽ ഉടമസ്ഥാവകാശമില്ല.
ഇത് പൊതുസഞ്ചയമായ ഒരു പരമ്പരയ്ക്കായി സമർപ്പിക്കുന്നു നിങ്ങൾക്ക് കഴിയുന്ന രേഖകളില്ലാത്ത വസ്തുതകൾ
നിങ്ങൾക്ക് ഇഷ്ടമുള്ളത് ചെയ്യുക.
യാതൊരു അവകാശങ്ങളും നിക്ഷിപ്തമല്ല.
കണ്ടെത്തലിലേക്കുള്ള വഴിയിലുള്ള പണ്ഡിതന്മാർക്ക് കൂടിയാലോചിക്കാം ലക്ഷ്യസ്ഥാനങ്ങൾ വേഗത്തിൽ കണ്ടെത്താനുള്ള ഈ മാർഗരേഖ
അവർ സന്ദർശിക്കാൻ ആഗ്രഹിക്കുന്നു ലോകത്തിലെ വിശാലമായ ആർക്കൈവുകളുടെ ഇടനാഴികൾ,
പണ്ഡിതന്മാരുടെയും ശാസ്ത്രജ്ഞരുടെയും കൂട്ടായ സമൂഹം സൃഷ്ടിച്ച എഞ്ചിനീയർമാരും കലാകാരന്മാരും
ഈ അറിവിന്റെ ക്ഷേത്രങ്ങൾ.
ഈ ക്ഷേത്രങ്ങൾ, അലക്സാണ്ട്രിയ ലൈബ്രറിയിൽ നിന്ന് സന്യാസിമാരിൽ നിന്ന് അലക്സാണ്ട്ര ലൈബ്രറിയിലേക്ക്
വിശാലമായ ആധുനിക ഗവേഷണ ലൈബ്രറികളിലേക്ക് അയർലണ്ടിന്റെ ഇന്നത്തെ, അറബ്, ജൂത എഴുത്തുകാരിൽ നിന്ന്
ജ്ഞാനത്തിന്റെ ഭവനം പണിയാൻ ഒരുമിച്ച് പ്രവർത്തിക്കുന്നു ബാഗ്ദാദിൽ വിജ്ഞാന ഫാക്ടറികളിലേക്ക്
ആധുനിക ഈസ്റ്റ് ഇന്ത്യൻ ട്രേഡിംഗ് ഹൗസുകളിൽ ഓക്സ്ഫോർഡിന്റെയും കേംബ്രിഡ്ജിന്റെയും പ്രസ്സുകൾ, ഇവ
പണ്ഡിതന്മാർ സന്ദർശിക്കേണ്ട സ്ഥലങ്ങളാണ് അവരുടെ കരകൗശല മുന്നേറാൻ, പഠിക്കാൻ
ഞങ്ങളുടെ മുന്നിൽ വന്നവർ.
ഈ ക്ഷേത്രങ്ങളിൽ എല്ലാ അറിവുകളും അടങ്ങിയിരിക്കുന്നു, പക്ഷേ നമുക്ക് ആ അറിവ് കണ്ടെത്താൻ കഴിയണം.
പൊതു സൂചിക ഒരു ഭൂപടമാണ്.
ഇത് എല്ലാ മനുഷ്യ അറിവിന്റെയും ആകെത്തുകയുള്ള ഒരു ഭൂപടമല്ല,
എന്നാൽ ഇത് തീർച്ചയായും ഒരു ഗണ്യമായ ഉപവിഭാഗമാണ്.
അറിവിന്റെ വർദ്ധനവിനും വ്യാപനത്തിനും തുടരാൻ, നമ്മൾ തോളിൽ നിൽക്കണമെങ്കിൽ
ഭീമന്മാരുടെ, ഞങ്ങൾ ഈ മാപ്പുകൾ അതിനായി നൽകണം ആശയങ്ങളുടെ വിശാലമായ ലോകം.
പൊതു സൂചിക ഒരു ഉപകരണം മാത്രമാണ് കാലക്രമേണ ഗുണനിലവാരം ലഭിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു
വ്യാപ്തിയിൽ, അത് നൽകുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്ന ഒരു ഉപകരണം ഉപയോഗപ്രദമായ സംഭാവന
നിങ്ങളുടെ ശാസ്ത്ര പരിശീലനത്തിലേക്ക്.
നിങ്ങൾ ഈ പൊതു സൂചികയും നൽകുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു ആശ്ചര്യകരമായ ഉപയോഗങ്ങൾ, നമുക്ക് സൂചിക ഉണ്ടാക്കാൻ കഴിയും
നല്ലത്, നിങ്ങൾക്ക് മറ്റ് ഉപകരണങ്ങൾ സൃഷ്ടിക്കാൻ കഴിയും, അതായത് പണ്ഡിത സമൂഹത്തിന് ഒരുമിച്ച് പ്രവർത്തിക്കാൻ കഴിയും
വിശാലമായ ആഴം ഖനനം ചെയ്യാനുള്ള ഒരു പൊതു അന്വേഷണത്തിൽ ഈ പഠന സമുദ്രത്തിന്റെ.
നാമെല്ലാവരും ഒരു പൊതു ലക്ഷ്യം പങ്കിടുന്നുവെന്ന് ഞാൻ വിശ്വസിക്കുന്നു, ഒരു പൊതു പ്രതീക്ഷ.
ശാസ്ത്രജ്ഞർ, പണ്ഡിതന്മാർ, കലാകാരന്മാർ, എഴുത്തുകാർ, ലോകത്തിന്റെ പൗരന്മാരായി, കുട്ടികൾ ആഗ്രഹിക്കുന്നതുപോലെ
പഠിക്കാൻ, ജിജ്ഞാസയുള്ള മനുഷ്യരെന്ന നിലയിൽ, ഞാൻ വിശ്വസിക്കുന്നു വർദ്ധനവും വ്യാപനവും ഉണ്ടാകുമെന്ന് നാമെല്ലാവരും പ്രതീക്ഷിക്കുന്നു
അറിവ് നമ്മുടെ ലോകത്തെ മികച്ചതാക്കും സ്ഥലം, അത് നമ്മുടേത് മനസ്സിലാക്കാൻ സഹായിക്കും
ലോകം, രോഗവും ദാരിദ്ര്യവും ഭേദമാക്കാൻ, മുന്നേറാൻ ശാസ്ത്രത്തിന്റെയും വാണിജ്യത്തിന്റെയും പുരോഗതിയും
മാനവികതയും കലയും.
ശാസ്ത്രം നമ്മൾ എല്ലാവരും സംസാരിക്കേണ്ട ഒരു ഭാഷയാണ് നമ്മൾ നമ്മുടെ ലോകം നന്നാക്കണം.
കേട്ടതിനു നന്ദി.
[മുദ്ര കുരയ്ക്കുന്നു]
[സംഗീതം]