[მუსიკა]
[გამომცხადებელი] ეს არის საჯარო რესურსი
[კარლ მალამუდი] გამარჯობა, მე ვარ კარლ მალამუდი.
კეთილი იყოს თქვენი მობრძანება გენერალურ ინდექსში.
ჩვენ წარმოგიდგენთ აქ თქვენს უფასოდ და შეუზღუდავად გამოიყენეთ 107 მილიონიდან ამოღებული n- გრამიანი კომპლექტი,
233 ათასი, 728 ჟურნალის სტატია.
N გრამი მერყეობს ერთი სიტყვიდან, ცნობილი როგორც უნიგრამები, ორსიტყვიანი ფრაზები (ბიგრამები)
5-სიტყვიანი ფრაზა, რომელიც ცნობილია როგორც 5 გრამი.
ნათქვამია, რომ 355 მილიარდი რიგი N- გრამია ზოგადი ინდექსის ამ გამოცემაში, თითოეული
შეესაბამება ჰიტს ჟურნალის სტატიაში.
ინსტრუმენტების ნაკრები სახელწოდებით Spacy გამოიყენეს ამონაწერი n- გრამი, რომელიც ჩვენ დავყავით
თექვსმეტი ფაილში.
თითოეულ რიგთან არის დაკავშირებული md5 ჰაში, რომელიც წარმოადგენს ჟურნალის სტატიას.
გარდა ამისა, ჩვენ ჩამოვთვლით სიხშირეს n- გრამი სტატიაში.
ჩვენ ვიმედოვნებთ, რომ დროთა განმავლობაში ასევე ჩამოვთვლით სიხშირეს საერთო კორპუსში, შესაბამისობის მეტრიკა
ცნობილია როგორც TD/IDF.
N- გრამების გარდა, ზოგადი ინდექსი შეიცავს საკვანძო სიტყვებს, რომლებიც ამოღებულია იაკის გამოყენებით
toolkit.Yake “ეყრდნობა ტექსტის სტატისტიკას მახასიათებლები ამოღებულია ერთი დოკუმენტიდან
შეარჩიეთ ტექსტის ყველაზე მნიშვნელოვანი საკვანძო სიტყვები. ”
ძირითადი ინდექსის საკვანძო სიტყვების ცხრილები შეიცავს სულ 19 მილიარდი საკვანძო სიტყვა.
დაბოლოს, ზოგადი ინდექსი შეიცავს მეტამონაცემებს მაგიდა, md5 ჰეშის შედგენა ისეთ ნივთებზე
DOI უნიკალური მისამართი ჟურნალის სტატიისთვის, სათაური, ავტორი და ჟურნალი.
ეს არის ზოგადი ინდექსის ადრეული გამოშვება, მიმდინარეობს მუშაობა.
ზოგიერთ შემთხვევაში, ტექსტის ამოღება ვერ მოხერხდა.
ზოგჯერ, მეტამონაცემები არ არის ხელმისაწვდომი, ან არის ალბათ არასწორიც კი.
მიუხედავად იმისა, რომ ძირითადი კორპუსი დიდია, ის არის არ არის სრულყოფილი და არ არის უახლესი.
ამის გაუმჯობესების მრავალი გზა არსებობს, და ჩვენ მოუთმენლად ველით გენერალის შექმნას
ინდექსი უკეთესად დროთა განმავლობაში.
ზოგადი ინდექსი იკავებს დაახლოებით 38 -ს ტერაბაიტი მონაცემები პოსტგრესის სახით
ნაგავსაყრელი, თუმცა შეკუმშვით, ეს ASCII მონაცემები მცირდება 8.5 ტერაბაიტამდე.
თქვენ შეგიძლიათ გადმოწეროთ მონაცემები პირდაპირ აქედან, ან გამოიყენეთ ისეთი ინსტრუმენტები, როგორიცაა bittorrent.
თავისუფლად შექმენით სარკეები ან სხვა საჯარო საცავები ზოგადი ინდექსის გადანაწილებისთვის.
ჩვენ ვიმედოვნებთ, რომ ეს რიცხვი შეიძლება დაითვალოს გამოყენების. ჩვენ ვიყენებთ Postgres მონაცემთა ბაზას,
და ზოგადი ინდექსის გამოყენებით მოსაძებნად მცენარეების სახელები სამაგისტრო სიიდან.
ინდექსი შეიძლება გამოყენებულ იქნას სხვათა მოსაძებნად საგნები, როგორიცაა ქიმიკატები, გენები სხვადასხვა
კოდირება, ცილები, მასალები, ადგილების სახელები, ან სხვა პირები.
პოსტგრესის მონაცემთა ბაზის ნაცვლად, სხვა ტექნიკა, როგორიცაა BERT, შეიძლება გამოყენებულ იქნას მონაცემებზე.
ეს არის საძიებელი ინსტრუმენტი, ცოდნის ლექსიკონი, რუკა ცოდნისკენ, ინსტრუმენტი, რომელსაც ჩვენ გვჯერა
არის აუცილებელი საშუალება პრაქტიკისათვის მეცნიერება ჩვენს თანამედროვე ეპოქაში.
ცოდნის ეს ზოგადი მაჩვენებელი არ არის ძირითადი კორპუსი ხელმისაწვდომია, უფრო სწორად, ფაქტები
ამოღებულია კორპუსიდან.
ეს არის არასანთებითი და ტრანსფორმაციული გამოყენება.
ჩვენ ამას ვხედავთ, როგორც საზოგადოებრივ სარგებელს. ჩვენ ვამტკიცებთ არ გააჩნია საკუთრება ზოგად ინდექსზე.
იგი ეძღვნება საზოგადოებრივ დომენს, სერიას დაუტვირთავ ფაქტებს, რომლითაც შეგიძლია
გააკეთე რაც გინდა
არ არის დაცული უფლებები.
აღმოჩენის გზაზე მყოფ მეცნიერებს შეუძლიათ კონსულტაციები ეს არის რუქა დანიშნულების ადგილების უფრო სწრაფად მოსაძებნად
მათ სურთ სტუმრობა. ჩვენ მხოლოდ დოცენტები ვართ მსოფლიოს უზარმაზარი არქივების დერეფნები,
მეცნიერთა და მეცნიერთა კოლექტიური საზოგადოება ინჟინრები და მხატვრები, რომლებმაც შექმნეს
ცოდნის ეს ტაძრები.
ეს ტაძრები, ალექსანდრიის ბიბლიოთეკიდან ალექსანდრას ბიბლიოთეკაში, ბერებისგან
ირლანდიის უზარმაზარი თანამედროვე კვლევითი ბიბლიოთეკები დღევანდელი დღიდან, არაბი და ებრაელი მწიგნობრებიდან
ერთად მუშაობენ სიბრძნის სახლის ასაშენებლად ბაღდადში განთავსებული ცოდნის ქარხნებში
თანამედროვე აღმოსავლეთ ინდოეთის სავაჭრო სახლებში, როგორიცაა ოქსფორდისა და კემბრიჯის პრესა, ეს
არის ის მიმართულებები, რომლებიც მეცნიერებმა უნდა მოინახულონ ხელი შეუწყონ თავიანთ ხელობას, ისწავლონ
ის, რაც ჩვენამდე მოვიდა.
ეს ტაძრები შეიცავს ყველა ცოდნის ჯამს, მაგრამ ჩვენ უნდა შეგვეძლოს ამ ცოდნის პოვნა.
ზოგადი ინდექსი არის რუკა.
ეს არ არის რუქა ადამიანის მთელი ცოდნის ჯამი,
მაგრამ ეს, რა თქმა უნდა, არსებითი ქვესიმრავლეა.
ცოდნის გაზრდისა და გავრცელებისათვის გავაგრძელოთ, თუ მხრებზე უნდა დავდგეთ
გიგანტების, ჩვენ უნდა მივაწოდოთ ეს რუქები ამას იდეების უზარმაზარი სამყარო.
ზოგადი ინდექსი არის მხოლოდ ერთი ინსტრუმენტი, ინსტრუმენტი რომ ჩვენ ვიმედოვნებთ დროთა განმავლობაში მოიპოვებს ხარისხს
და მასშტაბით, ინსტრუმენტი, რომელსაც ჩვენ ვიმედოვნებთ, რომ მოგვცემს სასარგებლო წვლილი
თქვენი მეცნიერების პრაქტიკაში.
ჩვენ ვიმედოვნებთ, რომ თქვენ ასევე დააყენებთ ამ ზოგად ინდექსს გასაკვირი გამოყენება, რომ ჩვენ შეგვიძლია გავაკეთოთ ინდექსი
უკეთესი, რომ თქვენ შეგიძლიათ შექმნათ სხვა ინსტრუმენტები, ეს მეცნიერთა საზოგადოებას შეუძლია ერთად იმუშაოს
უზარმაზარი სიღრმეების მოპოვების საერთო ძიებაში სწავლის ამ ოკეანეს.
მე მჯერა, რომ ჩვენ ყველას გვაქვს საერთო მიზანი, საერთო იმედი.
როგორც მეცნიერები, მეცნიერები, მხატვრები, მწერლები, როგორც მსოფლიოს მოქალაქეები, როგორც ბავშვებს სურთ
მე მჯერა, რომ ცნობისმოყვარე ადამიანების სწავლა ჩვენ ყველანი ვიმედოვნებთ, რომ ზრდა და გავრცელება
ცოდნა გახდის ჩვენს სამყაროს უკეთესს ადგილი, რომელიც დაგვეხმარება გავიგოთ ჩვენი
სამყარო, დაავადების და სიღარიბის განკურნება, წინსვლა მეცნიერებისა და კომერციის პროგრესი და
ჰუმანიტარული მეცნიერებები და ხელოვნება.
მეცნიერება არის ენა, რომელზეც ყველამ უნდა ვილაპარაკოთ ჩვენ უნდა გავაუმჯობესოთ ჩვენი სამყარო.
მადლობა მოსმენისთვის.
[ბეჭედი ყეფს]
[მუსიკა]