[ดนตรี]
[ผู้ประกาศ] นี่คือแหล่งข้อมูลสาธารณะ
[Carl Malamud] สวัสดี ฉันชื่อ Carl Malamud
ยินดีต้อนรับสู่ดัชนีทั่วไป
เรานำเสนอที่นี่ฟรีและไม่จำกัดของคุณ ใช้ชุด n-grams สกัดจาก 107 ล้าน
233,000 บทความในวารสาร 728 บทความ
n-grams มีตั้งแต่คำเดียว, รู้จัก เป็น unigrams เป็นวลีสองคำ (bigrams)
วลีสูงสุด 5 คำ เรียกว่า 5 กรัม
มีทั้งหมด 355 พันล้านแถวของ n-grams ในดัชนีทั่วไปรุ่นนี้ แต่ละ
สอดคล้องกับบทความฮิตในวารสาร
ชุดเครื่องมือที่เรียกว่า Spacy ถูกใช้เพื่อแยก n-grams ซึ่งเราได้แยกออก
ข้ามสิบหกไฟล์
ที่เกี่ยวข้องกับแต่ละแถวคือแฮช md5 ซึ่ง แสดงถึงบทความในวารสาร
นอกจากนี้เรายังแสดงรายการความถี่ของ n-gram ในบทความ
เราหวังว่าเมื่อเวลาผ่านไปจะระบุความถี่ด้วย ในคลังข้อมูลโดยรวม ตัววัดความเกี่ยวข้อง
เรียกว่า TD/IDF
นอกเหนือจาก n-grams แล้ว ดัชนีทั่วไป มีคำหลักที่ดึงออกมาโดยใช้ Yake
toolkit.Yake “วางอยู่บนสถิติข้อความ คุณสมบัติที่ดึงมาจากเอกสารเดียวถึง
เลือกคำหลักที่สำคัญที่สุดของข้อความ”
ตารางคีย์เวิร์ดดัชนีทั่วไปประกอบด้วย รวม 19 พันล้านคำสำคัญ
สุดท้าย ดัชนีทั่วไปมีข้อมูลเมตา ตารางการแมปแฮช md5 กับรายการดังกล่าว
ที่อยู่เฉพาะของ DOI สำหรับบทความในวารสาร ชื่อเรื่อง ผู้แต่ง และวารสาร
นี่คือการเปิดตัวครั้งแรกของดัชนีทั่วไป งานที่อยู่ระหว่างดำเนินการ
ในบางกรณี การดึงข้อความล้มเหลว
บางครั้ง ไม่มีข้อมูลเมตา หรือ is อาจจะไม่ถูกต้องด้วยซ้ำ
แม้ว่าคลังข้อมูลพื้นฐานจะมีขนาดใหญ่ แต่ก็เป็น ไม่สมบูรณ์และไม่ทันสมัย
มีหลายวิธีที่สามารถปรับปรุงได้ และเราหวังว่าจะสร้างนายพล
ดัชนีดีขึ้นเมื่อเวลาผ่านไป
ดัชนีทั่วไปมีพื้นที่ประมาณ38 ข้อมูลเทราไบต์ในรูปแบบของ Postgres
ดัมพ์ แต่ด้วยการบีบอัด ASCII . นี้ ข้อมูลลดลงเหลือ 8.5 เทราไบต์
คุณสามารถดาวน์โหลดข้อมูลได้โดยตรงจากที่นี่ หรือใช้เครื่องมือเช่น bittorrent
อย่าลังเลที่จะสร้างมิเรอร์หรือสาธารณะอื่น ๆ ที่เก็บเพื่อแจกจ่ายดัชนีทั่วไป
ความหวังของเราคือสามารถใส่ตัวเลขได้ ของการใช้งาน เราใช้ฐานข้อมูล Postgres
และใช้ดัชนีทั่วไปในการค้นหา ชื่อพืชจากรายการหลัก
ดัชนีสามารถใช้เพื่อค้นหาอื่นๆ วัตถุ เช่น สารเคมี ยีนต่างๆ
การเข้ารหัส โปรตีน วัสดุ ชื่อสถานที่ หรือหน่วยงานอื่นๆ
แทนที่จะเป็นฐานข้อมูล Postgres เทคนิคอื่นๆ เช่น BERT สามารถใช้กับข้อมูลได้
นี่คือเครื่องมือค้นหา พจนานุกรมความรู้ แผนที่สู่ความรู้ เครื่องมือที่เราเชื่อ
เป็นสิ่งอำนวยความสะดวกที่จำเป็นสำหรับการปฏิบัติ ของวิทยาศาสตร์ในยุคปัจจุบันของเรา
ดัชนีความรู้ทั่วไปนี้ไม่ได้ทำให้ คลังข้อมูลพื้นฐานที่มีอยู่ ค่อนข้าง ข้อเท็จจริง
ถูกดึงออกมาจากคลัง
นี่คือไม่สิ้นเปลือง และการใช้แบบดัดแปลง
เรามองว่าสิ่งนี้เป็นสาธารณูปโภค เรายืนยัน ไม่มีความเป็นเจ้าของเหนือดัชนีทั่วไป
อุทิศให้กับสาธารณสมบัติ ซีรีส์ ของข้อเท็จจริงที่ปราศจากภาระผูกพันที่คุณสามารถ
ทำในสิ่งที่คุณต้องการ
ไม่มีสิทธิ์สงวนไว้
นักปราชญ์บนเส้นทางสู่การค้นพบสามารถปรึกษาได้ โรดแมปนี้เพื่อค้นหาจุดหมายปลายทางได้รวดเร็วยิ่งขึ้น
พวกเขาต้องการเยี่ยมชม เราเป็นเพียงเอกสารใน โถงทางเดินของหอจดหมายเหตุอันกว้างใหญ่ของโลก
ชุมชนรวมของนักวิชาการและนักวิทยาศาสตร์ และวิศวกรและศิลปินที่สร้างสรรค์
วัดแห่งความรู้เหล่านี้
วัดเหล่านี้จากห้องสมุดอเล็กซานเดรีย สู่ห้องสมุดอเล็กซานดราจากพระสงฆ์
ของไอร์แลนด์ไปจนถึงห้องสมุดวิจัยที่ทันสมัยมากมาย ของวันนี้จากอาลักษณ์อาหรับและยิว
ร่วมกันสร้างบ้านแห่งปัญญา ในกรุงแบกแดดไปยังโรงงานแห่งความรู้ที่ตั้งอยู่
ในบ้านการค้าอินเดียตะวันออกสมัยใหม่เช่น แท่นพิมพ์ของอ็อกซ์ฟอร์ดและเคมบริดจ์เหล่านี้
เป็นจุดหมายปลายทางที่นักปราชญ์ต้องไปเยือน เพื่อพัฒนาฝีมือการเรียนรู้จาก
ผู้ที่มาก่อนเรา
วัดเหล่านี้ประกอบด้วยความรู้ทั้งหมด แต่เราต้องสามารถค้นหาความรู้นั้นได้
ดัชนีทั่วไปคือแผนที่
นี่ไม่ใช่แผนที่รวมความรู้ของมนุษย์ทั้งหมด
แต่มันเป็นเซตย่อยที่สำคัญอย่างแน่นอน
เพื่อเพิ่มพูนและเผยแพร่ความรู้ ต่อไปถ้าเราจะยืนบนบ่า
ของยักษ์ เราต้องจัดเตรียมแผนที่เหล่านี้ให้ โลกกว้างใหญ่ของความคิด
ดัชนีทั่วไปเป็นเพียงเครื่องมือเดียว เครื่องมือ ที่เราหวังว่าเมื่อเวลาผ่านไปจะได้รับคุณภาพ
และในขอบเขต เครื่องมือที่เราหวังว่าจะจัดหาให้ ผลงานที่เป็นประโยชน์
เพื่อการปฏิบัติทางวิทยาศาสตร์ของคุณ
เราหวังว่าคุณจะใส่ดัชนีทั่วไปนี้ด้วย การใช้งานที่น่าแปลกใจที่เราสามารถสร้างดัชนีได้
ดีกว่าที่คุณสามารถสร้างเครื่องมืออื่น ๆ ที่ ชุมชนนักปราชญ์สามารถทำงานร่วมกันได้
ในภารกิจร่วมกันเพื่อขุดความลึกอันกว้างใหญ่ ของมหาสมุทรแห่งการเรียนรู้นี้
ฉันเชื่อว่าเราทุกคนมีเป้าหมายร่วมกัน ความหวังร่วมกัน
ในฐานะนักวิทยาศาสตร์ นักวิชาการ ศิลปิน นักเขียน เป็นพลเมืองของโลก ดั่งเด็กปรารถนา
เพื่อเรียนรู้ในฐานะมนุษย์ที่อยากรู้อยากเห็นฉันเชื่อว่า เราทุกคนหวังว่าการเพิ่มขึ้นและการแพร่กระจาย
ความรู้จะทำให้โลกของเราน่าอยู่ขึ้น ที่จะช่วยให้เราเข้าใจ
โลกเพื่อรักษาโรคและความยากจนให้ก้าวหน้า ความก้าวหน้าของวิทยาศาสตร์และการพาณิชย์และ
มนุษยศาสตร์และศิลปะ
วิทยาศาสตร์เป็นภาษาที่เราทุกคนต้องพูดถ้า เราต้องทำให้โลกของเราดีขึ้น
ขอบคุณสำหรับการฟัง.
[ผนึกกำลังเห่า]
[ดนตรี]