[ເພງ]
[ຜູ້ປະກາດ] ອັນນີ້ແມ່ນຊັບພະຍາກອນສາທາລະນະ
[Carl Malamud] ສະບາຍດີ, ຂ້ອຍແມ່ນ Carl Malamud.
ຍິນດີຕ້ອນຮັບສູ່ດັດຊະນີທົ່ວໄປ.
ພວກເຮົານໍາສະ ເໜີ ຢູ່ທີ່ນີ້ສໍາລັບຟຣີແລະບໍ່ຈໍາກັດຂອງເຈົ້າ ໃຊ້ຊຸດຂອງ n-grams ສະກັດຈາກ 107 ລ້ານ,
233 ພັນ, 728 ບົດຄວາມໃນວາລະສານ.
ຂອບເຂດ n- ກຼາມຈາກ ຄຳ ສັບດ່ຽວ, ຮູ້ຈັກ ເປັນ unigrams, ເປັນປະໂຫຍກສອງຄໍາ (bigrams)
ສູງສຸດ 5 ປະໂຫຍກ ຄຳ ສັບ, ທີ່ຮູ້ຈັກກັນໃນນາມ 5 ກຣາມ.
ມີທັງtoldົດທີ່ບອກ, 355 ພັນລ້ານແຖວຂອງ n-grams ໃນການເຜີຍແຜ່ດັດຊະນີທົ່ວໄປນີ້, ແຕ່ລະອັນ
ກົງກັບບົດຕີພິມໃນວາລະສານ.
ຊຸດເຄື່ອງມືທີ່ເອີ້ນວ່າ Spacy ໄດ້ຖືກນໍາໃຊ້ເພື່ອສະກັດເອົາ n- ກຼາມ, ເຊິ່ງພວກເຮົາໄດ້ແບ່ງປັນ
ໃນທົ່ວສິບຫົກໄຟລ.
ກ່ຽວຂ້ອງກັບແຕ່ລະແຖວແມ່ນ md5 hash, ເຊິ່ງ ເປັນຕົວແທນຂອງບົດຄວາມວາລະສານ.
ນອກຈາກນັ້ນ, ພວກເຮົາບອກລາຍການຄວາມຖີ່ຂອງການ n-gram ໃນບົດຄວາມ.
ພວກເຮົາຫວັງວ່າໃນໄລຍະນີ້ຈະມີລາຍຊື່ຄວາມຖີ່ຄືກັນ ໃນອົງປະກອບລວມ, ການວັດແທກຄວາມກ່ຽວຂ້ອງ
ທີ່ຮູ້ຈັກເປັນ TD/IDF.
ນອກ ເໜືອ ໄປຈາກ n-grams, ດັດຊະນີທົ່ວໄປ ມີ ຄຳ ຄົ້ນທີ່ສະກັດໂດຍໃຊ້ Yake
toolkit.Yake“ ຂື້ນກັບສະຖິຕິຂໍ້ຄວາມ ລັກສະນະທີ່ສະກັດຈາກເອກະສານດຽວໄປຫາ
ເລືອກ ຄຳ ທີ່ ສຳ ຄັນທີ່ສຸດຂອງຂໍ້ຄວາມ.”
ຕາຕະລາງ ຄຳ ສັບດັດຊະນີທົ່ວໄປມີ ຈໍານວນທັງຫມົດຂອງ 19 ຕື້ຄໍາ.
ສຸດທ້າຍ, ດັດຊະນີທົ່ວໄປມີເມຕາເດຕາ ຕາຕະລາງ, ສ້າງແຜນທີ່ md5 hash ໃສ່ລາຍການດັ່ງກ່າວ
ທີ່ຢູ່ທີ່ເປັນເອກະລັກຂອງ DOI ສໍາລັບບົດຄວາມໃນວາລະສານ, ຊື່, ຜູ້ຂຽນ, ແລະວາລະສານ.
ນີ້ແມ່ນການເຜີຍແຜ່ດັດຊະນີທົ່ວໄປກ່ອນໄວອັນ, ວຽກທີ່ພວມ ດຳ ເນີນຢູ່.
ໃນບາງກໍລະນີ, ການສະກັດເອົາຂໍ້ຄວາມບໍ່ສໍາເລັດ.
ບາງຄັ້ງ, ບໍ່ມີຂໍ້ມູນ metadata, ຫຼືແມ່ນ ບາງທີແມ່ນແຕ່ບໍ່ຖືກຕ້ອງ.
ໃນຂະນະທີ່ຮ່າງກາຍຕິດພັນແມ່ນໃຫຍ່, ມັນແມ່ນ ບໍ່ສົມບູນ, ແລະບໍ່ໄດ້ອັບເດດ.
ມີຫຼາຍວິທີທີ່ສາມາດປັບປຸງສິ່ງນີ້ໄດ້, ແລະພວກເຮົາຫວັງວ່າຈະເຮັດໃຫ້ທົ່ວໄປ
ດັດຊະນີດີຂຶ້ນຕາມການເວລາ.
ດັດຊະນີທົ່ວໄປກວມເອົາປະມານ 38 terabytes ຂອງຂໍ້ມູນໃນຮູບແບບຂອງ Postgres
dump, ແນວໃດກໍ່ຕາມດ້ວຍການບີບອັດ, ASCII ນີ້ ຂໍ້ມູນຖືກຫຼຸດລົງມາເປັນ 8.5 terabytes.
ເຈົ້າສາມາດດາວໂລດຂໍ້ມູນໄດ້ໂດຍກົງຈາກບ່ອນນີ້, ຫຼືໃຊ້ເຄື່ອງມືເຊັ່ນ bittorrent.
ຮູ້ສຶກບໍ່ເສຍຄ່າທີ່ຈະສ້າງກະຈົກຫຼືສາທາລະນະອື່ນ repositories ເພື່ອແຈກຢາຍດັດຊະນີທົ່ວໄປ.
ຄວາມຫວັງຂອງພວກເຮົາແມ່ນວ່າມັນສາມາດໃສ່ຕົວເລກໃດນຶ່ງໄດ້ ຂອງການນໍາໃຊ້. ພວກເຮົາໄດ້ໃຊ້ຖານຂໍ້ມູນ Postgres,
ແລະໃຊ້ດັດຊະນີທົ່ວໄປເພື່ອຄົ້ນຫາ ຊື່ຂອງຕົ້ນໄມ້ຈາກບັນຊີລາຍຊື່ຕົ້ນສະບັບ.
ດັດຊະນີດັ່ງກ່າວສາມາດຖືກໃຊ້ເພື່ອຄົ້ນຫາອັນອື່ນ ວັດຖຸເຊັ່ນ: ສານເຄມີ, ພັນທຸ ກຳ ໃນຊະນິດຕ່າງ
ການເຂົ້າລະຫັດ, ໂປຣຕີນ, ວັດສະດຸ, ຊື່ສະຖານທີ່, ຫຼື ໜ່ວຍ ງານອື່ນ.
ແທນທີ່ຈະເປັນຖານຂໍ້ມູນ Postgres, ເຕັກນິກອື່ນ,, ເຊັ່ນ BERT, ສາມາດ ນຳ ໃຊ້ກັບຂໍ້ມູນໄດ້.
ນີ້ແມ່ນເຄື່ອງມືຄົ້ນຫາ, ວັດຈະນານຸກົມຄວາມຮູ້, ແຜນທີ່ໃຫ້ຄວາມຮູ້, ເປັນເຄື່ອງມືທີ່ພວກເຮົາເຊື່ອ
ແມ່ນສິ່ງ ອຳ ນວຍຄວາມສະດວກທີ່ ຈຳ ເປັນ ສຳ ລັບການປະຕິບັດ ວິທະຍາສາດໃນຍຸກສະໄໃ່ຂອງພວກເຮົາ.
ດັດຊະນີຄວາມຮູ້ທົ່ວໄປນີ້ບໍ່ໄດ້ເຮັດ ອົງການຈັດຕັ້ງທີ່ມີຢູ່, ແທນທີ່ຈະ, ຂໍ້ເທັດຈິງ
ຖືກສະກັດຈາກ corpus ໄດ້.
ນີ້ແມ່ນສິ່ງທີ່ບໍ່ສົມເຫດສົມຜົນ ແລະການນໍາໃຊ້ການຫັນປ່ຽນ.
ພວກເຮົາຖືວ່າອັນນີ້ເປັນຜົນປະໂຫຍດສາທາລະນະ ບໍ່ມີຄວາມເປັນເຈົ້າຂອງໃນດັດຊະນີທົ່ວໄປ.
ມັນແມ່ນອຸທິດຕົນເພື່ອສາທາລະນະ, ຊຸດ ຂອງຂໍ້ເທັດຈິງທີ່ບໍ່ໄດ້ນັບເຂົ້າກັບສິ່ງທີ່ເຈົ້າສາມາດເຮັດໄດ້
ເຮັດໃນສິ່ງທີ່ເຈົ້າຈະ.
ບໍ່ມີສິດສະຫງວນໄວ້.
ນັກວິຊາການຢູ່ໃນເສັ້ນທາງການຄົ້ນພົບສາມາດປຶກສາໄດ້ ແຜນທີ່ເສັ້ນທາງນີ້ເພື່ອຊອກຫາຈຸດາຍປາຍທາງໄດ້ໄວຂຶ້ນ
ພວກເຂົາເຈົ້າຕ້ອງການຈະໄປຢ້ຽມຢາມພວກເຮົາມີແຕ່ docents ໃນ ຫ້ອງໂຖງຂອງບ່ອນເກັບມ້ຽນທີ່ກວ້າງຂວາງຂອງໂລກ,
ຊຸມຊົນລວມຂອງນັກວິຊາການແລະນັກວິທະຍາສາດ ແລະວິສະວະກອນແລະສິລະປິນທີ່ໄດ້ສ້າງ
ວັດແຫ່ງຄວາມຮູ້ເຫຼົ່ານີ້.
ວັດວາອາຮາມເຫຼົ່ານີ້, ມາຈາກຫໍສະຸດຂອງ Alexandria ເຖິງຫໍສະຸດ Alexandra, ຈາກພະສົງ
ຂອງປະເທດໄອແລນໄປຫາຫໍສະresearchຸດຄົ້ນຄ້ວາທີ່ທັນສະໄ vast ອັນກວ້າງໃຫຍ່ ໃນມື້ນີ້, ຈາກພວກທໍາມະຈານຊາວອາຣັບແລະຊາວຢິວ
ເຮັດວຽກຮ່ວມກັນເພື່ອສ້າງເຮືອນແຫ່ງປັນຍາ ໃນກຸງແບກແດດໄປຍັງໂຮງງານແຫ່ງຄວາມຮູ້ທີ່ຢູ່
ໃນເຮືອນການຄ້າຂອງອິນເດຍຕາເວັນອອກສະໄ like ໃlike່ເຊັ່ນ ຄວາມກົດດັນຂອງ Oxford ແລະ Cambridge, ສິ່ງເຫຼົ່ານີ້
ແມ່ນຈຸດາຍປາຍທາງທີ່ນັກວິຊາການຕ້ອງໄປຢ້ຽມຢາມ ເພື່ອຄວາມກ້າວ ໜ້າ ດ້ານຫັດຖະກໍາຂອງເຂົາເຈົ້າ, ເພື່ອຮຽນຮູ້ຈາກ
ຜູ້ທີ່ມາກ່ອນພວກເຮົາ.
ວັດເຫຼົ່ານີ້ປະກອບດ້ວຍຜົນລວມຂອງຄວາມຮູ້ທັງົດ, ແຕ່ພວກເຮົາຕ້ອງສາມາດຊອກຫາຄວາມຮູ້ນັ້ນໄດ້.
ດັດຊະນີທົ່ວໄປແມ່ນແຜນທີ່.
ອັນນີ້ບໍ່ແມ່ນແຜນທີ່ສະຫຼຸບຜົນລວມຂອງຄວາມຮູ້ທັງhumanົດຂອງມະນຸດ,
ແຕ່ມັນແນ່ນອນວ່າມັນເປັນກຸ່ມຍ່ອຍທີ່ສໍາຄັນ.
ສໍາລັບການເພີ່ມທະວີແລະເຜີຍແຜ່ຄວາມຮູ້ ເພື່ອສືບຕໍ່, ຖ້າພວກເຮົາຈະຢືນຢູ່ບ່າໄຫລ່
ຂອງຍັກໃຫຍ່, ພວກເຮົາຕ້ອງສະ ໜອງ ແຜນທີ່ເຫຼົ່ານີ້ໃຫ້ກັບສິ່ງນັ້ນ ໂລກທີ່ກວ້າງຂວາງຂອງແນວຄວາມຄິດ.
ດັດຊະນີທົ່ວໄປແມ່ນມີແຕ່ເຄື່ອງມືດຽວ, ເຄື່ອງມື ພວກເຮົາຫວັງວ່າເມື່ອເວລາຜ່ານໄປຈະໄດ້ຮັບຄຸນນະພາບ
ແລະໃນຂອບເຂດ, ເຄື່ອງມືທີ່ພວກເຮົາຫວັງວ່າຈະສະ ໜອງ ໃຫ້ ການປະກອບສ່ວນທີ່ເປັນປະໂຫຍດ
ຕໍ່ກັບການປະຕິບັດວິທະຍາສາດຂອງເຈົ້າ.
ພວກເຮົາຫວັງວ່າເຈົ້າຈະໃສ່ດັດຊະນີທົ່ວໄປນີ້ຄືກັນ ການນໍາໃຊ້ທີ່ຫນ້າປະຫລາດໃຈ, ທີ່ພວກເຮົາສາມາດສ້າງດັດຊະນີ
ດີກວ່າ, ເຈົ້າສາມາດສ້າງເຄື່ອງມືອື່ນ,, ອັນນັ້ນ ຊຸມຊົນຂອງນັກວິຊາການສາມາດເຮັດວຽກຮ່ວມກັນໄດ້
ໃນການຊອກຫາ ທຳ ມະດາເພື່ອຂຸດຄົ້ນຄວາມເລິກອັນກວ້າງໃຫຍ່ ຂອງມະຫາສະofຸດແຫ່ງການຮຽນຮູ້ນີ້.
ຂ້ອຍເຊື່ອວ່າພວກເຮົາທຸກຄົນມີເປົ້າcommonາຍຮ່ວມກັນ, ຄວາມຫວັງທົ່ວໄປ.
ໃນຖານະນັກວິທະຍາສາດ, ນັກວິຊາການ, ນັກສິລະປິນ, ນັກຂຽນ, ເປັນພົນລະເມືອງຂອງໂລກ, ເປັນເດັກນ້ອຍປາຖະ ໜາ
ຂ້ອຍຮຽນຮູ້, ໃນຖານະເປັນມະນຸດທີ່ຢາກຮູ້ຢາກເຫັນ, ຂ້ອຍເຊື່ອ ພວກເຮົາທຸກຄົນຫວັງວ່າການເພີ່ມຂຶ້ນແລະການແຜ່ກະຈາຍ
ຄວາມຮູ້ຈະເຮັດໃຫ້ໂລກຂອງພວກເຮົາດີຂຶ້ນ ສະຖານທີ່, ມັນຈະຊ່ວຍໃຫ້ພວກເຮົາເຂົ້າໃຈຂອງພວກເຮົາ
ໂລກ, ເພື່ອປິ່ນປົວພະຍາດແລະຄວາມທຸກຍາກ, ເພື່ອກ້າວໄປ ໜ້າ ຄວາມຄືບ ໜ້າ ຂອງວິທະຍາສາດແລະການຄ້າແລະ
ມະນຸດແລະສິລະປະ.
ວິທະຍາສາດເປັນພາສາທີ່ພວກເຮົາທຸກຄົນຕ້ອງເວົ້າຖ້າ ພວກເຮົາມີຄວາມດີກວ່າໂລກຂອງພວກເຮົາ.
ຂອບໃຈທີ່ຮັບຟັງ.
[ປະທັບຕາ ກຳ ລັງເປົ່າ]
[ເພງ]