[Хөгжим]
[Илтгэгч] Энэ бол нийтийн нөөц
[Карл Маламуд] Сайн байна уу, би Карл Маламуд байна.
Ерөнхий индексд тавтай морилно уу.
Бид танд үнэ төлбөргүй, хязгааргүй байдлаар танилцуулж байна 107 саяас гаргаж авсан n-грамм багцыг ашиглах,
233 мянга, 728 сэтгүүлийн нийтлэл.
N-грамм нь мэдэгдэж буй ганц үгнээс бүрддэг unigrams хэлбэрээр, хоёр үгтэй хэллэгт (биграм)
5 грамм хүртэл хэллэгийг 5 грамм гэж нэрлэдэг.
Нийтдээ 355 тэрбум эгнээ n-грамм байдаг ерөнхий индексийн энэ хувилбарт тус бүр
сэтгүүлийн нийтлэлд гарсан цохилтод харгалзах болно.
Олборлохын тулд Spacy хэмээх багаж хэрэгслийг ашигласан n-грамм, бидний хуваасан
арван зургаан файлд.
Мөр бүртэй холбоотой md5 хэш байдаг сэтгүүлийн нийтлэлийг төлөөлж байна.
Үүнээс гадна бид давтамжийг жагсаав нийтлэл дэх n-грамм.
Цаг хугацаа өнгөрөх тусам давтамжийг жагсаана гэж найдаж байна ерөнхий байгууллагад хамаарлын хэмжигдэхүүн
TD/IDF гэж нэрлэдэг.
N-граммаас гадна Ерөнхий индекс Yake ашиглан гаргаж авсан түлхүүр үгсийг агуулдаг
toolkit.Yake “текст статистик дээр тулгуурладаг дан баримт бичгээс гаргаж авсан онцлог шинж чанарууд
текстийн хамгийн чухал түлхүүр үгийг сонгоно уу. "
Ерөнхий индекс түлхүүр үгийн хүснэгтэд агуулагдсан болно нийт 19 тэрбум түлхүүр үг.
Эцэст нь ерөнхий индекс нь мета өгөгдлийг агуулдаг хүснэгт, md5 хэшийг ийм зүйлд буулгах
сэтгүүлийн нийтлэлийн DOI өвөрмөц хаяг, гарчиг, зохиолч, сэтгүүл.
Энэ бол ерөнхий индексийг эрт гаргах явдал юм. хийгдэж буй ажил.
Зарим тохиолдолд текст задлах амжилтгүй болсон.
Заримдаа мета өгөгдөл байдаггүй, эсвэл байдаггүй магадгүй бүр буруу байж магадгүй.
Үндсэн корпус нь том боловч энэ нь тийм юм бүрэн гүйцэд биш, сүүлийн үеийнх биш.
Үүнийг сайжруулах олон арга бий, мөн жанжин болгохыг тэсэн ядан хүлээж байна
Цаг хугацаа өнгөрөх тусам индекс сайжирна.
Ерөнхий индекс ойролцоогоор 38 байна Postgres хэлбэрийн терабайт өгөгдөл
хаях боловч шахалтын үед энэ ASCII өгөгдлийг 8.5 терабайт болгон бууруулдаг.
Та өгөгдлийг эндээс шууд татаж авах боломжтой. эсвэл bittorrent гэх мэт хэрэгслийг ашиглах.
Толин тусгал эсвэл бусад олон нийтийн бүтээлийг чөлөөтэй хий ерөнхий индексийг дахин хуваарилах репозитор.
Бидний найдаж буй зүйл бол үүнийг тоон дээр тавьж болно хэрэглээний талаар. Бид Postgres мэдээллийн санг ашиглаж ирсэн.
мөн ерөнхий индексийг ашиглан хайх мастер жагсаалтаас ургамлын нэрс.
Индексийг өөр хайлт хийхэд ашиглаж болно химийн бодис, төрөл бүрийн ген гэх мэт объектууд
кодчилол, уураг, материал, газрын нэр, эсвэл бусад аж ахуйн нэгжүүд.
Postgres мэдээллийн сангийн оронд бусад техник, өгөгдөлд BERT гэх мэтийг ашиглаж болно.
Энэ бол хайх хэрэгсэл, мэдлэгийн толь бичиг юм мэдлэгийн газрын зураг, бидний итгэдэг хэрэгсэл
дадлага хийх зайлшгүй хэрэгсэл юм бидний өнөө үед шинжлэх ухааны.
Энэхүү мэдлэгийн ерөнхий индексийг гаргахгүй байна үндсэн корпусыг ашиглах боломжтой, харин баримтууд
корпусаас гаргаж авдаг.
Энэ бол хэт их хэрэглээ биш юм ба хувиргах хэрэглээ.
Бид үүнийг нийтийн үйлчилгээ гэж үзэж байна ерөнхий индекс дээр эзэмших эрх байхгүй.
Энэ нь олон нийтийн домэйнд зориулагдсан бөгөөд цуврал юм Та чадах олон тооны баримтгүй баримтууд
хийх зүйлээ хий.
Зохиогчийн эрх хуулиар хамгаалагдсан байдаггүй.
Нээлтийн замд байгаа эрдэмтэд зөвлөгөө авах боломжтой Энэ газрын зураг нь очих газраа илүү хурдан олох болно
Тэд зочлохыг хүсч байна дэлхийн асар том архивын үүдний танхимууд,
эрдэмтэн, судлаачдын хамтын нийгэмлэг болон бүтээсэн инженер, уран бүтээлчид
эдгээр мэдлэгийн сүмүүд.
Эдгээр сүмүүд, Александрын номын сангаас лам хуврагуудаас Александра номын сан руу
Ирландын орчин үеийн өргөн уудам судалгааны номын сангуудад Өнөөдрийн хувьд Араб, Еврей бичээчдээс
Мэргэн ухааны өргөө байгуулахаар хамтран ажиллаж байна Багдад хотод байрладаг мэдлэгийн үйлдвэрүүдэд
гэх мэт орчин үеийн Зүүн Энэтхэгийн худалдааны байшинд Оксфорд, Кембрижийн хэвлэлүүд, эдгээр
эрдэмтдийн очих ёстой газрууд юм ур чадвараа дээшлүүлэх, түүнээс суралцах
бидний өмнө ирсэн хүмүүс.
Эдгээр сүмүүд нь бүх мэдлэгийн нийлбэрийг агуулдаг. гэхдээ бид тэр мэдлэгээ олж чаддаг байх ёстой.
Ерөнхий индекс нь газрын зураг юм.
Энэ бол хүний бүх мэдлэгийг нэгтгэсэн газрын зураг биш юм.
гэхдээ энэ нь мэдээж чухал дэд хэсэг юм.
Мэдлэгийг нэмэгдүүлэх, түгээх зорилгоор үргэлжлүүлэхийн тулд, хэрэв бид мөрөн дээрээ зогсох юм бол
Аварга хүмүүсийн хувьд бид эдгээр газрын зургийг өгөх ёстой үзэл санааны асар том ертөнц.
Ерөнхий индекс нь зөвхөн нэг хэрэгсэл, хэрэгсэл юм Цаг хугацаа өнгөрөх тусам чанар сайжирна гэж найдаж байна
мөн хамрах хүрээний хувьд бидний өгөх хэрэгсэл гэж найдаж байна ашигтай хувь нэмэр
шинжлэх ухааны практикт.
Та энэ ерөнхий индексийг бас оруулна гэж найдаж байна Гайхалтай хэрэглээ нь бид индекс хийж чадна
илүү сайн, та өөр хэрэгслүүдийг бий болгож чадна, тэр эрдэмтдийн нийгэмлэг хамтран ажиллах боломжтой
асар том гүнийг олборлох нийтлэг эрэлд энэ сурах далайгаас.
Бид бүгд нэг зорилготой гэдэгт би итгэдэг, нийтлэг найдвар.
Эрдэмтэн, эрдэмтэн, зураач, зохиолч, дэлхийн иргэдийн хувьд, хүүхдүүдийн хүсч буйгаар
Сонирхолтой хүмүүсийн хувьд сурах гэж би итгэдэг өсөлт, тархалт болно гэж бид бүгд найдаж байна
Мэдлэгийн мэдлэг нь бидний ертөнцийг илүү сайн болгох болно Энэ нь бидэнд өөрсдийнхөө тухай ойлгоход тусална
дэлхий, өвчин, ядуурлыг эмчлэх, урагшлах шинжлэх ухаан, худалдааны дэвшил ба
хүмүүнлэг ба урлаг.
Шинжлэх ухаан бол бид бүгдээрээ ярих ёстой хэл юм бид өөрсдийн ертөнцийг сайжруулах ёстой.
Сонссон танд баярлалаа.
[Тамга хуцаж байна]
[Хөгжим]