[Âm nhạc]
[Phát thanh viên] Đây là Tài nguyên Công cộng
[Carl Malamud] Xin chào, tôi là Carl Malamud.
Chào mừng đến với Mục lục chung.
Chúng tôi trình bày ở đây miễn phí và không giới hạn của bạn sử dụng một bộ n-gam chiết xuất từ 107 triệu,
233 nghìn, 728 bài báo.
Phạm vi n-gram từ các từ đơn, đã biết dưới dạng unigram, thành các cụm từ gồm hai từ (bigram)
tối đa các cụm từ 5 từ, được gọi là 5 gam.
Có tất cả 355 tỷ hàng n-gram trong bản phát hành chỉ mục chung này, mỗi
tương ứng với một bài báo trong tạp chí.
Một bộ công cụ có tên là Spacy đã được sử dụng để giải nén n-gram, mà chúng tôi đã chia
trên mười sáu tệp.
Được liên kết với mỗi hàng là một băm md5, đại diện cho một bài báo trên tạp chí.
Ngoài ra, chúng tôi liệt kê tần suất của n-gram trong bài báo.
Chúng tôi hy vọng theo thời gian cũng sẽ liệt kê tần suất trong tổng thể tổng thể, chỉ số mức độ liên quan
được gọi là TD / IDF.
Ngoài n-gram, Chỉ số chung chứa các từ khóa được trích xuất bằng Yake
toolkit.Yake “dựa trên thống kê văn bản các tính năng được trích xuất từ các tài liệu đơn lẻ để
chọn những từ khóa quan trọng nhất của một văn bản. ”
Các bảng từ khóa chỉ mục chung chứa tổng cộng 19 tỷ từ khóa.
Cuối cùng, chỉ mục chung chứa siêu dữ liệu bảng, ánh xạ băm md5 với các mục như vậy
địa chỉ duy nhất DOI cho một bài báo, tiêu đề, tác giả và tạp chí.
Đây là bản phát hành sớm của chỉ mục chung, công việc đang được tiến hành.
Trong một số trường hợp, trích xuất văn bản không thành công.
Đôi khi, siêu dữ liệu không có sẵn hoặc có lẽ thậm chí không chính xác.
Trong khi kho dữ liệu cơ bản lớn, nó là không hoàn chỉnh và không cập nhật.
Có nhiều cách để cải thiện vấn đề này, và chúng tôi mong muốn Tổng
Chỉ số tốt hơn theo thời gian.
Chỉ số chung chiếm khoảng 38 terabyte dữ liệu ở dạng Postgres
kết xuất, tuy nhiên với nén, ASCII này dữ liệu được giảm xuống còn 8,5 terabyte.
Bạn có thể tải xuống dữ liệu trực tiếp từ đây, hoặc sử dụng các công cụ như bittorrent.
Hãy thoải mái tạo gương hoặc công cộng khác kho để phân phối lại chỉ mục chung.
Hy vọng của chúng tôi là nó có thể được đưa vào một con số sử dụng. Chúng tôi đã sử dụng cơ sở dữ liệu Postgres,
và sử dụng chỉ mục chung để tìm kiếm tên của thực vật từ một danh sách chính.
Chỉ mục có thể được sử dụng để tìm kiếm các đối tượng, chẳng hạn như hóa chất, gen trong các
mã hóa, protein, vật liệu, địa danh, hoặc các thực thể khác.
Thay vì cơ sở dữ liệu Postgres, các kỹ thuật khác, chẳng hạn như BERT, có thể được áp dụng cho dữ liệu.
Đây là một công cụ tra cứu, một từ điển kiến thức, bản đồ kiến thức, một công cụ mà chúng tôi tin rằng
là một cơ sở thiết yếu cho việc luyện tập của khoa học trong thời đại hiện đại của chúng ta.
Chỉ số chung này đối với kiến thức không làm cho kho dữ liệu cơ bản có sẵn, Đúng hơn là dữ kiện
được trích xuất từ kho ngữ liệu.
Đây là một giả định và sử dụng biến đổi.
Chúng tôi xem đây là một tiện ích công cộng. không có quyền sở hữu đối với chỉ số chung.
Nó được dành riêng cho phạm vi công cộng, một loạt sự thật không bị cản trở mà bạn có thể
làm những gì bạn sẽ làm.
Không có quyền nào được bảo lưu.
Các học giả trên con đường khám phá có thể tham khảo lộ trình này để tìm điểm đến nhanh hơn
họ muốn đến thăm. hành lang của kho lưu trữ rộng lớn của thế giới,
cộng đồng tập thể các học giả và nhà khoa học và các kỹ sư và nghệ sĩ đã tạo ra
những ngôi đền của kiến thức.
Những ngôi đền này, từ Thư viện Alexandria đến Thư viện Alexandra, từ các nhà sư
Ireland đến các thư viện nghiên cứu hiện đại rộng lớn ngày nay, từ các thầy thông giáo Ả Rập và Do Thái
cùng nhau xây dựng Ngôi nhà Thông thái ở Baghdad đến các nhà máy sản xuất tri thức
trong các nhà thương mại Đông Ấn hiện đại như báo chí của Oxford và Cambridge, những
là những điểm đến mà các học giả phải đến thăm để nâng cao kỹ năng của họ, để học hỏi từ
những người đến trước chúng tôi.
Những ngôi đền này chứa đựng tổng hợp của tất cả kiến thức, nhưng chúng ta phải có khả năng tìm thấy kiến thức đó.
Chỉ số chung là một bản đồ.
Đây không phải là bản đồ tổng hợp tất cả kiến thức của con người,
nhưng nó chắc chắn là một tập hợp con đáng kể.
Để gia tăng và truyền bá kiến thức tiếp tục, nếu chúng ta đứng trên vai
của những người khổng lồ, chúng tôi phải cung cấp những bản đồ này cho thế giới rộng lớn của những ý tưởng.
Chỉ mục chung chỉ là một công cụ, một công cụ mà chúng tôi hy vọng theo thời gian sẽ đạt được chất lượng
và trong phạm vi, một công cụ mà chúng tôi hy vọng sẽ cung cấp một đóng góp hữu ích
để thực hành khoa học của bạn.
Chúng tôi hy vọng bạn cũng sẽ đặt chỉ số chung này sử dụng đáng ngạc nhiên, rằng chúng tôi có thể tạo chỉ mục
tốt hơn là bạn có thể tạo các công cụ khác, cộng đồng các học giả có thể làm việc cùng nhau
trong một nhiệm vụ chung để khai thác độ sâu rộng lớn của đại dương học tập này.
Tôi tin rằng tất cả chúng ta đều có chung một mục tiêu, một niềm hy vọng chung.
Là nhà khoa học, học giả, nghệ sĩ, nhà văn, với tư cách là công dân của thế giới, như những đứa trẻ ước ao
để tìm hiểu, với tư cách là những con người tò mò, tôi tin rằng tất cả chúng ta đều hy vọng rằng sự gia tăng và lan tỏa
kiến thức sẽ làm cho thế giới của chúng ta trở nên tốt đẹp hơn địa điểm, rằng nó sẽ giúp chúng tôi hiểu
thế giới, để chữa khỏi bệnh tật và nghèo đói, để thăng tiến tiến bộ của khoa học và thương mại và
nhân văn và nghệ thuật.
Khoa học là một ngôn ngữ mà tất cả chúng ta phải nói nếu chúng tôi muốn tốt hơn thế giới của chúng tôi.
Cảm ơn vì đã lắng nghe.
[Con dấu đang sủa]
[Âm nhạc]