[음악]
[아나운서] 공공자료입니다
[칼 맬러머드] 안녕하세요, 칼 맬러머드입니다.
일반 색인에 오신 것을 환영합니다.
무료 및 무제한 제공 1억 7백만에서 추출한 n-그램 세트를 사용하고,
233,000,728개의 저널 기사.
n-gram은 알려진 단일 단어에서 unigram으로, 두 단어로 된 구(bigrams)로
5-gram으로 알려진 최대 5단어 구.
3,550억 개의 n-gram 행이 있습니다. 이번 일반 인덱스 릴리스에서 각
저널 기사의 히트에 해당합니다.
Spacy라는 툴킷을 사용하여 추출했습니다. 우리가 나눈 n-gram
16개의 파일에 걸쳐 있습니다.
각 행에는 md5 해시가 연결되어 있습니다. 저널 기사를 나타냅니다.
또한, 우리는 기사의 n-gram.
시간이 지남에 따라 빈도도 나열되기를 바랍니다. 전체 코퍼스에서 관련성 메트릭
TD/IDF로 알려져 있습니다.
n-gram 외에도 일반 색인 Yake를 사용하여 추출한 키워드 포함
toolkit.Yake "텍스트 통계에 의존 단일 문서에서 추출한 기능
텍스트의 가장 중요한 키워드를 선택하십시오."
일반 색인 키워드 테이블에는 다음이 포함됩니다. 총 190억 개의 키워드.
마지막으로 일반 색인에는 메타데이터가 포함되어 있습니다. 테이블, md5 해시를 다음과 같은 항목에 매핑
저널 기사에 대한 DOI 고유 주소, 제목, 저자 및 저널.
이것은 일반 지수의 초기 릴리스이며, 진행중인 작업.
경우에 따라 텍스트 추출에 실패했습니다.
때때로 메타데이터를 사용할 수 없거나 아마도 정확하지 않을 수도 있습니다.
기본 코퍼스는 크지만 완전하지 않고 최신 상태가 아닙니다.
이를 개선할 수 있는 방법은 여러 가지가 있지만, 그리고 우리는 장군을 만들기를 기대합니다
시간이 지남에 따라 더 나은 인덱스.
일반 지수는 약 38을 차지합니다. Postgres 형식의 테라바이트 데이터
덤프, 그러나 압축을 사용하면 이 ASCII 데이터는 8.5테라바이트로 줄어듭니다.
여기에서 직접 데이터를 다운로드할 수 있으며, 또는 bittorrent와 같은 도구를 사용하십시오.
거울이나 다른 공개를 자유롭게 만드십시오. 일반 색인을 재배포하기 위한 리포지토리.
우리의 희망은 그것이 숫자에 포함될 수 있다는 것입니다 용도. 우리는 Postgres 데이터베이스를 사용하고 있습니다.
일반 색인을 사용하여 마스터 목록에서 식물의 이름.
색인을 사용하여 다른 항목을 검색할 수 있습니다. 화학 물질, 다양한 유전자와 같은 개체
인코딩, 단백질, 재료, 지명, 또는 다른 엔터티.
Postgres 데이터베이스 대신 다른 기술, BERT와 같은 데이터에 적용할 수 있습니다.
이것은 조회 도구, 지식 사전, 지식에 대한 지도, 우리가 믿는 도구
실습에 필수적인 시설입니다 우리 현대의 과학.
지식에 대한 이 일반 지표는 사용 가능한 기본 말뭉치, 오히려 사실
코퍼스에서 추출됩니다.
이것은 비소비 및 변형 사용.
우리는 이것을 공공 유틸리티로 봅니다. 우리는 주장합니다. 일반 지수에 대한 소유권이 없습니다.
공개 도메인 전용입니다. 시리즈 당신이 할 수있는 방해되지 않은 사실의
하고 싶은 대로 하세요.
보유된 권리가 없습니다.
발견의 길에 있는 학자들은 상담할 수 있습니다. 목적지를 더 빨리 찾기 위한 이 로드맵
그들은 방문하기를 원합니다. 우리는 단지 도슨트에 불과합니다. 세계의 방대한 기록 보관소의 복도,
학자와 과학자의 집단 공동체 그리고
이 지식의 사원.
알렉산드리아 도서관의 이 신전들 수도사들로부터 알렉산드라 도서관까지
아일랜드의 광대한 현대 연구 도서관에 오늘날 아랍과 유대 서기관들로부터
지혜의 집을 짓기 위해 함께 일하다 바그다드에서 지식의 공장으로
현대 동인도 교역소에서 옥스포드와 캠브리지의 인쇄기, 이들은
학자들이 반드시 방문해야 하는 목적지 그들의 기술을 발전시키다, 배우다
우리보다 먼저 온 사람들.
이 사원에는 모든 지식의 총합이 들어 있으며, 그러나 우리는 그 지식을 찾을 수 있어야 합니다.
일반 색인은 지도입니다.
이것은 모든 인간 지식의 총합에 대한 지도가 아니며,
그러나 확실히 상당한 부분입니다.
지식의 확산과 확산을 위해 계속하려면, 우리가 어깨에 서려면
거인들에게 이 지도를 제공해야 합니다. 방대한 아이디어의 세계.
일반 색인은 하나의 도구, 도구에 불과합니다. 시간이 지남에 따라 품질이 향상되기를 바랍니다.
범위 내에서 유용한 기여
당신의 과학 실천에.
우리는 당신이 이 일반 색인도 넣어주기를 바랍니다 색인을 만들 수 있다는 놀라운 용도
다른 도구를 만들 수 있다는 것이 더 좋습니다. 학자 커뮤니티가 함께 일할 수 있습니다.
광활한 깊이를 캐기 위한 공통의 탐구에서 이 배움의 바다.
나는 우리 모두가 공통의 목표를 공유하고 있다고 믿습니다. 공통의 희망.
과학자로서, 학자로서, 예술가로서, 작가로서, 세계의 시민으로서, 희망하는 어린이로서
나는 호기심 많은 인간으로서 배우기 위해 우리 모두는 증가와 확산을 바랍니다
지식은 우리의 세상을 더 좋게 만들 것입니다 장소, 그것은 우리가 우리의 이해를 도울 것입니다
세계, 질병과 빈곤 치료, 발전 과학과 상업의 발전과
인문학과 예술.
과학은 우리 모두가 말해야 하는 언어입니다. 우리는 우리의 세상을 개선해야 합니다.
듣기 주셔서 감사합니다.
[씰이 짖고 있다]
[음악]