[Музыка]
[Диктор] Бул коомдук булак
[Карл Маламуд] Саламатсызбы, мен Карл Маламудмун.
Жалпы индекске кош келиңиз.
Биз бул жерде сиздин бекер жана чексиз сунуштайбыз 107 миллиондон алынган n-грамм топтомун колдонуу,
233 миң, 728 журнал макалалары.
N-грамм белгилүү сөздөрдөн баштап, белгилүү униграмм катары, эки сөздөн турган фразаларга (биграммалар)
5 граммдык сөз айкаштарына чейин, 5 грамм деп аталат.
Бардыгы болуп 355 миллиард катар n-грамм бар жалпы индекстин бул чыгарылышында, ар бир
журналдагы макаладагы хитке туура келет.
Чыгаруу үчүн Spacy деп аталган инструмент колдонулган биз бөлгөн n-граммалар
он алты файл боюнча.
Ар бир катар менен md5 хеши бириктирилген журналдагы макаланы билдирет.
Мындан тышкары, биз жыштыгын тизмектейбиз n-граммада.
Биз убакыттын өтүшү менен жыштыкты тизмектейбиз деп үмүттөнөбүз жалпы корпуста актуалдуулуктун көрсөткүчү
TD/IDF катары белгилүү.
N-граммадан тышкары, Жалпы индекси Yake жардамы менен алынган ачкыч сөздөрдү камтыйт
toolkit.Yake “текст статистикасына таянат бир документтерден алынган өзгөчөлүктөр
тексттин эң маанилүү ачкыч сөздөрүн тандаңыз. "
Жалпы индекс ачкыч таблицалары бар жалпы 19 миллиард ачкыч сөздөр.
Акырында, жалпы индекс метадайындарды камтыйт стол, md5 хешин мындай нерселерге картага түшүрүү
журнал макаласы үчүн DOI уникалдуу дареги, аталышы, жазуучу жана журнал.
Бул жалпы индекстин эрте чыгарылышы, аткарылып жаткан иш.
Кээ бир учурларда, текстти чыгаруу ишке ашкан жок.
Кээде метадайындар жеткиликтүү эмес же жеткиликтүү балким ал тургай туура эмес.
Негизги корпус чоң болгонуна карабай толук эмес, жана заманбап эмес.
Муну жакшыртуунун көптөгөн жолдору бар, жана биз Генералды жасоону чыдамсыздык менен күтөбүз
Убакыттын өтүшү менен индекс жакшыраак.
Жалпы индекс болжол менен 38ди ээлейт Postgres түрүндөгү маалыматтар терабайттары
таштоо, бирок кысуу менен, бул ASCII маалыматтар 8,5 терабайтка чейин кыскарган.
Сиз маалыматты бул жерден түз жүктөп алсаңыз болот, же bittorrent сыяктуу куралдарды колдонуңуз.
Күзгү же башка коомдук нерселерди түзүңүз жалпы индексти кайра бөлүштүрүү үчүн репозиторийлер.
Биздин үмүтүбүз аны бир катарга коюуга болот колдонуу. Биз Postgres маалымат базасын колдонуп келе жатабыз,
жана издөө үчүн жалпы индексти колдонуу негизги тизмеден өсүмдүктөрдүн аттары.
Индексти башкаларды издөө үчүн колдонсо болот химиялык заттар сыяктуу ар кандай объекттер
коддоо, белоктор, материалдар, жер аттары, же башка жактар.
Postgres маалымат базасынын ордуна башка ыкмалар, мисалы, BERT, маалыматтарга колдонулушу мүмкүн.
Бул издөө куралы, билимдин сөздүгү, билимдин картасы, биз ишенген курал
практика үчүн маанилүү объект болуп саналат биздин азыркы доордо илимдин.
Бул жалпы билим индекси жасабайт негизги корпус бар, Тескерисинче, фактылар
корпусунан алынат.
Бул жөнөкөйлүк эмес жана трансформациялык колдонуу.
Биз муну коммуналдык кызмат катары көрөбүз жалпы индекстин үстүнөн менчик укугу жок.
Бул коомдук доменге арналган, бир серия Сиз ала турган номерсиз фактылар
каалаганыңды кыл.
Эч кандай укуктар корголгон эмес.
Ачылыш жолунда жүргөн окумуштуулар кеңеш алышат бул жол картасы тезирээк баруучу жерлерди табуу үчүн
Биз алар менен таанышууну каалайбыз дүйнөнүн эбегейсиз архивинин коридору,
окумуштуулардын жана илимпоздордун жамааттык жамааты жана жараткан инженерлер менен сүрөтчүлөр
бул билим храмдары.
Бул храмдар, Александрия китепканасынан Александранын китепканасына, кечилдерден
Ирландиянын заманбап илимий китепканаларына Бүгүнкү күндө араб жана еврей жазуучуларынан
акылмандык үйүн куруу үчүн биргелешип иштөө Багдадда жайгашкан билим заводдоруна
сыяктуу азыркы Чыгыш Индиянын соода үйлөрүндө Оксфорд менен Кембридждин прессалары, булар
окумуштуулар барышы керек болгон жерлер өз өнөрүн өркүндөтүү, үйрөнүү
бизге чейинкилер.
Бул храмдар бардык билимдердин суммасын камтыйт, бирок биз бул билимди таба алышыбыз керек.
Жалпы индекс - бул карта.
Бул адамзаттын бардык билимдеринин жыйындысынын картасы эмес,
бирок бул албетте олуттуу топтом.
Билимдин көбөйүшү жана жайылышы үчүн улантуу үчүн, эгерде биз ийиндерибизде турабыз
алптардын, биз бул карталарды беришибиз керек идеялар дүйнөсү.
Жалпы индекс бир гана курал, инструмент убакыттын өтүшү менен сапатка ээ болот деп үмүттөнөбүз
жана көлөмү боюнча, биз камсыз кылат деп үмүттөнөбүз пайдалуу салым
сиздин илим практикаңызга.
Биз бул жалпы индексти да коет деп үмүттөнөбүз индексти жасай аларыбыз таң калыштуу
башка инструменттерди түзө алсаңыз жакшы болот окумуштуулар жамааты чогуу иштей алат
эбегейсиз тереңдикти казууга жалпы умтулууда бул окуу океаны жөнүндө.
Баарыбыздын максатыбыз бир деп ойлойм жалпы үмүт.
Илимпоз, окумуштуу, сүрөтчү, жазуучу катары, дүйнөнүн жарандары катары, балдар каалагандай
үйрөнүү үчүн, кызык адам катары, мен ишенем баарыбыз көбөйөт жана тарайт деп үмүттөнөбүз
билим биздин дүйнөнү жакшыртат Бул биздин түшүнүгүбүздү түшүнүүгө жардам берет
дүйнө, ооруну жана жакырчылыкты айыктыруу, алдыга жылуу илимдин жана сооданын прогресси жана
гуманитардык жана искусство.
Илим - бул баарыбыз сүйлөшүбүз керек болгон тил биз дүйнөнү жакшыртуу үчүн.
Укканыңыз үчүн рахмат.
[Мөөр үрүп жатат]
[Музыка]