[Երաժշտություն]
[Հաղորդավար] Սա հանրային ռեսուրս է
[Կառլ Մալամուդ] Բարև, ես Կառլ Մալամուդը:
Բարի գալուստ ընդհանուր ինդեքս:
Մենք ներկայացնում ենք այստեղ ձեր անվճար և անսահմանափակ օգտագործել 107 միլիոնից արդյունահանված n գրամների հավաքածու,
233 հազար, 728 ամսագրի հոդված:
N գրամը տատանվում է հայտնի բառերից որպես ունիգրամներ, երկբառանոց արտահայտություններ (բիգրամներ)
մինչև 5 բառանոց արտահայտություններ, որոնք հայտնի են որպես 5 գրամ:
Կան, ինչպես ասվում է, 355 միլիարդ ն-գրամ շարքեր ընդհանուր ինդեքսի այս թողարկումում `յուրաքանչյուրը
համապատասխանում է ամսագրի հոդվածի հիթին:
Արդյունահանման համար օգտագործվել է Spacy կոչվող գործիքակազմը n գրամը, որը մենք պառակտել ենք
տասնվեց ֆայլերի մեջ:
Յուրաքանչյուր տողի հետ կապված է md5 հաշը, որը ներկայացնում է ամսագրի հոդվածը:
Բացի այդ, մենք թվարկում ենք դրանց հաճախականությունը n- գրամ հոդվածում:
Մենք հույս ունենք ժամանակի ընթացքում նաև թվարկել հաճախականությունը ընդհանուր կորպուսում ՝ համապատասխանության չափիչ
հայտնի է որպես TD/IDF:
Բացի ն-գրամներից, ընդհանուր ինդեքսը պարունակում է Yake- ի միջոցով արդյունահանված հիմնաբառեր
toolkit.Yake «հիմնված է տեքստային վիճակագրական տվյալների վրա առանձին փաստաթղթերից հանված առանձնահատկություններ
ընտրեք տեքստի ամենակարևոր հիմնաբառերը »:
Ընդհանուր ինդեքսի հիմնաբառերի աղյուսակները պարունակում են ընդհանուր առմամբ 19 միլիարդ հիմնաբառեր:
Վերջապես, ընդհանուր ինդեքսը պարունակում է մետատվյալներ աղյուսակ, md5 հեշի քարտեզավորում նման տարրերի վրա
ամսագրի հոդվածի DOI եզակի հասցեն, վերնագիրը, հեղինակը և ամսագիրը:
Սա ընդհանուր ցուցանիշի վաղաժամ թողարկումն է, ընթացքի մեջ գտնվող աշխատանք:
Որոշ դեպքերում տեքստի արդյունահանումը ձախողվեց:
Երբեմն, մետատվյալները հասանելի չեն, կամ կան գուցե նույնիսկ սխալ:
Թեև հիմքում ընկած կորպուսը մեծ է, այն այդպես է ամբողջական չէ և արդիական չէ:
Կան բազմաթիվ եղանակներ, որոնք կարող են բարելավվել, և մենք անհամբերությամբ սպասում ենք գեներալին
Betterամանակի ընթացքում ավելի լավ ինդեքսավորեք:
Ընդհանուր ցուցանիշը զբաղեցնում է մոտավորապես 38 տերաբայթ տվյալներ ՝ Postgres- ի տեսքով
աղբանոց, սակայն սեղմումով, այս ASCII- ը տվյալները կրճատվում են մինչև 8,5 տերաբայթ:
Տվյալները կարող եք ուղղակիորեն ներբեռնել այստեղից, կամ օգտագործել այնպիսի գործիքներ, ինչպիսիք են bittorrent- ը:
Ազատորեն ստեղծեք հայելիներ կամ այլ հանրային պահեստարաններ `ընդհանուր ցուցանիշը վերաբաշխելու համար:
Մեր հույսն այն է, որ այն կարող է համարվել օգտագործումների. Մենք օգտագործում էինք Postgres տվյալների բազան,
և օգտագործելով ընդհանուր ինդեքսը որոնելու համար բույսերի անունները գլխավոր ցուցակից:
Theուցանիշը կարող է օգտագործվել այլ որոնման համար առարկաներ, ինչպիսիք են քիմիական նյութերը, տարբեր գեները
ծածկագրեր, սպիտակուցներ, նյութեր, տեղանուններ, կամ այլ սուբյեկտներ:
Postgres տվյալների բազայի փոխարեն, այլ տեխնիկա, ինչպիսիք են BERT- ը, կարող են կիրառվել տվյալների վրա:
Սա որոնման գործիք է, գիտելիքների բառարան, քարտեզ դեպի գիտելիքներ, գործիք, որին մենք հավատում ենք
դա պրակտիկայի համար անհրաժեշտ միջոց է գիտությունը մեր ժամանակակից դարաշրջանում:
Գիտելիքի այս ընդհանուր ցուցանիշը չի կազմում հիմքում ընկած մարմինը, ավելի շուտ ՝ փաստեր
հանվում են կորպուսից:
Սա ոչ սպառող է և տրանսֆորմացիոն օգտագործումը:
Մենք սա դիտարկում ենք որպես հանրային օգտակար ծառայություն: Մենք պնդում ենք ընդհանուր ինդեքսի նկատմամբ սեփականության իրավունք չկա:
Այն նվիրված է հանրային տիրույթին, մի շարք չծանրաբեռնված փաստեր, որոնցով կարող եք
արա այն, ինչ կուզես:
Ոչ մի իրավունք վերապահված չէ:
Բացահայտման ճանապարհին գիտնականները կարող են խորհրդակցել այս ճանապարհային քարտեզն ավելի արագ նպատակակետեր գտնելու համար
նրանք ցանկանում են այցելել աշխարհի հսկայական արխիվների միջանցքները,
գիտնականների և գիտնականների հավաքական համայնքը և ինժեներներ և արվեստագետներ, որոնք ստեղծել են
գիտելիքի այս տաճարները:
Այս տաճարները ՝ Ալեքսանդրիայի գրադարանից Ալեքսանդրայի գրադարանին ՝ վանականներից
Իռլանդիայի հսկայական ժամանակակից հետազոտական գրադարաններին այսօրվա ՝ արաբ և հրեա գրագիրներից
միասին աշխատելով կառուցել Իմաստության տունը Բաղդադում գտնվող գիտելիքների գործարանները
ժամանակակից Արևելյան Հնդկաստանի առևտրային տներում, ինչպիսիք են Օքսֆորդի և Քեմբրիջի մամուլը, սրանք
այն ուղղություններն են, որոնք պետք է այցելեն գիտնականները առաջ տանել իրենց արհեստը, սովորել դրանից
նրանք, ովքեր եկել էին մեզանից առաջ:
Այս տաճարները պարունակում են ամբողջ գիտելիքի գումարը, բայց մենք պետք է կարողանանք գտնել այդ գիտելիքը:
Ընդհանուր ինդեքսը քարտեզ է:
Սա քարտեզ չէ ամբողջ մարդկային գիտելիքների հանրագումարին,
բայց դա, անշուշտ, էական ենթաբազմություն է:
Գիտելիքների ավելացման և տարածման համար շարունակել, եթե մենք պետք է կանգնենք ուսերին
հսկաների, մենք պետք է տրամադրենք այդ քարտեզները դրան գաղափարների հսկայական աշխարհ:
Ընդհանուր ցուցանիշը միայն մեկ գործիք է ՝ գործիք որ մենք հույս ունենք ժամանակի ընթացքում ձեռք կբերի որակի
և ծավալով ՝ գործիք, որը մենք հույս ունենք, որ կապահովի օգտակար ներդրում
ձեր գիտության պրակտիկային:
Հուսով ենք, որ դուք նույնպես կդնեք այս ընդհանուր ցուցանիշը զարմանալի օգտագործումներ, որ մենք կարող ենք կազմել ցուցանիշը
ավելի լավ է, որ կարողանաք ստեղծել այլ գործիքներ, դա գիտնականների համայնքը կարող է աշխատել միասին
հսկայական խորքերը ականապատելու ընդհանուր որոնման մեջ ուսման այս օվկիանոսից:
Կարծում եմ, որ մենք բոլորս կիսում ենք մեկ ընդհանուր նպատակ, ընդհանուր հույս.
Որպես գիտնականներ, գիտնականներ, արվեստագետներ, գրողներ, որպես աշխարհի քաղաքացիներ, ինչպես ցանկացող երեխաներ
սովորում եմ, որպես հետաքրքրասեր մարդիկ, կարծում եմ մենք բոլորս հույս ունենք, որ աճը և տարածումը
գիտելիքները մեր աշխարհը կդարձնեն ավելի լավը տեղը, որ դա կօգնի մեզ հասկանալ մեր
աշխարհ, բուժել հիվանդություններն ու աղքատությունը, առաջ գնալ գիտության և առևտրի առաջընթացը և
հումանիտար գիտություններ և արվեստներ:
Գիտությունը այն լեզուն է, որը մենք բոլորս պետք է խոսենք, եթե մենք պետք է բարելավենք մեր աշխարհը:
Շնորհակալություն լսելու համար:
[Կնիքը հաչում է]
[Երաժշտություն]