[Mūzika]
[Diktors] Šis ir publiskais resurss
[Carl Malamud] Sveiki, es esmu Carl Malamud.
Laipni lūdzam Vispārīgajā rādītājā.
Mēs šeit esam bez maksas un neierobežoti izmantot n gramu komplektu, kas iegūts no 107 miljoniem,
233 tūkstoši, 728 žurnālu raksti.
N grami svārstās no atsevišķiem vārdiem, kas ir zināmi kā unigrami, līdz divu vārdu frāzēm (bigrams)
līdz 5 vārdu frāzēm, kas pazīstamas kā 5 grami.
Kopumā ir 355 miljardi n-gramu rindu šajā vispārējā indeksa izlaidumā katrs
kas atbilst trāpījumam žurnāla rakstā.
Lai iegūtu, tika izmantots rīku komplekts ar nosaukumu Spacy n-gramus, kurus esam sadalījuši
sešpadsmit failos.
Ar katru rindu ir saistīta md5 hash, kas pārstāv žurnāla rakstu.
Turklāt mēs uzskaitām biežumu n-gramu rakstā.
Mēs ceram ar laiku uzskaitīt arī biežumu vispārējā korpusā - atbilstības rādītājs
pazīstams kā TD/IDF.
Papildus n-gramiem, vispārējais indekss satur atslēgvārdus, kas iegūti, izmantojot Yake
rīkkopa.Jake “balstās uz teksta statistiku funkcijas, kas iegūtas no atsevišķiem dokumentiem
izvēlieties svarīgākos teksta atslēgvārdus. ”
Vispārējās indeksa atslēgvārdu tabulas satur kopā 19 miljardi atslēgvārdu.
Visbeidzot, vispārējais rādītājs satur metadatus tabulā, kartējot md5 jaukšanu līdz tādiem vienumiem
DOI unikālā adrese žurnāla rakstam, nosaukums, autors un žurnāls.
Šī ir vispārējā indeksa pirmstermiņa izlaišana, nepabeigts darbs.
Dažos gadījumos teksta izvilkšana neizdevās.
Dažreiz metadati nav pieejami vai ir pieejami varbūt pat nepareizi.
Lai gan pamatā esošais korpuss ir liels, tas ir nav pilnīgs un nav atjaunināts.
Ir daudz veidu, kā to uzlabot, un mēs ceram uz ģenerāli
Laika gaitā indekss kļūst labāks.
Vispārējais indekss aizņem aptuveni 38 terabaiti datu Postgres formā
dump, tomēr ar saspiešanu, šis ASCII dati tiek samazināti līdz 8,5 terabaitiem.
Jūs varat lejupielādēt datus tieši šeit, vai izmantojiet tādus rīkus kā bittorrent.
Jūtieties brīvi izveidot spoguļus vai citu publisku krātuves, lai pārdalītu vispārējo indeksu.
Mēs ceram, ka to var saskaitīt ar skaitli lietojumiem. Mēs izmantojām Postgres datu bāzi,
un, lai meklētu, izmantojot vispārējo rādītāju augu nosaukumi no pamatsaraksta.
Indeksu var izmantot, lai meklētu citus dažādi objekti, piemēram, ķīmiskās vielas, gēni
kodējumi, olbaltumvielas, materiāli, vietvārdi, vai citas vienības.
Postgres datu bāzes vietā tiek izmantotas citas metodes, datiem, piemēram, BERT.
Šis ir uzmeklēšanas rīks, zināšanu vārdnīca, zināšanu karte, instruments, kuram mēs ticam
ir būtisks līdzeklis praksei zinātnē mūsdienu laikmetā.
Šis vispārējais zināšanu indekss neveido pieejamais pamatā esošais korpuss, Drīzāk fakti
tiek iegūti no korpusa.
Tas ir neapgrūtinošs un transformācijas izmantošana.
Mēs to uzskatām par sabiedrisko pakalpojumu. Mēs apgalvojam nav īpašumtiesību uz vispārējo indeksu.
Tas ir veltīts publiskajam īpašumam, sērijai neapgrūtinātus faktus, ar kuriem jūs varat
dari ko gribi.
Nav rezervētas tiesības.
Zinātnieki ceļā uz atklāšanu var konsultēties šo ceļvedi, lai ātrāk atrastu galamērķus
viņi vēlas apmeklēt. Mēs esam tikai docenti plašo pasaules arhīvu gaiteņi,
zinātnieku un zinātnieku kolektīvs un inženieri un mākslinieki
šie zināšanu tempļi.
Šie tempļi no Aleksandrijas bibliotēkas uz Aleksandras bibliotēku, no mūkiem
no plašajām mūsdienu pētniecības bibliotēkām no arābu un ebreju rakstu mācītājiem
strādājot kopā, lai izveidotu Gudrības namu Bagdādē uz zināšanu rūpnīcām
mūsdienu Austrumindijas tirdzniecības namos, piemēram Oksfordas un Kembridžas preses, šīs
ir galamērķi, kas jāapmeklē zinātniekiem attīstīt savu amatu, mācīties
tiem, kas nāca pirms mums.
Šajos tempļos ir visu zināšanu summa, bet mums ir jāspēj šīs zināšanas atrast.
Vispārējais rādītājs ir karte.
Šī nav karte visu cilvēku zināšanu summai,
bet tā noteikti ir būtiska apakškopa.
Zināšanu palielināšanai un izplatīšanai turpināt, ja gribam stāvēt uz pleciem
no milžiem, mums ir jāsniedz šīs kartes plaša ideju pasaule.
Vispārējais indekss ir tikai viens instruments, instruments mēs ceram, ka laika gaitā iegūsim kvalitāti
un darbības jomā - rīks, kuru mēs ceram nodrošināt noderīgs ieguldījums
savai zinātnes praksei.
Mēs ceram, ka jūs ievietosit arī šo vispārējo indeksu pārsteidzoši izmanto, ka mēs varam izveidot indeksu
labāk, ka jūs varat izveidot citus rīkus zinātnieku kopiena var strādāt kopā
kopīgos meklējumos izrakņāt milzīgos dziļumus no šī mācību okeāna.
Es uzskatu, ka mums visiem ir kopīgs mērķis, kopīga cerība.
Kā zinātnieki, zinātnieki, mākslinieki, rakstnieki, kā pasaules pilsoņi, kā bērni, kas vēlas
es kā ziņkārīgs cilvēks mācos, es uzskatu mēs visi ceram, ka pieaugums un izplatība
zināšanas padarīs mūsu pasauli labāku vieta, kas palīdzēs mums saprast mūsu
pasaulē, lai ārstētu slimības un nabadzību, virzītos uz priekšu zinātnes un tirdzniecības progresu un
humanitārajās zinātnēs un mākslā.
Zinātne ir valoda, kas mums visiem jārunā, ja mēs uzlabosim savu pasauli.
Paldies par klausīšanos.
[Zīmogs rej]
[Mūzika]