[Muzikë]
[Njoftuesi] Ky është Burim Publik
[Carl Malamud] Përshëndetje, unë jam Carl Malamud.
Mirësevini në Indeksin e Përgjithshëm.
Ne ju paraqesim këtu falas dhe pa kufi përdorni një grup n-gram të nxjerrë nga 107 milion,
233 mijë, 728 artikuj revistash.
N-gramët variojnë nga fjalë të vetme, të njohura si unigrame, në fraza me dy fjalë (bigrams)
fraza deri në 5 fjalë, të njohura si 5-gram.
Ka, siç u tha, 355 miliardë rreshta n-gram në këtë lëshim të indeksit të përgjithshëm, secila
që korrespondon me një goditje në një artikull të ditarit.
Një grup mjetesh i quajtur Spacy u përdor për të nxjerrë n-gramët, të cilët i kemi ndarë
në gjashtëmbëdhjetë skedarë.
I shoqëruar me secilën rresht është një hash md5, i cili përfaqëson një artikull të ditarit.
Përveç kësaj, ne rendisim frekuencën e n-gram në artikull.
Shpresojmë që me kalimin e kohës të rendisim edhe frekuencën në korpusin e përgjithshëm, një metrikë e rëndësisë
i njohur si TD/IDF.
Përveç n-gramëve, Indeksi i Përgjithshëm përmban fjalë kyçe të nxjerra duke përdorur Yake
toolkit.Yake “mbështetet në tekstin statistikor karakteristika të nxjerra nga dokumente të vetme në
zgjidhni fjalët kyçe më të rëndësishme të një teksti. "
Tabelat e fjalëve kyçe të indeksit të përgjithshëm përmbajnë gjithsej 19 miliardë fjalë kyçe.
Së fundmi, indeksi i përgjithshëm përmban një metadata tabela, duke e lidhur hash -in md5 me artikuj të tillë
adresa unike e DOI për një artikull në ditar, titullin, autorin dhe revistën.
Ky është një lëshim i hershëm i indeksit të përgjithshëm, një punë në progres.
Në disa raste, nxjerrja e tekstit dështoi.
Ndonjëherë, meta të dhënat nuk janë të disponueshme, ose janë ndoshta edhe e pasaktë.
Ndërsa korpusi themelor është i madh, është jo i plotë dhe nuk është i përditësuar.
Ka shumë mënyra që kjo mund të përmirësohet, dhe mezi presim të bëjmë Gjeneralin
Indeksoni më mirë me kalimin e kohës.
Indeksi i përgjithshëm zë afërsisht 38 terabajt të dhëna në formën e një Postgres
hale, sidoqoftë me kompresim, këtë ASCII të dhënat reduktohen në 8.5 terabajt.
Ju mund t'i shkarkoni të dhënat direkt nga këtu, ose përdorni mjete të tilla si bittorrent.
Mos ngurroni të krijoni pasqyra ose publik tjetër depot për të rishpërndarë indeksin e përgjithshëm.
Shpresa jonë është që mund të vendoset në një numër të përdorimeve. Ne kemi përdorur një bazë të dhënash Postgres,
dhe duke përdorur indeksin e përgjithshëm për të kërkuar emrat e bimëve nga një listë master.
Indeksi mund të përdoret për të kërkuar të tjera objekte, të tilla si kimikatet, gjenet e ndryshme
kodimet, proteinat, materialet, emrat e vendeve, ose subjekte të tjera.
Në vend të bazës së të dhënave të Postgres, teknika të tjera, siç është BERT, mund të aplikohet në të dhëna.
Ky është një mjet kërkimi, një fjalor i njohurive, një hartë për dijen, një mjet që ne besojmë
është një mjet thelbësor për praktikën të shkencës në epokën tonë moderne.
Ky indeks i përgjithshëm i njohurive nuk bën korpusi themelor i disponueshëm, Përkundrazi, fakte
janë nxjerrë nga korpusi.
Kjo është një gjë jokonsumuese dhe përdorimi transformues.
Ne e shikojmë këtë si një shërbim publik. Ne pohojmë nuk ka pronësi mbi indeksin e përgjithshëm.
Ajo i kushtohet domenit publik, një seri të fakteve të pa ngarkuara me të cilat mundeni
bëj çfarë të duash.
Nuk ka të drejta të rezervuara.
Studiuesit në rrugën drejt zbulimit mund të konsultohen kjo udhërrëfyes për të gjetur më shpejt destinacionet
ata dëshirojnë të vizitojnë. Ne nuk jemi veçse docentë në korridoret e arkivave të mëdhenj të botës,
bashkësia kolektive e dijetarëve dhe shkencëtarëve dhe inxhinierë dhe artistë që kanë krijuar
këto tempuj të dijes.
Këta tempuj, nga Biblioteka e Aleksandrisë në Bibliotekën e Aleksandrës, nga murgjit
të Irlandës në bibliotekat e gjera kërkimore moderne e sotme, nga shkruesit arabë dhe hebrenj
duke punuar së bashku për të ndërtuar Shtëpinë e Urtësisë në Bagdad në fabrikat e dijes të vendosura
në shtëpitë tregtare moderne të Indisë Lindore si shtypet e Oksfordit dhe Kembrixhit, këto
janë destinacionet që studiuesit duhet të vizitojnë për të avancuar zanatin e tyre, për të mësuar nga
ato që erdhën para nesh.
Këta tempuj përmbajnë shumën e të gjithë njohurive, por ne duhet të jemi në gjendje ta gjejmë atë njohuri.
Indeksi i përgjithshëm është një hartë.
Kjo nuk është një hartë në shumën e të gjitha njohurive njerëzore,
por sigurisht që është një nëngrup thelbësor.
Për rritjen dhe përhapjen e njohurive për të vazhduar, nëse duam të qëndrojmë mbi supet
të gjigantëve, ne duhet t'i sigurojmë këto harta për këtë botë e madhe idesh.
Indeksi i përgjithshëm është vetëm një mjet, një mjet që shpresojmë se me kalimin e kohës do të fitojë cilësi
dhe në fushëveprim, një mjet që ne shpresojmë se do të sigurojë një kontribut të dobishëm
për praktikën tuaj të shkencës.
Shpresojmë që ta vendosni edhe këtë indeks të përgjithshëm përdorime të habitshme, që ne mund të bëjmë indeksin
më mirë, që të krijoni mjete të tjera, atë bashkësia e dijetarëve mund të punojë së bashku
në një kërkim të përbashkët për të minuar thellësitë e mëdha të këtij oqeani të të mësuarit.
Unë besoj se ne të gjithë ndajmë një qëllim të përbashkët, një shpresë e përbashkët.
Si shkencëtarë, studiues, artistë, shkrimtarë, si qytetarë të botës, si fëmijë që dëshirojnë
për të mësuar, si qenie njerëzore kurioze, besoj të gjithë shpresojmë që rritja dhe përhapja
dija do ta bëjë botën tonë më të mirë vend, që do të na ndihmojë të kuptojmë tonën
botë, për të kuruar sëmundjet dhe varfërinë, për të përparuar përparimin e shkencës dhe tregtisë dhe
shkencat humane dhe artet.
Shkenca është një gjuhë që të gjithë duhet ta flasim nëse ne do ta përmirësojmë botën tonë.
Faleminderit që dëgjuat.
[Vula po leh]
[Muzikë]