[Muziek]
[Omroeper] Dit is openbare bron
[Carl Malamud] Hallo, ik ben Carl Malamud.
Welkom bij de Algemene Index.
We presenteren hier gratis en onbeperkt gebruik een set van n-grammen geëxtraheerd uit 107 miljoen,
233 duizend, 728 tijdschriftartikelen.
De n-grammen variëren van enkele woorden, bekend als unigrammen, naar zinnen van twee woorden (bigrammen)
maximaal 5-woordzinnen, bekend als 5-gram.
Er zijn in totaal 355 miljard rijen n-gram in deze uitgave van de algemene index, elke
overeenkomend met een hit in een tijdschriftartikel.
Een toolkit genaamd Spacy werd gebruikt om te extraheren de n-grammen, die we hebben gesplitst
verdeeld over zestien bestanden.
Bij elke rij hoort een md5-hash, die: staat voor een tijdschriftartikel.
Daarnaast vermelden we de frequentie van de n-gram in het artikel.
We hopen in de loop van de tijd ook de frequentie te vermelden in het algemene corpus, een relevantiemetriek
bekend als TD/IDF.
Naast de n-grammen, de Algemene Index bevat trefwoorden die zijn geëxtraheerd met behulp van de Yake
toolkit.Yake "rust op statistische tekst functies geëxtraheerd uit afzonderlijke documenten om
selecteer de belangrijkste trefwoorden van een tekst.”
De algemene indextrefwoordentabellen bevatten: in totaal 19 miljard zoekwoorden.
Ten slotte bevat de algemene index een metadata tabel, waarbij de md5-hash wordt toegewezen aan items zoals:
het unieke DOI-adres van een tijdschriftartikel, de titel, auteur en tijdschrift.
Dit is een vroege uitgave van de algemene index, een werk in uitvoering.
In sommige gevallen is tekstextractie mislukt.
Soms is metadata niet beschikbaar, of is misschien zelfs onjuist.
Hoewel het onderliggende corpus groot is, is het niet compleet en niet up-to-date.
Er zijn veel manieren waarop dit kan worden verbeterd, en we kijken ernaar uit om de generaal te maken
Index beter na verloop van tijd.
De algemene index beslaat ongeveer 38 terabytes aan gegevens in de vorm van een Postgres
dump, maar met compressie, deze ASCII gegevens worden teruggebracht tot 8,5 terabyte.
U kunt de gegevens hier direct downloaden, of gebruik tools zoals bittorrent.
Voel je vrij om mirrors of ander publiek te maken repositories om de algemene index te herdistribueren.
Onze hoop is dat het op een nummer kan worden gezet van gebruik. We hebben een Postgres-database gebruikt,
en de algemene index gebruiken om te zoeken naar namen van planten uit een hoofdlijst.
De index kan worden gebruikt om te zoeken naar andere objecten, zoals chemicaliën, genen in verschillende
coderingen, eiwitten, materialen, plaatsnamen, of andere entiteiten.
In plaats van een Postgres-database kunnen andere technieken, zoals BERT, kunnen op de gegevens worden toegepast.
Dit is een opzoektool, een woordenboek van kennis, een kaart naar kennis, een hulpmiddel dat wij geloven
is een essentiële voorziening voor de praktijk van de wetenschap in onze moderne tijd.
Deze algemene index van kennis maakt niet het onderliggende corpus beschikbaar, eerder feiten
worden uit het corpus gehaald.
Dit is een niet-consumptieve en transformationeel gebruik.
We beschouwen dit als een openbaar nut. We beweren geen eigendom over de algemene index.
Het is gewijd aan het publieke domein, een serie van onbezwaarde feiten waarmee u kunt
doe wat je wilt.
Er zijn geen rechten voorbehouden.
Geleerden op weg naar ontdekking kunnen raadplegen deze routekaart om sneller bestemmingen te vinden
ze willen bezoeken. We zijn maar docenten in de? gangen van de enorme archieven van de wereld,
de collectieve gemeenschap van geleerden en wetenschappers en ingenieurs en kunstenaars die hebben gemaakt
deze tempels van kennis.
Deze tempels, uit de bibliotheek van Alexandrië naar de bibliotheek van Alexandra, van de monniken
van Ierland tot de enorme moderne onderzoeksbibliotheken van vandaag, van de Arabische en Joodse schriftgeleerden
samen bouwen aan het Huis van Wijsheid in Bagdad naar de fabrieken van kennis gehuisvest
in moderne Oost-Indische handelshuizen zoals de persen van Oxford en Cambridge, deze
zijn de bestemmingen die wetenschappers moeten bezoeken om hun vak te bevorderen, om van te leren
die ons voorgingen.
Deze tempels bevatten de som van alle kennis, maar we moeten die kennis wel kunnen vinden.
De algemene index is een kaart.
Dit is geen kaart voor de som van alle menselijke kennis,
maar het is zeker een substantiële subset.
Voor de vermeerdering en verspreiding van kennis om door te gaan, als we op de schouders willen staan
van reuzen, daar moeten we deze kaarten aan leveren enorme ideeënwereld.
De algemene index is maar één hulpmiddel, een hulpmiddel waarvan we hopen dat ze na verloop van tijd aan kwaliteit zullen winnen
en qua omvang een hulpmiddel waarvan we hopen dat het zal bieden een nuttige bijdrage
voor uw wetenschapsbeoefening.
We hopen dat u deze algemene index ook plaatst verrassende toepassingen, dat we de index kunnen maken
beter, dat je andere tools kunt maken, dat de gemeenschap van wetenschappers kan samenwerken
in een gemeenschappelijke zoektocht om de enorme diepten te ontginnen van deze oceaan van leren.
Ik geloof dat we allemaal een gemeenschappelijk doel delen, een gemeenschappelijke hoop.
Als wetenschappers, geleerden, kunstenaars, schrijvers, als wereldburgers, als kinderen die wensen
om te leren, als nieuwsgierige mensen, geloof ik we hopen allemaal dat de toename en verspreiding
van kennis zal onze wereld een betere maken plaats, dat het ons zal helpen onze
wereld, om ziekte en armoede te genezen, om vooruit te komen de vooruitgang van wetenschap en handel en de
geesteswetenschappen en de kunsten.
Wetenschap is een taal die we allemaal moeten spreken als we moeten onze wereld verbeteren.
Bedankt voor het luisteren.
[Het zegel blaft]
[Muziek]