[Muzyka]
[Komentator] To jest zasób publiczny
[Carl Malamud] Witam, jestem Carl Malamud.
Witamy w Indeksie Ogólnym.
Prezentujemy tutaj za darmo i bez ograniczeń użyj zestawu n-gramów wyekstrahowanych ze 107 milionów,
233 tys., 728 artykułów prasowych.
N-gramy wahają się od pojedynczych słów, znanych jako unigramy do dwuwyrazowych fraz (bigramów)
do 5-wyrazowych fraz, znanych jako 5-gramowe.
W sumie jest 355 miliardów rzędów n-gramów w tym wydaniu ogólnego indeksu każdy
odpowiadające trafieniu w artykule w czasopiśmie.
Do ekstrakcji użyto zestawu narzędzi o nazwie Spacy n-gramy, które podzieliliśmy
w szesnastu aktach.
Z każdym wierszem powiązany jest hash md5, który reprezentuje artykuł w czasopiśmie.
Ponadto podajemy częstotliwość n-gram w artykule.
Mamy nadzieję, że z czasem również wymienimy częstotliwość w całym korpusie, metryka trafności
znany jako TD/IDF.
Oprócz n-gramów indeks ogólny zawiera słowa kluczowe wyodrębnione za pomocą Yake
toolkit.Yake „opiera się na statystycznym tekście cechy wyodrębnione z pojedynczych dokumentów do
wybierz najważniejsze słowa kluczowe tekstu.”
Tabele słów kluczowych indeksu ogólnego zawierają łącznie 19 miliardów słów kluczowych.
Wreszcie indeks ogólny zawiera metadane tabeli, mapując hash md5 na takie elementy
unikalny adres DOI dla artykułu w czasopiśmie, tytuł, autor i czasopismo.
To jest wczesna wersja ogólnego indeksu, Praca w toku.
W niektórych przypadkach nie udało się wyodrębnić tekstu.
Czasami metadane nie są dostępne lub są może nawet niepoprawny.
Chociaż podstawowy korpus jest duży, jest niekompletne i nieaktualne.
Można to poprawić na wiele sposobów, i nie możemy się doczekać, aby generał
Indeksuj coraz lepiej.
Ogólny indeks zajmuje około 38 terabajtów danych w postaci Postgres
zrzucić jednak z kompresją ten ASCII dane są redukowane do 8,5 terabajtów.
Możesz pobrać dane bezpośrednio stąd, lub użyj narzędzi, takich jak bittorrent.
Zapraszam do tworzenia luster lub innych publicznych repozytoria do redystrybucji indeksu ogólnego.
Mamy nadzieję, że da się to przełożyć na liczbę zastosowań. Korzystamy z bazy Postgres,
i używając ogólnego indeksu do wyszukiwania nazwy roślin z listy głównej.
Indeks może służyć do wyszukiwania innych obiekty, takie jak chemikalia, geny w różnych
kodowania, białka, materiały, nazwy miejsc, lub inne podmioty.
Zamiast bazy Postgres inne techniki, takie jak BERT, można zastosować do danych.
To jest narzędzie do wyszukiwania, słownik wiedzy, mapa do wiedzy, narzędzie, w które wierzymy
jest niezbędnym ułatwieniem dla praktyki nauki w naszych czasach.
Ten ogólny wskaźnik wiedzy nie czyni dostępny korpus, raczej fakty
są wyodrębniane z korpusu.
To nie jest konsumpcja i transformacyjne zastosowanie.
Postrzegamy to jako użyteczność publiczną brak własności nad indeksem ogólnym.
Jest poświęcony domenie publicznej, serii nieskomplikowanych faktów, którymi możesz
rób co chcesz.
Żadne prawa nie są zastrzeżone.
Uczeni na drodze do odkrycia mogą się konsultować ta mapa drogowa, aby szybciej znajdować miejsca docelowe
chcą odwiedzić. Jesteśmy tylko docentami w tym korytarze rozległych archiwów świata,
zbiorowa społeczność uczonych i naukowców oraz inżynierowie i artyści, którzy stworzyli
te świątynie wiedzy.
Te świątynie z Biblioteki Aleksandryjskiej do Biblioteki Aleksandry, od mnichów
Irlandii do ogromnych nowoczesnych bibliotek naukowych dziś od arabskich i żydowskich skrybów
wspólna praca nad budową Domu Mądrości w Bagdadzie do mieszczących się fabryk wiedzy
w nowoczesnych wschodnioindyjskich domach handlowych, takich jak prasy Oksfordu i Cambridge, te
są miejsca, które uczeni muszą odwiedzić? rozwijać swoje rzemiosło, uczyć się od
te, które były przed nami.
Te świątynie zawierają sumę całej wiedzy, ale musimy być w stanie znaleźć tę wiedzę.
Ogólny indeks to mapa.
To nie jest mapa do sumy całej ludzkiej wiedzy,
ale z pewnością jest to pokaźny podzbiór.
O wzrost i dyfuzję wiedzy kontynuować, jeśli mamy stanąć na barkach
gigantów, musimy dostarczyć te mapy do tego ogromny świat pomysłów.
Ogólny indeks to tylko jedno narzędzie, narzędzie które mamy nadzieję z czasem zyska na jakości
i w zakresie narzędzia, które mamy nadzieję zapewni użyteczny wkład
do swojej praktyki naukowej.
Mamy nadzieję, że umieścisz również ten ogólny indeks zaskakujące zastosowania, jakie możemy wykonać indeks
lepiej, że możesz tworzyć inne narzędzia, które społeczność uczonych może ze sobą współpracować
we wspólnym dążeniu do wydobywania ogromnych głębin tego oceanu nauki.
Wierzę, że wszyscy mamy wspólny cel, wspólna nadzieja.
Jako naukowcy, uczeni, artyści, pisarze, jako obywatele świata, jako pragnące dzieci
uczyć się, jako ciekawskie istoty ludzkie, wierzę wszyscy mamy nadzieję, że wzrost i dyfuzja
wiedzy uczyni nasz świat lepszym miejsce, które pomoże nam zrozumieć nasze
świat, leczyć choroby i ubóstwo, rozwijać się postęp nauki i handlu oraz
humanistyki i sztuki.
Nauka to język, którym wszyscy musimy mówić, jeśli mamy ulepszyć nasz świat.
Dziękuję za słuchanie.
[Pieczęć szczeka]
[Muzyka]