[ΜΟΥΣΙΚΗ]
[Εκφωνητής] Αυτός είναι δημόσιος πόρος
[Carl Malamud] Γεια, είμαι ο Carl Malamud.
Καλώς ορίσατε στο Γενικό Ευρετήριο.
Σας παρουσιάζουμε εδώ δωρεάν και απεριόριστα χρησιμοποιήστε ένα σύνολο n-γραμμαρίων που εξήχθησαν από 107 εκατομμύρια,
233 χιλιάδες, 728 άρθρα περιοδικών.
Τα ν-γραμμάρια κυμαίνονται από μεμονωμένες λέξεις, γνωστές ως unigrams, σε φράσεις δύο λέξεων (bigrams)
φράσεις έως 5 λέξεων, γνωστές ως 5 γραμμάρια.
Υπάρχουν, όπως είπαμε, 355 δισεκατομμύρια σειρές ν-γραμμαρίων σε αυτήν την έκδοση του γενικού δείκτη, το καθένα
που αντιστοιχεί σε επιτυχία σε άρθρο περιοδικού.
Για την εξαγωγή χρησιμοποιήθηκε μια εργαλειοθήκη που ονομάζεται Spacy τα n-γραμμάρια, τα οποία έχουμε χωρίσει
σε δεκαέξι αρχεία.
Σε κάθε σειρά συνδέεται ένα md5 hash, το οποίο αντιπροσωπεύει ένα άρθρο περιοδικού.
Επιπλέον, παραθέτουμε τη συχνότητα των n-gram στο άρθρο.
Ελπίζουμε με την πάροδο του χρόνου να αναφέρουμε επίσης τη συχνότητα στο συνολικό σώμα, μια μέτρηση συνάφειας
γνωστή ως TD/IDF.
Εκτός από τα n-γραμμάρια, ο Γενικός Δείκτης περιέχει λέξεις -κλειδιά που εξάγονται χρησιμοποιώντας το Yake
toolkit.Yake «στηρίζεται στατιστικά κειμένου χαρακτηριστικά που εξάγονται από μεμονωμένα έγγραφα σε
επιλέξτε τις πιο σημαντικές λέξεις -κλειδιά ενός κειμένου. "
Ο πίνακας λέξεων -κλειδιών γενικού ευρετηρίου περιέχει συνολικά 19 δισεκατομμύρια λέξεις -κλειδιά.
Τέλος, ο γενικός δείκτης περιέχει μεταδεδομένα πίνακα, αντιστοίχιση του κατακερματισμού md5 σε τέτοια στοιχεία
τη μοναδική διεύθυνση DOI για ένα άρθρο περιοδικού, τον τίτλο, τον συγγραφέα και το περιοδικό.
Πρόκειται για μια πρόωρη κυκλοφορία του γενικού δείκτη, ένα έργο σε εξέλιξη.
Σε ορισμένες περιπτώσεις, η εξαγωγή κειμένου απέτυχε.
Μερικές φορές, τα μεταδεδομένα δεν είναι διαθέσιμα ή είναι ίσως και λάθος.
Ενώ το υποκείμενο σώμα είναι μεγάλο, είναι δεν είναι πλήρες και δεν είναι ενημερωμένο.
Υπάρχουν πολλοί τρόποι για να βελτιωθεί, και ανυπομονούμε να κάνουμε τον Στρατηγό
Ευρετήριο καλύτερα με την πάροδο του χρόνου.
Ο γενικός δείκτης καταλαμβάνει περίπου 38 terabytes δεδομένων με τη μορφή Postgres
χωματερή, ωστόσο με συμπίεση, αυτό το ASCII τα δεδομένα μειώνονται στα 8,5 terabyte.
Μπορείτε να κατεβάσετε τα δεδομένα απευθείας από εδώ, ή χρησιμοποιήστε εργαλεία όπως το bittorrent.
Μη διστάσετε να δημιουργήσετε καθρέφτες ή άλλο κοινό αποθετήρια για αναδιανομή του γενικού δείκτη.
Η ελπίδα μας είναι ότι μπορεί να τεθεί σε αριθμό των χρήσεων. Χρησιμοποιούμε βάση δεδομένων Postgres,
και χρησιμοποιώντας το γενικό ευρετήριο για αναζήτηση ονόματα φυτών από μια κύρια λίστα.
Το ευρετήριο θα μπορούσε να χρησιμοποιηθεί για αναζήτηση άλλου αντικείμενα, όπως χημικές ουσίες, γονίδια σε διάφορα
κωδικοποιήσεις, πρωτεΐνες, υλικά, τοπωνύμια, ή άλλες οντότητες.
Αντί για βάση δεδομένων Postgres, άλλες τεχνικές, όπως το BERT, μπορεί να εφαρμοστεί στα δεδομένα.
Αυτό είναι ένα εργαλείο αναζήτησης, ένα λεξικό γνώσης, ένας χάρτης προς τη γνώση, ένα εργαλείο που πιστεύουμε
είναι μια ουσιαστική διευκόλυνση για την πρακτική της επιστήμης στη σύγχρονη εποχή μας.
Αυτός ο γενικός δείκτης γνώσης δεν κάνει το υποκείμενο διαθέσιμο σώμα, μάλλον, γεγονότα
εξάγονται από το σώμα.
Αυτό είναι ένα μη καταναλωτικό και μετασχηματιστική χρήση.
Το θεωρούμε δημόσιο βοηθητικό πρόγραμμα. Υποστηρίζουμε καμία ιδιοκτησία επί του γενικού δείκτη.
Είναι αφιερωμένο στον δημόσιο τομέα, μια σειρά αμέτρητων γεγονότων με τα οποία μπορείτε
κάνε ό, τι θέλεις.
Δεν διατηρούνται δικαιώματα.
Οι μελετητές στο δρόμο προς την ανακάλυψη μπορούν να συμβουλευτούν αυτός ο χάρτης πορείας για ταχύτερη εύρεση προορισμών
επιθυμούν να επισκεφθούν. Δεν είμαστε παρά ντοκουμέντα στο διάδρομοι των τεράστιων αρχείων του κόσμου,
η συλλογική κοινότητα μελετητών και επιστημόνων και μηχανικοί και καλλιτέχνες που έχουν δημιουργήσει
αυτοί οι ναοί της γνώσης.
Αυτοί οι ναοί, από τη Βιβλιοθήκη της Αλεξάνδρειας στη Βιβλιοθήκη της Αλεξάνδρας, από τους μοναχούς
της Ιρλανδίας στις τεράστιες σύγχρονες βιβλιοθήκες έρευνας του σήμερα, από τους Άραβες και τους Εβραίους γραμματείς
συνεργάζονται για την οικοδόμηση του Οίκου της Σοφίας στη Βαγδάτη στα εργοστάσια της γνώσης που στεγάζονται
στους σύγχρονους εμπορικούς οίκους της Ανατολικής Ινδίας όπως τα πιεστήρια της Οξφόρδης και του Κέιμπριτζ, αυτά
είναι οι προορισμοί που πρέπει να επισκεφτούν οι μελετητές να προωθήσουν την τέχνη τους, να μάθουν από
αυτά που ήρθαν μπροστά μας.
Αυτοί οι ναοί περιέχουν το σύνολο όλων των γνώσεων, αλλά πρέπει να είμαστε σε θέση να βρούμε αυτή τη γνώση.
Ο γενικός δείκτης είναι ένας χάρτης.
Αυτός δεν είναι ένας χάρτης στο άθροισμα όλης της ανθρώπινης γνώσης,
αλλά είναι σίγουρα ένα ουσιαστικό υποσύνολο.
Για την αύξηση και διάχυση της γνώσης να συνεχίσουμε, αν θέλουμε να σταθούμε στους ώμους
γιγάντων, πρέπει να παρέχουμε αυτούς τους χάρτες σε αυτό τεράστιο κόσμο ιδεών.
Ο γενικός δείκτης δεν είναι παρά ένα εργαλείο, ένα εργαλείο που ελπίζουμε με την πάροδο του χρόνου να αποκτήσει ποιότητα
και σε έκταση, ένα εργαλείο που ελπίζουμε ότι θα παρέχει μια χρήσιμη συμβολή
στην πρακτική της επιστήμης σας.
Ελπίζουμε να βάλετε και αυτόν τον γενικό δείκτη εκπληκτικές χρήσεις, ότι μπορούμε να φτιάξουμε το ευρετήριο
καλύτερα, ότι μπορείτε να δημιουργήσετε άλλα εργαλεία, αυτό η κοινότητα των μελετητών μπορεί να συνεργαστεί
σε μια κοινή αναζήτηση εξόρυξης των απέραντων βυθών αυτού του ωκεανού μάθησης.
Πιστεύω ότι όλοι μοιραζόμαστε έναν κοινό στόχο, κοινή ελπίδα.
Ως επιστήμονες, μελετητές, καλλιτέχνες, συγγραφείς, ως πολίτες του κόσμου, ως παιδιά που επιθυμούν
να μάθω, ως περίεργοι άνθρωποι, πιστεύω όλοι ελπίζουμε ότι η αύξηση και η διάχυση
της γνώσης θα κάνει τον κόσμο μας καλύτερο μέρος, ότι θα μας βοηθήσει να κατανοήσουμε το δικό μας
κόσμο, για να θεραπεύσει τις ασθένειες και τη φτώχεια, να προχωρήσει την πρόοδο της επιστήμης και του εμπορίου και
ανθρωπιστικές επιστήμες και τέχνες.
Η επιστήμη είναι μια γλώσσα που όλοι πρέπει να μιλάμε αν πρέπει να βελτιώσουμε τον κόσμο μας.
Ευχαριστώ που άκουσες.
[Η φώκια γαβγίζει]
[ΜΟΥΣΙΚΗ]