[מוּסִיקָה]
[קריין] זהו משאב ציבורי
[קרל מלמוד] שלום, אני קרל מלמוד.
ברוכים הבאים למדד הכללי.
אנו מציגים כאן בחינם וללא הגבלה להשתמש בקבוצת n-gram המופקת מ -107 מיליון,
233 אלף, 728 מאמרים בכתב עת.
ה- n-gram נעים בין מילים בודדות, ידועות בתור unigrams, לביטויים של שתי מילים (bigrams)
ביטויים של עד 5 מילים, המכונים 5 גרם.
יש, בסך הכל, 355 מיליארד שורות של n-gram במהדורה זו של המדד הכללי, כל אחד
המתאים להיט בכתבה בכתב עת.
ערכת כלים בשם Spacy שימשה לחילוץ ה- n-gram, אותם פיצלנו
על פני שישה עשר קבצים.
לכל שורה משויך חשיש md5, אשר מייצג מאמר עיתוני.
בנוסף, אנו מפרטים את תדירות ה- n-gram במאמר.
אנו מקווים לאורך זמן לרשום גם את התדירות בקורפוס הכולל, מדד רלוונטיות
המכונה TD/IDF.
בנוסף ל- n-gram, המדד הכללי מכיל מילות מפתח שחולצו באמצעות ה- Yake
ערכת הכלים.ייקה "נשענת על טקסט סטטיסטי תכונות שחולצו ממסמכים בודדים ל-
בחר את מילות המפתח החשובות ביותר של טקסט. "
טבלאות מילות המפתח הכלליות באינדקס מכילות בסך הכל 19 מיליארד מילות מפתח.
לבסוף, האינדקס הכללי מכיל מטא נתונים שולחן, ומיפוי חשיש md5 לפריטים כגון
הכתובת הייחודית של DOI למאמר בכתב עת, הכותרת, המחבר והכתב העת.
זהו פרסום מוקדם של המדד הכללי, עבודה בתהליך.
במקרים מסוימים, חילוץ הטקסט נכשל.
לפעמים, מטא נתונים אינם זמינים, או שהם אולי אפילו לא נכון.
בעוד שהקורפוס הבסיסי גדול, הוא אכן כך אינו שלם ואינו מעודכן.
ישנן דרכים רבות לשיפור זה, ואנו מצפים להפוך את הגנרל
אינדקס טוב יותר לאורך זמן.
המדד הכללי תופס כ -38 טרה -בתים של נתונים בצורה של Postgres
לזרוק, עם זאת עם דחיסה, ASCII זה הנתונים מצטמצמים ל -8.5 טרה -בתים.
אתה יכול להוריד את הנתונים ישירות מכאן, או להשתמש בכלים כגון ביטורנט.
אל תהסס ליצור מראות או ציבור אחר מאגרים להפצת מחדש של המדד הכללי.
התקווה שלנו היא שאפשר לשים אותו למספר של שימושים. השתמשנו במאגר נתונים של Postgres,
ושימוש באינדקס הכללי לחיפוש שמות של צמחים מרשימת אבנים.
ניתן להשתמש באינדקס לחיפוש אחר אובייקטים, כגון כימיקלים, גנים שונים
קידוד, חלבונים, חומרים, שמות מקומות, או גופים אחרים.
במקום מסד נתונים של Postgres, טכניקות אחרות, כגון BERT, ניתן ליישם על הנתונים.
זהו כלי חיפוש, מילון ידע, מפה לידע, כלי שאנו מאמינים בו
הוא מתקן חיוני לתרגול של המדע בעידן המודרני שלנו.
מדד כללי זה לידע אינו עושה הקורפוס הבסיסי הקיים, במקום זאת, עובדות
מופקים מהקורפוס.
זהו דבר שאינו נצרך ושימוש טרנספורמטיבי.
אנו רואים בכך כלי ציבורי. אנו טוענים אין בעלות על המדד הכללי.
הוא מוקדש לרשות הציבור, סדרה של עובדות לא משועבדות שאתה יכול
עשה מה שאתה רוצה.
אין זכויות שמורות.
חוקרים בדרך לגילוי יכולים להתייעץ מפת דרכים זו כדי למצוא יעדים מהירים יותר
הם רוצים לבקר. אנחנו רק רופאים ב מסדרונות הארכיון העצום של העולם,
הקהילה הקולקטיבית של חוקרים ומדענים ומהנדסים ואמנים שיצרו
מקדשי הידע האלה.
מקדשים אלה, מספריית אלכסנדריה לספריית אלכסנדרה, מהנזירים
של אירלנד לספריות המחקר המודרניות העצומות של היום, מהסופרים הערבים והיהודים
עובדים יחד לבניית בית החוכמה בבגדד למפעלי הידע השוכנים
בבתי המסחר המודרניים של מזרח הודו כמו העיתונות של אוקספורד וקיימברידג ', אלה
הם היעדים שחוקרים חייבים לבקר בהם לקדם את מלאכתם, ללמוד מהם
אלה שבאו לפנינו.
מקדשים אלה מכילים את סך כל הידע, אבל עלינו להיות מסוגלים למצוא את הידע הזה.
המדד הכללי הוא מפה.
זו אינה מפה לסיכום כל הידע האנושי,
אבל אין ספק שזוהי קבוצת משנה משמעותית.
להגברת והפצת הידע להמשיך, אם נעמוד על הכתפיים
של ענקים, עלינו לספק לכך מפות אלה עולם רעיונות עצום.
המדד הכללי הוא רק כלי אחד, כלי שאנו מקווים שעם הזמן ירוויח באיכות
ובהיקפו, כלי שאנו מקווים שיספק תרומה שימושית
לתרגול המדע שלך.
אנו מקווים שתשים גם את המדד הכללי הזה שימושים מפתיעים, שנוכל לבצע את המדד
טוב יותר, שתוכל ליצור כלים אחרים, זה קהילת החוקרים יכולה לעבוד יחד
בחיפוש משותף לכרות את המעמקים העצומים של אוקיינוס הלמידה הזה.
אני מאמין שכולנו חולקים מטרה משותפת, תקווה משותפת.
כמדענים, חוקרים, אמנים, סופרים, כאזרחי העולם, כילדים המבקשים
אני מאמין ללמוד כבני אדם סקרנים כולנו מקווים כי הגידול וההתפשטות
של ידע יהפוך את העולם שלנו לטוב יותר המקום, שזה יעזור לנו להבין את שלנו
העולם, כדי לרפא מחלות ועוני, להתקדם התקדמות המדע והמסחר וה
מדעי הרוח והאמנות.
מדע הוא שפה שכולנו חייבים לדבר אם אנחנו צריכים לשפר את עולמנו.
תודה על הקשבה.
[החותם נובח]
[מוּסִיקָה]