[מוזיק]
[אַנאַונסער] דאָס איז פּובליק ריסאָרס
[Carl Malamud] העלא, איך בין Carl Malamud.
באַגריסונג צו די אַלגעמיינע אינדעקס.
מיר פאָרשטעלן דאָ פֿאַר דיין פריי און אַנלימאַטאַד ניצן אַ סכום פון N- גראַמז יקסטראַקטיד פֿון 107 מיליאָן,
233 טויזנט, 728 זשורנאַל אַרטיקלען.
די n- גראַמז קייט פון איין ווערטער, באַוווסט ווי וניגראַמס, צו צוויי-וואָרט פראַסעס (ביגראַמס)
אַרויף צו 5-וואָרט פראַסעס, גערופֿן 5-גראַמז.
עס זענען, לויט צו אַלע, 355 ביליאָן ראָוז פון ען-גראַמז אין דעם מעלדונג פון די אַלגעמיינע אינדעקס, יעדער
קאָראַספּאַנדינג צו אַ שלאָגן אין אַ זשורנאַל אַרטיקל.
א טאָאָלקיט גערופֿן ספּאַסי איז געניצט צו עקסטראַקט די n- גראַמז, וואָס מיר האָבן שפּאַלטן
אַריבער זעכצן טעקעס.
מיט יעדער רודערן איז אַ מד 5 האַש, וואָס רעפּראַזענץ אַ זשורנאַל אַרטיקל.
אין אַדישאַן, מיר רשימה די אָפטקייַט פון די n- גראַם אין דעם אַרטיקל.
מיר האָפן איבער צייט אויך רשימה די אָפטקייַט אין די קוילעלדיק קאָרפּוס, אַ באַטייַטיק מעטריק
באַוווסט ווי TD/IDF.
אין אַדישאַן צו די n- גראַמז, די אַלגעמיינע אינדעקס כּולל טערמינען יקסטראַקטיד מיט די Yake
טאָאָלקיט.יאַקע "רעסץ אויף טעקסט סטאַטיסטיש פֿעיִקייטן יקסטראַקטיד פון איין דאָקומענטן צו
סעלעקטירן די מערסט וויכטיק טערמינען פון אַ טעקסט. ”
דער גענעראַל אינדעקס קיווערד טישן כּולל אַ גאַנץ פון 19 ביליאָן טערמינען.
לעסאָף, דער גענעראַל אינדעקס כּולל אַ מעטאַדאַטאַ טיש, מאַפּינג די מד 5 האַש צו זאכן אַזאַ
די יינציק אַדרעס פון DOI פֿאַר אַ זשורנאַל אַרטיקל, דער טיטל, מחבר און זשורנאַל.
דאָס איז אַ פרי מעלדונג פון די אַלגעמיינע אינדעקס, אַ אַרבעט אין פּראָגרעס.
אין עטלעכע קאַסעס, טעקסט יקסטראַקשאַן איז ניט אַנדערש.
טייל מאָל, מעטאַדאַטאַ איז נישט בארעכטיגט אָדער איז אפשר אפילו פאַלש.
כאָטש די אַנדערלייינג קאָרפּוס איז גרויס, עס איז איז נישט גאַנץ און איז נישט דערהייַנטיקט.
עס זענען פילע וועגן וואָס קענען זיין ימפּרוווד, און מיר קוקן פאָרויס צו מאַכן די אַלגעמיינע
אינדעקס בעסער איבער צייַט.
דער גענעראַל אינדעקס אַקיאַפּייז בעערעך 38 טעראַביטעס פון דאַטן אין די פאָרעם פון אַ פּאָסטגרעס
דאַמפּ, אָבער מיט קאַמפּרעשאַן, דעם ASCII דאַטן איז רידוסט צו 8.5 טעראַביטעס.
איר קענט אראפקאפיע די דאַטן גלייך פֿון דאָ, אָדער נוצן מכשירים אַזאַ ווי ביטאָררענט.
פילן פריי צו שאַפֿן מירערז אָדער אנדערע ציבור ריפּאַזאַטאָריז צו רידיסטריביוט די אַלגעמיינע אינדעקס.
אונדזער האָפענונג איז אַז עס קענען זיין שטעלן צו אַ נומער פון ניצט. מיר האָבן שוין ניצן אַ Postgres דאַטאַבייס,
און זוכן דעם גענעראַל אינדעקס נעמען פון געוויקסן פֿון אַ בעל רשימה.
דער אינדעקס קען ווערן גענוצט צו זוכן אנדערע אַבדזשעקס, אַזאַ ווי קעמיקאַלז, גענעס אין פאַרשידן
קאָדירונגס, פּראָטעינס, מאַטעריאַלס, אָרט נעמען, אָדער אנדערע ענטיטיז.
אַנשטאָט אַ פּאָסטגרעס דאַטאַבייס, אנדערע טעקניקס, אַזאַ ווי BERT, קענען זיין געווענדט צו די דאַטן.
דאָס איז אַ לוקאַפּ געצייַג, אַ ווערטערבוך פון וויסן, אַ מאַפּע צו וויסן, אַ געצייַג וואָס מיר גלויבן
איז אַ יקערדיק מעכירעס פֿאַר די פיר פון וויסנשאַפֿט אין אונדזער מאָדערן צייט.
דער גענעראַל אינדעקס צו וויסן קען נישט מאַכן די אַנדערלייינג קאָרפּוס בנימצא, אלא, פאקטן
זענען יקסטראַקטיד פון די קאָרפּוס.
דאָס איז אַ ניט -קאַנסאַמשאַן און טראַנספאָרמאַטיאָנאַל נוצן.
מיר קוק דאָס ווי אַ ציבור נוצן קיין אָונערשיפּ איבער די אַלגעמיינע אינדעקס.
עס איז דעדאַקייטאַד צו דעם ציבור פעלד, אַ סעריע פון אַנענקאַמבערד פאקטן מיט וואָס איר קענען
טו וואס דו ווילסט.
עס זענען קיין רעכט רעזערווירט.
געלערנטע אויף דעם וועג צו ופדעקונג קענען באַראַטנ זיך דעם ראָאַדמאַפּ צו געשווינד געפֿינען דעסטאַניישאַנז
זיי ווינטשן צו באַזוכן. מיר זענען אָבער דאָקענץ אין די כאָלווייז פון די וואַסט אַרקייווז פון דער וועלט,
די קאָלעקטיוו קהל פון געלערנטע און סייאַנטיס און ענדזשאַנירז און אַרטיס וואָס האָבן באשאפן
די טעמפלען פון וויסן.
די טעמפלען, פֿון דער ביבליאָטעק פון אלעקסאנדריע צו די ביבליאָטעק פון אַלעקסאַנדראַ, פֿון די מאָנקס
פון ירעלאַנד צו די וואַסט מאָדערן פאָרשונג לייברעריז פון היינט, פון די אַראַבישע און אידישע שרייבער
ארבעטן צוזאַמען צו בויען די הויז פון חכמה אין באַגדאַד צו די פאבריקן פון וויסן כאַוזד
אין מאָדערן מזרח ינדיאַן טריידינג הייזער ווי די פּרעסעס פון אָקספֿאָרד און קיימברידזש, די
זענען די דעסטאַניישאַנז וואָס געלערנטע מוזן באַזוכן צו שטייַגן זייער קראַפט, צו לערנען פון
די וואָס זענען געקומען פאר אונדז.
די טעמפלען אַנטהאַלטן די סאַכאַקל פון אַלע וויסן, אָבער מיר מוזן געפֿינען דעם וויסן.
דער גענעראַל אינדעקס איז אַ מאַפּע.
דאָס איז נישט אַ מאַפּע צו די סאַכאַקל פון אַלע מענטשלעך וויסן,
אָבער עס איז אַוואַדע אַ היפּש סאַבסעט.
פֿאַר די פאַרגרעסערן און דיפיוזשאַן פון וויסן צו פאָרזעצן, אויב מיר וועלן שטיין אויף די פּלייצעס
פון דזשייאַנץ, מיר מוזן צושטעלן די מאַפּס צו דעם וואַסט וועלט פון געדאנקען.
דער גענעראַל אינדעקס איז בלויז איין געצייַג, אַ געצייַג אַז מיר האָפן איבער צייַט וועט געווינען אין קוואַליטעט
און אין פאַרנעם, אַ געצייַג וואָס מיר האָפן צו צושטעלן אַ נוציק צושטייַער
צו דיין פירונג פון וויסנשאַפֿט.
מיר האָפן אַז איר וועט אויך שטעלן דעם גענעראַל אינדעקס כידעשדיק ניצט אַז מיר קענען מאַכן די אינדעקס
בעסער, אַז איר קענען מאַכן אנדערע מכשירים, וואָס די קהל פון געלערנטע קענען אַרבעטן צוזאַמען
אין אַ פּראָסט זוכן צו מייַנע די וואַסט טיפענישן פון דעם אָקעאַן פון לערנען.
איך גלויבן מיר אַלע טיילן אַ פּראָסט ציל, אַ פּראָסט האָפענונג.
ווי סייאַנטיס, געלערנטע, קינסטלער, שרייבערס, ווי בירגערס פון דער וועלט, ווי קינדער ווינטשן
איך גלויבן, צו לערנען ווי נייַגעריק מענטשן מיר אַלע האָפֿן אַז די פאַרגרעסערן און דיפיוזשאַן
פון וויסן וועט מאַכן אונדזער וועלט אַ בעסער אָרט, אַז עס וועט העלפֿן אונדז פֿאַרשטיין אונדזער
וועלט, צו היילן קרענק און אָרעמקייַט, צו שטייַגן די פּראָגרעס פון וויסנשאַפֿט און האַנדל און די
כיומאַניטיז און קונסט.
וויסנשאַפֿט איז אַ שפּראַך וואָס מיר אַלע מוזן רעדן אויב מיר זענען צו פֿאַרבעסערן אונדזער וועלט.
דאַנקען פֿאַר צוגעהערט.
[דער פּלאָמבע איז באַרקינג]
[מוזיק]