איך Google BERT vs. אלגוריתמים של סמית עובדים יחד - סקירת סמלט




גוגל מפרסמת לאחרונה עבודת מחקר על אלגוריתם ה- NLP החדש שלהם SMITH. מאמר זה האיר לאנשי מקצוע רבים של קידום אתרים על השינויים שיצדיקו עלייה או ירידה בדירוג ה- SERP. עם זאת, הדאגה שלנו כאן היא כיצד אלגוריתם SMITH חדש זה משתווה ל- BERT?

במאמר שפרסמה גוגל, הם טענו כי SMITH עולה על BERT בהבנת שאילתות חיפוש ארוכות ומסמכים ארוכים. מה שהופך את SMITH למעניין כל כך הוא שהוא יכול להבין קטעים בתוך מסמך הדומה למה ש- BERT עושה במילים ובמשפטים. תכונה משופרת זו של SMITH מאפשרת לה להבין בקלות מסמכים ארוכים יותר.

אבל לפני שנמשיך הלאה, עלינו ליידע אותך כי נכון לעכשיו, סמית 'אינו חי באלגוריתמים של גוגל. אבל אם הספקולציות שלנו נכונות, הוא יושק לצד אינדקס מעברים, או שהוא יקדים אותו. אם אתה באמת מעוניין ללמוד כיצד לדרג ב- SEP, לימוד מכונה בהכרח ילך זה לצד זה לעניין זה.

אז נחזור לנושא, האם BERT עומד להיות מוחלף? האם רוב המסמכים באינטרנט הם עצומים, חסונים, ולכן הם ארוכים יותר עם SMITH?

בוא נקפוץ למרחוק ונראה מה סיכמנו. SMITH יכול לעשות גם את העבודה בקריאת מסמכים חזקים וגם דקים. תחשוב על זה כמו בזוקה. זה יכול לגרום נזק גדול על ידי זה יכול גם לפתוח דלתות.

ראשית, מדוע BERT או SMITH?

השאלה האמיתית כאן היא מדוע מנוע חיפוש ידרוש מעיבוד למידה טבעי כדי לספק תוצאות חיפוש. התשובה היא פשוטה. מנועי חיפוש דורשים NLP במעבר שלהם ממחרוזות הבנה של מנוע חיפוש או מילות מפתח לדברים או דפי אינטרנט.

איפה שלגוגל אין מושג, מה עוד יכול להיות בדף מלבד מילות המפתח או אם התוכן שמתווסף אפילו הגיוני ביחס לשאילתת החיפוש. הודות ל- NLP, גוגל יכולה להבין את ההקשר של התווים שהוקלדו בשאילתת החיפוש שלה.
הודות ל- NLP, גוגל יכולה להבחין בכוונות המשתמש כשאומרים "גדת נהר" ו"חשבון בנק ". זה יכול להבין גם הצהרות כמו "קרוליין נפגשה עם חברותיה למשקה, שתייה, חצי ליטר, אייל, לחלוט ..." כלא טבעיות.

כמומחים לקידום אתרים, עלינו לומר שהבנת שאילתת חיפוש עשתה דרך ארוכה. מאמינים כי היה קשה מדי למצוא את המאמרים הנכונים באינטרנט בעבר.

הבנת BERT

BERT מתפקד כיום כמודל ה- NLP הטוב ביותר שיש לנו עבור יישומים רבים, אם לא רבים, במיוחד כשמדובר בהבנת מבני שפה מורכבים. רבים רואים את הדמות הראשונה של Bidirectianal כקפיצת המדרגה הגדולה ביותר באלגוריתם זה. במקום שיהיה לו אלגוריתם שקורא משמאל לימין, BERT יכול גם להבין את המילים ביחס להקשר שלהם. בדרך זו, זה לא היה נותן תוצאות עבור המילים הבודדות המופיעות בשאילתה אלא מדף דפי אינטרנט על סמך המשמעות הקולקטיבית של מילים בשאילתת החיפוש.

הנה דוגמה להקל על הבנתך:

משאית הייתה קלה.

אם היית מפרש את האמירה משמאל לימין, עם ההגעה למילה "אור", היית מסווג את המשאית כמשהו עם אור. הסיבה לכך היא שהמשאית הגיעה לפני האור בהצהרה.

אך אם אנו רוצים לסווג דברים על משאיות, אנו עשויים להשאיר "אור" משום שאיננו נתקלים בו לפני "משאית".

קשה לשקול את ההצהרה בכיוון אחד בלבד.

בנוסף, ל- BERT יש גם יתרון סודי נוסף בהיותה כה מדהימה, והיא מאפשרת עיבוד שפה ביעילות בעלות משאבים נמוכה בהשוואה למודלים הקודמים. זה אכן גורם חשוב שיש לקחת בחשבון כאשר רוצים להחיל אותו על כל האינטרנט.

יישום אסימונים הוא התפתחות נוספת שליוותה את BERT. ישנם 30,000 אסימונים ב- BERT, וכל אחד מהם מייצג מילה נפוצה עם כמה אסימונים נוספים עבור תווים ושברי במקרה שמילה קיימת מחוץ ל -30,000.

באמצעות יכולתו לעבד אסימונים ושנאים, הבין BERT את התוכן, מה שגם נתן לו את היכולת להבין משפטים בצורה הולמת.

אז אם אנו אומרים, "הגברת הצעירה הלכה לגדה. בהמשך היא ישבה על גדת הנהר וצפתה בנהר זורם".

BERT יקצה ערכים שונים למשפטים אלה מכיוון שהם מתייחסים לשני דברים שונים.

הבנת סמית '

ואז מגיע SMITH, אלגוריתם עם משאבים ומספרים טובים יותר לשימוש לעיבוד מסמכים גדולים יותר. BERT משתמש בכ- 256 אסימונים למסמך, וכאשר הוא עולה על סף זה, עלות המחשוב גבוהה מדי לתפקוד אופטימלי. לעומת זאת, SMITH יכול להתמודד עם עד 2,248 אסימונים למסמך. זה בערך פי 8 ממספר השימושים BERT האסימוניים.

כדי להבין מדוע עלויות מחשוב עולות במודל NLP יחיד, עלינו לשקול תחילה מה נדרש כדי להבין משפט ופסקה. כשעוסקים במשפט, יש להבין רק מושג כללי אחד. יש פחות מילים המתייחסות זו לזו ומכאן פחות קשרים בין מילים לרעיונות שהם מחזיקים בזיכרון.

על ידי הפיכת משפטים לפסקאות, הקשר בין מילים אלה מוכפל מאוד. תהליכים 8X הטקסט ידרוש פעמים רבות יותר בקיבולת המהירות ובאופטימיזציית הזיכרון באמצעות אותו דגם. זה המקום בו SMITH עושה את ההבדל על ידי אצווה ועיבוד לא מקוון רב. מעניין ש- SMITH עדיין תלוי ב- BERT כדי לתפקד כראוי.

להלן תיאור כיצד SMITH לוקח מסמך ביסודו:
  1. תחילה הוא מפרק את המסמך לגודל קיבוץ שקל יותר לנהל.
  2. לאחר מכן הוא מעבד כל גוש משפטים בנפרד.
  3. לאחר מכן שנאי לומד ייצוג קונטקסטואלי של כל בלוק, ולאחר מכן הוא הופך אותם לייצוג מסמך.

איך SMITH עובד?

כדי להכשיר את מודל SMITH, אנו לומדים מ- BERT בשתי דרכים:

כדי להכשיר BERT, מילה מוציאה ממשפט ואפשרויות חלופיות יסופקו

ה- BERT, שהוא מאומן טוב יותר, הוא זה שיצליח יותר בבחירת האפשרות הנכונה מבין החלופות הניתנות. לדוגמא, אם ל- BERT ניתן המשפט:

החום השמח ------ קפץ מעל גדר המשבצות.
  • אפשרות ראשונה - עגבניות.
  • אפשרות שנייה - כלב.
ככל שה- BERT מאומן טוב יותר, כך סיכוייו לבחור באופציה הנכונה, שהיא אפשרות שתיים, טובים יותר.

שיטת אימון זו מיושמת גם ב- SMITH.

סמית 'מיומן למסמכים גדולים

ככל שסמית 'מאומן טוב יותר, כך סיכוייו להכיר במשפטים שהושמטו טובים יותר. זה אותו רעיון עם BERT אבל יישום אחר. חלק זה מעניין במיוחד משום שהוא מצייר עולם עם תוכן שנוצר על ידי גוגל מחובר יחד לדפי תוצאות מוקפים של מנועי חיפוש. כמובן שמשתמשים יכולים לעזוב, אך הם לא יעשו זאת מכיוון שגוגל יכולה להרכיב תכנים קצרים וארוכים מכל המקורות הטובים ביותר בדף התוצאות שלה.

אם אתה בספק אם זה קורה, אתה צריך לדעת שזה כבר התחיל לקרות, ולמרות שהם עדיין לא שולטים בזה, זו התחלה.

האם סמית 'טוב יותר מ- BERT?

עם כל מה שקראת, זה טבעי לחלוטין להניח ש- SMITH טוב יותר, ובמשימות רבות הוא באמת טוב יותר. אך שקול כיצד אתה משתמש באינטרנט לרגע; אילו שאלות אתה מזין באופן קבוע בשאילתות חיפוש?
  • "מה תחזית מזג האוויר להיום?"
  • "הוראות למסעדה".
מענה לשאילתות חיפוש כאלה דורש בדרך כלל תוכן קצר, לרוב עם נתונים מוגבלים ולא מורכבים. SMITH מעורב יותר בהבנת מסמכים ארוכים ומורכבים יותר ובשאילתות חיפוש ארוכות ומורכבות.

זה יכלול חיבור של מספר מסמכים ונושאים ליצירת תשובותיהם. הוא קובע כיצד ניתן לפרק תוכן, מה שמאפשר לגוגל לדעת את הדבר הנכון להצגה. זה יעזור לגוגל להבין כיצד דפי התוכן קשורים זה לזה, והוא מספק קנה מידה בו ניתן להעריך קישורים בין יתרונות אחרים.

עם זאת נאמר, אנו מסכמים באמירה כי גם BERT וגם SMITH חשובים, ושניהם משרתים את מטרתם הייחודית.

סיכום

בעוד ש SMITH הוא הבזוקה, אנו זקוקים לה כדי לצייר תמונה ברורה כיצד הדברים ביחד הם. במשאבים זה עולה יותר מכיוון שהוא עושה עבודה גדולה יותר, אבל זה עולה הרבה פחות מ- BERT כשעושים את אותה עבודה.

BERT עוזר ל- SMITH לסייע בהבנתו של שאילתות קצרות ונתחי תוכן זעירים. זאת, לעומת זאת, עד שגוגל תפתח אלגוריתם NLP נוסף שיחליף את שניהם, ואז נעבור ונדאג להתקדמות נוספת בקידום אתרים.

מעוניינים בקידום אתרים? עיין במאמרים האחרים שלנו בנושא בלוג של סמלט.