מהדורה 95: פריצות דרך בבינה מלאכותית, הלקח המר, יצירתיות אנושית, הערכות שווי, דיסראפשן לחיפוש
״לאחר 77 מהלכים, לי עצר ובהה בלוח במשך 20 דקות. לאחר מכן הוא ביצע מהלך שגרם לאלפא גו להתבלבל.״
שוב יום שישי. היו לא מעט הכרזות בגזרת ה AI בזמן שהבלוג היה בחופשה; נתחיל מקצת רקע היסטורי שיכול לתת קונטקסט מעניין, ונגיע גם להתפתחויות האחרונות.
אם אתם קוראים את זה במייל — אפשר ללחוץ על הכותרת למעלה כדי לעבור לטאב נפרד, ולהימנע מחיתוך של המייל שגורם להפרעות בקריאה.
קדימה למהדורה 95 -
פריצת דרך
אפשר להגיד שפריצת הדרך הייתה כבר ב-2007. בכנס NIPS של סוף אותה שנה, ג׳פרי הינטון – שבחודש שעבר הוכרז כזוכה בפרס נובל1 – העביר הרצאה תחת הכותרת ״רשתות נוירונים עמוקות״. לקונספט החדש הוא קרא deep learning. למידה ״עמוקה״. את שאר הטכניקות שהיו נפוצות בזמנו הוא כינה shallow learning. ״למידה שטחית״. ההתפתחויות ב deep learning של תחילת שנות האלפיים הביאו לסיום תקופה ממושכת של חורף AI.
את השימוש הראשון ברשת נוירונים מייחסים למכונת ה Percepetron , שנבנתה ע״י פרנק רוזנלבט במעבדה של אוניברסיטת קורנל, כבר ב-1957 במימון הצי האמריקאי. היא נועדה לזהות עצמים ואותיות בתמונות. מאמר בניו יורקר הכריז עליה כבר בתור מח מכני שיתחרה במח האנושי. אבל למרות ההבטחות הגדולות, המכונה הפכה להיות די שנויה במחלוקת. הביצועים החלשים, וכמה מגבלות בסיסיות במודל, הובילו חוקרים מובילים בתחום לקבוע שהגישה הזו לא תעבוד. חוקר בשם מרווין מינסקי היה קולני מאד בביקורת שלו, ופירסם ספר ב-1969 שכביכול הוכיח שרעיון ה Percepetron נכשל. זה סתם את הגולל על רשתות נוירונים למשך עשורים.
אבל את ג׳ף הינטון זה לא שכנע. הוא החל את לימודי הדוקטורט שלו בשנות ה-70׳, בדיוק כשתקציבי המחקר לטובת AI קוצצו בשל האכזבה מהפער האדיר בין הציפיות מהטכנולוגיה, לבין הביצועים הבסיסיים שהיא הציגה. אבל הינטון היה בטוח שהוא רואה משהו שכולם מפספסים. הספר של מינסקי לא באמת הבין את הרעיון מאחורי המודל של רוזנבלט, כך הינטון האמין, ואת הבעיות עם המודל היה אפשר לפתור. הוא המשיך לדמיין מודל שידמה את האופן שבו עובד המח האנושי.
במכונת ה Percepetron הייתה רק שכבה אחת של נוירונים. אבל מה אם יהיה ניתן לבנות רשת שמורכבת מכמה שכבות? ומה אם יהיה אלגוריתם שקובע מה צריכים להיות הקשרים בין כל הנוירונים האלה, והמשקל שצריך לייחס לכל אחד מהם?
באחד הקורסים שעשיתי בסטנפורד היה פרופסור מבוגר שהקפיד להזכיר שאת כל האלגוריתמים והטכניקות שהוא מלמד פיתחו כבר בשנות ה-80. ״אבל עכשיו נתנו לזה שם סקסי כמו deep learning, ופתאום כולכם נרשמים לקורס״. מה שהיה חסר עדיין בשנות ה-80, מעבר לפיתוח המתמטי, היה כח חישוב שיאפשר להריץ את הטכניקות האלה על פני רשתות נוירונים מספיק גדולות עם כמויות משמעותיות של מידע.
בתחילת שנות האלפיים התברר שהמעבדים הגרפיים של אנבידיה, שבמקור תוכננו כדי להאיץ את החישוב של גרפיקה ממוחשבת, יכולים להתאים גם כדי להאיץ אימון של רשת נוירונים. גם במקרה הזה יש הרבה פעולות חישוב בלתי תלויות שצריך לבצע במקביל, והרבה יותר מהיר לעשות אותן עם מעבד גרפי מאשר עם CPU מסורתי.
לי דנג היה מנהל מחקר AI במיקרוסופט. הצוות שלו עבד שלוש שנים כדי לבנות מערכת לזיהוי דיבור, speech recognition, שהתקשתה להציג שיפור משמעותי לעומת המערכת הקודמת. ב-2008 הוא נתקל בג׳ף הינטון, שהתלהב מכך שרשתות נוירונים ״התחילו לעבוד טוב״ על דיבור. דנג היה מאד סקפטי. הינטון לא היה מומחה ל speech recognition. ורשתות נוירונים מעולם לא עבדו טוב על שום דבר.
בכל זאת, דנג השתכנע להזמין את הינטון למעבדה שלו ברדמונד. אחרי כמה שעות של כתיבת קוד משותפת, היה להם אבטיפוס שהציג ביצועים לא רעים בזיהוי דיבור. והוא היה כל כך הרבה יותר פשוט ואלגנטי ממערכות שכללו אוסף ענק של חוקים שנכתבו באופן ידני. ההתקדמות נתקעה כשדנג התקשה להשיג אישור לרכישה של המעבדים הגרפיים שהינטון ביקש כדי להמשיך את הפרוייקט. כל אחד עלה 10,000 דולר, והמנהלים של דנג התנגדו לבזבז כסף על ציוד של משחקי מחשב לטובת מחקר של בינה מלאכותית. לאחר שדנג התעקש והצליח להשיג את התקציב, שני סטודנטים של הינטון הצליחו לבנות, בתוך חודשים, מערכת זיהוי דיבור שהייתה הרבה יותר טובה מכל מה שמחלקת המחקר של מיקרוסופט בנתה בעשור שלפני כן.
הבאה בתור הייתה גוגל. לאחר שנפתרו הרמות הגבה סביב דרישות הרכש של מעבדים גרפיים, דוקטורנט אחר במעבדה של הינטון הצטרף בתור מתמחה כדי לאמן רשת נוירונים. בתוך שבוע, המערכת החדשה כבר הציגה ביצועים טובים יותר מאשר שירות זיהוי הדיבור שרץ במערכת ההפעלה אנדרואיד, והחליפה את השירות הישן בתוך כמה חודשים. מערכת נוספת אומנה לזיהוי וחיפוש מילים בתוך סרטוני יוטיוב, ודי מהר לא היה אפשר להאמין כמה טובות היו התוצאות שהיא הציגה.
קצת לאחר מכן, רשתות נוירונים ״התחילו לעבוד טוב״ גם על תמונות. Computer Vision. הרעיון והחזון היו של איליה סוצקבר, שהיה אז סטודנט במעבדה של הינטון. הביצוע היה של אלכס קריז'בסקי, שהתמחה ב״אומנות האפלה״ של תכנות אלגוריתמים למעבדים גרפיים. ב-2012 המערכת שלהם, אלכס-נט, הציגה ביצועים שומטי לסתות באתגר של זיהוי תמונות בסקייל נרחב על מאגר ImageNet. אחוז השגיאה של AlexNet היה 15.3%, לעומת מעל 26% למקום השני בתחרות.
העולם הבין שרשתות נוירונים הן כן שימושיות אחרי הכל. זה פשוט לקח להן כמה עשורים להגיע לבשלות.
שנה לאחר אלכס-נט, גוגל רכשה את הסטארטאפ שהינטון הקים יחד עם סוצקבר וקריז'בסקי ב-44 מיליון דולר. ב-2013, זה עוד היה נחשב הרבה כסף בשביל סטארטאפ AI.
הלקח המר
מה שקרה בגוגל ומיקרוסופט, כשרשתות נוירונים הצליחו בתוך זמן קצר לגמד מערכות מורכבות שהושקעו בהן עשרות שנות אדם של עבודה ואופטימיזציות ושיפורים, משקף תבנית שחזרה על עצמה שוב ושוב לאורך ההיסטוריה של הבינה המלאכותית.
מאמר מ-2019 מאת ריץ׳ סאטן קרא לזה ״הלקח המר״, The Bitter Lesson.
הנחה שהסתתרה מאחורי הרבה מהמחקר בבינה מלאכותית ב-70 השנים האחרונות הייתה, שכח המחשוב הזמין נשאר קבוע. אבל חוק מור המשיך לעבוד, ועל פני קבועי זמן מספיק ארוכים - כח המחשוב הזמין גדל בצורה מאסיבית. זה מגמד את השיפורים שאפשר להשיג באמצעות קידוד של יוריסטיקות וחוקים שנועדו לחקות מומחים אנושיים; במציאות, שתי הגישות האלה סותרות אחת את השניה. כשמתמקדים באחת, מזניחים את השניה. גישת הידע-האנושי נוטה לסבך את השיטות באופן שעושה את זה קשה יותר לשלב טכניקות כלליות למינוף של כח חישוב.
השיטות שניצחו את קספרוב, אלוף העולם בשחמט, ב-1997, התבססו על מחקר מעמיק ומקיף. חוקרים שהתמקדו בשחמט, וניסו לבנות מערכת מחשב ש״תבין״ את המבנה הייחודי של המשחק ותמנף את הידע האנושי סביבו, זלזלו בגישות ״פשטניות״ יותר שהתבססו על חומרה חזקה שאפשרה לבדוק את כל מרחב המהלכים האפשריים. חוקרי השח התאכזבו כשמערכת ה brute force ניצחה, כי זה לא בדיוק האופן שבו אנשים משחקים שחמט. אותו סיפור יחזור אחריו עם המשחק גו, 20 שנים לאחר מכן. נגיע לזה בהמשך.
מה שמבטא מצויין את ״הלקח המר״ בעיניי היא התגובה המפורסמת של סאטיה נאדלה, כשהציגו לו את היכולות של GPT; הוא קטע בגסות ושאל איך OpenAI הצליחו לעקוף את היכולות של פרוייקט הבינה המלאכותית שעליו 1,500 עובדי מיקרוסופט שוקדים במשך עשורים. ״OpenAI בנו את זה עם 250 אנשים״, נאדלה אמר,. ״למה בכלל יש לנו את Microsoft Research?״ – היה אפשר לשאול את אותה שאלה גם אחרי היום שג׳ף הינטון בילה שם ב-2009.
המאמר של ריץ׳ סאטן מתאר את זה ככה: בהתחלה, חוקרי AI לרוב מנסים לשלב ידע בתוך הסוכנים שלהם. זה תמיד עוזר בטווח הקצר, ומתגמל את החוקר. אבל, בטווח הארוך זה נתקע בתקרה ואפילו מונע התקדמות נוספת. בשלב מסויים, פריצת דרך מגיעה ע״י גישה הפוכה, של חיפוש ולמידת מכונה באמצעות הרבה יותר כח מחשוב. בסופו של דבר, ההצלחה נגועה במרירות, כי כח המחשוב ניצח את הגישה שמשלבת מומחיות אנושית.
דבר אחד שצריך ללמוד מהלקח המר הוא הכח האדיר של טכניקות לשימוש כללי, general purpose, שיכולות לצמוח יחד עם כח מחשוב רב יותר, מבלי להיתקע בתקרה. שתי גישות כאלה הן חיפוש ולמידת מכונה.
עוד משהו שאפשר ללמוד מהלקח המר הוא שהמח שלנו הוא סבוך ומורכב לאין שיעור; לכן אנחנו צריכים להפסיק לחפש דרכים פשוטות כדי לתאר איך המח האנושי מבצע פעולות שונות. במקום זה, צריך לבנות את הגישות הכלליות שיוכלו למצוא ולשקף את המורכבות האינסופית הזו.
והנה עוד דוגמא שמוכיחה את זה -
DeepMind
דמיס האסביס, הפאונדר והמנכ״ל של דיפ מיינד, ממשיך לנהל אותה בתוך גוגל עד היום. את דייויד סילבר, אחד העובדים הראשונים בחברה, הוא פגש עוד בתור נער, בטורנירי שחמט באנגליה. האסביס נחשב לעילוי, וזכה במספר טורנירים של Pentamind – כמו אולימפיאדה, רק למשחקים כמו שחמט, דמקה, גו ושבץ נא. לצד האובססיה למשחקים, הייתה להאסביס גם אובססיה לבינה מלאכותית, והחלום שלו היה לבנות מכונה שתוכל לחקות את המח האנושי. התואר הראשון של האסביס היה במדעי המחשב, לימודי הדוקטורט שלו התמקדו במדעי המח, ואת הפוסט-דוקטורט הוא התחיל במעבדה באוניברסיטת לונדון שישבה בצומת שבין מדעי המח ובינה מלאכותית. הפרופסור שהקים אותה היה, ג׳ף הינטון.
האסביס פגש שם את שיין לג (שעדיין עובד איתו בדיפ מיינד היום) ואת מוסטפה סולימן (היום המנכ״ל של Microsoft AI) – שני השותפים שאיתם הקים ב-2010 את DeepMind. השם של החברה משקף את השאיפה לשלב בין Deep Learning לבין המח האנושי. המטרה המוצהרת, שאיתה פתחו את התכנית העסקית שלהם, הייתה artifical general intelligence. בינה מלאכותית כללית. AGI.
הם התחילו מלבנות תוכנה שתוכל לשחק משחקי מחשב קלאסיים משנות ה-80, כמו פונג או פולשים מהחלל או שובר קירות. אבל בניגוד לגישות שדגלו בקידוד של יוריסטיקות וחוקים לתוך התוכנה, האלגוריתם של דיפ מיינד ״למד״ איך לשחק במשחקים האלה, בעצמו, דרך ניסוי וטעיה. הטכניקה הזו נקראת Reinforcement Learning – האלגוריתם ״מנסה״ כל מיני מהלכים, ורואה מה התוצאה. זה משפיע על ההסתברות שהוא יבצע את אותו מהלך בפעם הבאה שיתקל במצב דומה. אחרי כמות מספיק גדולה של משחקים, מתקבל אלגוריתם ש״למד״ איך לשחק בעצמו. זה נועד לחקות את האופן שבו מח של ילדים לומד איך לשחק במשחקים האלה. במקרה של שובר שורות, זה לקח למחשב בערך שעתיים כדי למצוא טריק שיאפשר לנצח את המשחק במהירות דרך ״פתיחה״ של מעבר שיוביל את הכדור אל מאחורי הבלוקים, שם הוא יקפוץ הלוך ושוב, ויוריד את כל הבלוקים. המערכת הייתה מסוגלת לשחק במהירות ודיוק גבוהים הרבה יותר מכל שחקן אנושי.
האסביס הצליח להיפגש עם פיטר ת׳יל, אחד המשקיעים הידועים בסיליקון ואלי, וחובב שח בעצמו. ת׳יל השקיע 1.4 מיליון פאונד בסיבוב ה seed של דיפ מיינד, והכיר להם חבר נוסף מקהילת המיליארדרים בסיליקון ואלי – אילון מאסק. בתור יועצים טכניים הם גייסו את ג׳ף הינטון, לצד יאן לקון – שהיה חלק מהקבוצה הקטנה של מאמינים ברשתות נוירונים בשנות ה-80׳ וה-90׳, והיום מוביל את מחקר הבינה המלאכותית בחברת מטא. זו הייתה קהילה די קטנה של חוקרי רשתות נוירונים, שהיום הרבה מהם מובילים את תחום ה AI בחברות הביג טק, או מנהלים בעצמם חברות בשווי מיליארדי דולרים.
הסיפור, כפי שהוא מובא בספר Genius Makers, הוא שאילון מאסק צפה בסרטון של דיפ מיינד AI משחק באחד המשחקים האלה, בזמן שטס במטוס פרטי. לארי פייג׳ גם היה על המטוס, שמע את השיחה של מאסק, וכך למד על החברה החדשנית מלונדון. פייג׳ החליט שגוגל צריכה לקנות אותם. למשימת השכנוע גוייס ג׳ף הינטון, שמכר את החברה שלו לגוגל כבר ב-2012, והיה אחד המנטורים של דיפ מיינד. האסביס העדיף להישאר עצמאי, אבל השתכנע שהחברה לא תוכל להתחרות מול ענקיות הטק על משכורות לחוקרי AI ורכישה של מעבדים גרפיים. את השיחות בנוגע לרכישה האבסיס קיים עם ג׳ף הינטון וג׳ף דין – כנראה המהנדס הכי מוערך ומוכשר בהיסטוריה של גוגל, שניהל בזמנו את Google Brain, פרוייקט הבינה המלאכותית של גוגל. האסביס השתכנע, ובינואר 2014 הוכרז שגוגל רוכשת את דיפ מיינד ב-650 מיליון דולר.
AlphaGo
אפשר להגיד שדיפ מיינד שילמה על הרכישה של עצמה כשאימנה מערכת AI לניהול צריכת החשמל בדאטה סנטר של גוגל. המערכת ניהלה את ההפעלה של מנגנוני קירור בצורה כל כך יעילה, שהיא חסכה לגוגל מאות מיליוני דולרים. מעבר לניהול צריכת החשמל, גוגל שילבה deep learning בשורה ארוכה של מוצרים, מ Photos דרך ג׳ימייל ואפילו באלגוריתם החיפוש; ב-2007 ג׳ף הינטון התארח בגוגל כדי להרצות על רשתות נוירונים, ותיאר שם איך אלגוריתם כזה יוכל להיות שימושי לחיפוש באוסף עצום של מסמכים (אם רק תהיה חברה שתהיה מוכנה לספק קצת כסף כדי לבנות את זה). החזון הזה הפך למציאות שמונה שנים לאחר מכן, כשדווח ב-2015 שמערכת בשם RankBrain, מבוססת רשת נוירונים, אחראית כבר ל-15% מתוצאות החיפוש בגוגל, ומשיגה תוצאות באיכות הרבה יותר גבוהה מהמערכות הותיקות של גוגל. זוכרים את הלקח המר שדיברנו עליו קודם?
השימוש הנרחב בבינה מלאכותית הציב אתגר בצד התשתיות. ג׳ף דין הבין שאם כל אחד ממיליארד הטלפונים שמריצים אנדרואיד ישתמש במערכת זיהוי הדיבור החדשה של גוגל רק במשך שלוש דקות ביום, גוגל תצטרך להכפיל את הדאטה סנטר ותשתיות המחשוב שלה כדי להתמודד עם זה. ״אנחנו נצטרך עוד גוגל״, היה איך שהוא ניסח את זה. זו הייתה בעיה מאד גדולה! זה הוביל בסופו של דבר לפיתוח שבב ייעודי - Tensor Processing Unit - שנועד להיות יעיל במיוחד בעיבוד של טנסורים, האובייקטים המתמטיים ברשת הנוירונים של גוגל. היכולות של המעבד הזה הן מוגבלות יחסית ל GPU של אנבידיה, אבל את המשימות הספציפיות שהוא נועד לבצע, המעבד יכול לעשות הרבה יותר מהר.
מעבד הטנסור היה מה שאיפשר לצוות המחקר של גוגל לעמוד במשימה השאפתנית שג׳ף דין הציב בפניהם ב-2015: לאמן, על פני כל המידע באינטרנט, מערכת שתוכל לתרגם בין שפות. ה TPU הפחית את זמן התרגום של משפט בודד מעשר שניות בתחילת השנה, לכמה אלפיות שניה כשהושקה גרסה של גוגל טרנסלייט שמתבססת על רשת נוירונים, כמה חודשים לאחר מכן.
והיו גם המשחקים: ב-2017 דיפ מיינד פרסמה מאמר שמתאר את AlphaZero, תכנית מחשב שמיועדת לשחק שחמט. תהליך האימון התבצע על מעבדי TPU, והקלט היחיד היה חוקי משחק השחמט. בלי טבלאות מצבים או יוריסטיקות או ספרים שנכתבו על המשחק. באמצעות טכניקה של reinforcement learning, התכנית ״למדה״ את האלגוריתם באמצעות זה שהיא שיחקה נגד עצמה עשרות מיליוני משחקים. AlphaZero השיג ביצועים עדיפים מול המנועים המובילים, והפך לשחקן השחמט האוטומטי הטוב ביותר בעולם.
וזה המשיך מעבר לשחמט – בנסיעה למטה של גוגל במאונטיין ויו לאחר הרכישה, דמיס האסביס גילה שהוא חולק תחום עניין משותף עם סרגיי ברין, קו-פאונדר של גוגל: המשחק גו. סרגיי סיפר שבזמן שהוא ופייג׳ בנו את גוגל בתור סטודנטים בסטנפורד, פייג׳ דאג מכמות הזמן שהשותף שלו מבלה בלשחק גו. האסביס אמר שלדעתו הצוות שלו מסוגל לבנות מערכת שתנצח את אלוף העולם בגו. זו הייתה הצהרה מאד שאפתנית, בגלל שגו הוא משחק הרבה יותר מורכב משחמט. יש הרבה יותר מהלכים שכל שחקן יכול לבצע בכל תור, מה שמוביל לזה שמספר המצבים האפשריים במשחק גדול יותר ממספר האטומים על פני כדור הארץ. בשביל לפתח אסטרטגיה, צריך לנתח מרחב אפשרויות שהוא בסדרי גודל יותר עצום מאשר שחמט.
את האופן שבו האסביס ניהל את פרוייקט AlphaGo, ג׳ף הינטון השווה לאופן שבו אופנהיימר ניהל את פרוייקט מנהטן. זו לא תהיה הפעם האחרונה שמשווים בין פיתוח של AI לפיתוח של נשק גרעיני בשנות ה-40׳2. מעל 200 מיליון אנשים צפו בסדרת המשחקים של אלפא גו מול אלוף העולם בגו, לי סדול, שנערכה בקוריאה במרץ 2016. אלפא גו ניצחה בסדרה של חמישה משחקים, באירוע שהביא לתודעה הציבורית את מהפיכת הבינה המלאכותית. גו נחשב לפסגת האינטלגנציה האנושית, ועכשיו המכונה התעלתה על המח האנושי גם כאן.
על התרומות האדירות של מערכת נוספת מבית דיפ מיינד – AlphaFold, שהציגה ביצועים מרשימים בניתוח מבנה של חלבונים מורכבים – דמיס האסביס זכה בפרס נובל לכימיה לאחרונה, יחד עם חוקר נוסף מדיפ מיינד בשם ג׳ון ג׳אמפר.
מהלך 78
הניצחון של אלפא גו המחיש את עוצמת הטכנולוגיה החדשה, ואת האפשרות שיום אחד היא תאפיל על האנושות. אבל היו בסיפור הזה כמה נקודות מעודדות לגבי עתיד היצירתיות האנושית. אחת מהן הייתה במהלך המשחק הרביעי בסדרה. לאחר 77 מהלכים, לי עצר ובהה בלוח במשך 20 דקות. לאחר מכן הוא ביצע מהלך שגרם לאלפא גו להתבלבל. מהלך 78 של לי הוציא את אלפא גו מאיזון, התחזיות של האלגוריתם לגביי סיכויי הניצחון של עצמו החלו לצנוח, ולאחר מספר שעות – אלפא גו נכנעה. לאחר מכן האסביס הסביר שאלפא גו לא צפתה את מהלך 78 של לי סדול, האלגוריתם העריך את ההסתברות ששחקן גו אי פעם יבצע מהלך כזה בפחות מ 1:10,000. הבינה המלאכותית דחפה את אלוף העולם בגו להיות טוב יותר, ויצירתי יותר. ואולי יש כאן מסר מעודד לגבי ההשפעה של AI על היצירתיות האנושית. אולי היא תדחוף אותה לרמות חדשות.
מאמר שהתפרסם ב-2022 נפתח בציטוט של לי סדול על כך שההפסד לאלפא-גו גרם לו לרצות ללמוד את המשחק יותר לעומק. בהמשך הוא מראה שהיה זינוק במספר המהלכים המקוריים של שחקני גו אנושיים מאז סדרת המשחקים ב-2016. יחד עם הזינוק ביצירתיות, יש גם עליה באיכות של האסטרטגיה.
אולי יהיה אפקט כזה בעוד תחומים. למרות התחזיות הקודרות על אובדן הרלוונטיות של האינטילגנציה האנושית, אולי הבינה המלאכותית דווקא תעורר השראה בקרב בני אנוש, ותוביל אותנו לפרוץ את גבולות היצירתיות האנושית בתחומים כמו מוזיקה, כתיבה, אומנות, עיצוב או אפילו הנדסה.
OpenAI
לא כולם היו מרוצים מהרכישה והשגשוג של דיפ מיינד בתוך גוגל. למשל אילון מאסק שכתב בסוף 2014:
הסיכון שמשהו מסוכן מאד יקרה הוא במסגרת של חמש השנים הקרובות. עשר שנים לכל היותר. זה לא מקרה של לקרוא זאב על משהו שאני לא מבין. אני לא לבד במחשבה שאנחנו צריכים לדאוג. חברות ה AI המובילות נקטו בצעדים נרחבים כדי לדאוג לבטיחות. הן מכירות בסכנה, אבל מאמינות שיוכלו לעצב ולשלוט בסופר-בינה דיגיטליות ולמנוע מהגרסאות הרעות לברוח אל האינטרנט. עוד נראה….
בתור משקיע מוקדם בדיפ מיינד, מאסק לא היה מרוצה מהמכירה לגוגל. הוא סיפר שלארי פייג׳ היה חבר קרוב שלו, אבל, כמו שמאסק ניסח את זה, ״הוא [פייג׳] עלול לבנות משהו מרושע בלי כוונה״. מאסק המשיך לדבר על הסכנות שבפיתוח בינה מלאכותית, ולנסות לשכנע חוקרים מובילים בתחום להצטרף אליו, מה שבסופו של דבר הוביל להכרזה המשותפת של מאסק וסאם אלטמן על הקמת OpenAI בדצמבר 2015. איליה סוצקבר, שהסכים לעזוב את גוגל לטובת המיזם החדש, מונה להוביל את המחקר, וגרג ברוקמן, לשעבר ה CTO של סטרייפ, מונה לתפקיד דומה בחברה החדשה.
OpenAI הוצגה כחברה ללא מטרות רווח, שנועדה להיטיב עם כלל האנושות. אבל בן תומפסון היה קצת סקפטי לגבי זה כבר מההתחלה. הוא כתב אז שזה לא ברור אם לקחת משהו שהוא כביכול כל כך מסוכן, ולעשות אותו זמין ופתוח בצורה נרחבת, ישפר את המצב או דווקא יחמיר את הבעיה; מצד שני, אפשר לראות היגיון עסקי מאחורי המהלך הזה. לפייסבוק וגוגל היה אז יתרון אדיר מבחינת גישה לטאלנט בתחום (שכולו היה מועסק באחת משתי החברות), וגם מבחינת כמויות הדאטה שהן אגרו. חברה שכביכול נועדה להיטיב עם האנושות, תוכל לגייס חלק מהחוקרים המובילים ב AI (כפי שהיא עשתה בהצלחה עם סוצקבר כבר מהיום הראשון), ולסגור חלק מהפער מול חברות הביג טק. זה יוכל לאזן את המשחק, למשל בשביל טסלה (החברה של מאסק), או סטארטאפים שיוצאים מ YCombinator, האקסלטור המוביל שסאם אלטמן ניהל בזמנו.
ומה שהתברר די מהר היה, שזה עולה הרבה כסף לבנות AGI. גם אם עושים את זה למען מטרה נעלה כמו להביא את הטכנולוגיה לכלל האנושות, הטאלנט שצריך בשביל לעשות את זה נדרש לוותר על משכורות מאד גבוהות, שהגיעו עד למיליוני דולרים בשנה למשל במקרה של סוצקבר, זה היה מה שגוגל הציעו לו כשניסו לשכנע אותו לא לעזוב לטובת OpenAI. וגם המעבדים הגרפיים של אנבידיה עולים המון כסף. אי אפשר לממן את כל זה רק עם תרומות לצדקה, ולצפות להתחרות בגוגל ופייסבוק.
עוד תובנה שאלטמן כנראה הגיע אליה – וכאן זו רק השערה שלי – אבל נראה שבניגוד לתכנית הראשונית, לבנות AI פתוח ולחלוק את הכל עם העולם, כדי להיטיב עם סטארטאפים בוגרי YCombinator ולתת להם סיכוי טוב יותר לנצח את גוגל ופייסבוק – אלטמן זיהה ש OpenAi בעצמה הפכה להיות ההזדמנות לנצח את גוגל ופייסבוק. עם סיכוי יותר טוב מכל סטארטאפ אחר שעבר ב YC.
ב-2018 עודכן הצ׳ארטר של OpenAI. באופן אירוני, החברה שנושאת את השם Open AI, תפסיק לשתף בפרטים אודות המחקר שלה. באותה שנה אילון מאסק גם עזב את דירקטוריון החברה. כדי לממן את הפיתוח וההתקדמות, אלטמן הגיע להסכם עם סאטיה נאדלה, מנכ״ל מיקרוסופט, שתשקיע מיליארד דולר בחברה של אלטמן, שאותם OpenAI תוציא על תשתיות מחשוב בענן של מיקרוסופט. זה מה שהוביל למבנה המוזר שבו חברת OpenAI ללא כוונת רווח שולטת בחברה בת עם כוונות רווח - כתבתי עליו בהרחבה אחרי ניסיון הפוטש בסאם אלטמן בשנה שעברה. הייתה בדרך גם תביעת הטרלה שאילון מאסק הגיש כנגד החברה בגין שינוי הכיוון שהיא לקחה.
הנקודה היא שגם עם המעבר ההדרגתי מארגון צדקה ללא כוונות רווח, לחברה שככל הנראה שואפת לעשות הרבה רווחים – לאורך שבע השנים הראשונות של החברה, שהוקמה בסוף 2015, OpenAI הייתה יותר דומה למעבדת מחקר מאשר לכל דבר אחר. זה השתנה כשהגיע המפץ הגדול של נובמבר 2022. אבל בואו ניקח כמה צעדים אחורה, כדי להבין איך הוא הגיע -
טרנספורמר
איאן גודפלו חזר הלום-שיכר לדירה שלו, כשהרעיון היכה בו. הוא למד לתואר ראשון ושני תחת ההדרכה של אנדרו נג׳ בסטנפורד – בעצמו אחד החוקרים המובילים בעולם בבינה מלאכותית, ומי שהתחיל את פרוייקט המכונית האוטונומית בגוגל. ב-2014, לקראת סוף לימודי הדוקטורט של גודפלו באוניברסיטת מונטריאול, התנהלה תחרות עזה לגייס אותו, בין מעבדת המחקר של יאן לקון בפייסבוק, לבין דיפ מיינד של גוגל. גודפלו בחר את ההצעה של דיפ מיינד, וחבריו למעבדה באוניברסיטת מונטריאול ערכו לו אירוע פרידה בבר מקומי בשם Les 3 Brassuers. שלושת המבשלות. בין הבירות, הם התווכחו על הדרך הנכונה לבנות מכונה שתייצר תמונות ריאליסטיות. תמונות של חתול או כלב שירגישו אמיתיות, אבל יוצרו לחלוטין על ידי מחשב.
לגודפלו היה כיוון מאד שונה מהרעיונות שהיו לחבריו למעבדה; הם חשבו בעיקר על ניתוח סטטיסטי של תדירות פיקסלים בתמונות. הוא חשב על בניית רשת נוירונים שתלמד מרשת נוירונים אחרת. קצת כמו אלגוריתמים שמשחקים שחמט או גו אחד נגד השני, רשת נוירונים אחת תנסה לייצר תמונה ריאליסטית, והרשת השניה תנסה לזהות איפה התמונה לא אמיתית ולהצביע על הפגמים. לאחר מכן הרשת הראשונה תנסה לייצר עוד תמונה, וכן הלאה. אם הדו-קרב הזה יימשך מספיק זמן, הרשת הראשונה תוכל לייצר תמונות באיכות די גבוהה.
הקולגות היו סקפטיים, אבל זה בדיוק מה שגודפלו ניגש לעבוד עליו כשחזר הביתה. רק עם האור שריצד ממסך הלפטופ שלו, גודפלו, שלא רצה להפריע לחברה שלו לישון, עדיין קצת מבושם מהבירות, אימן שתי רשתות נוירונים. כמה שעות לאחר מכן, זה עבד! התמונות היו קטנטנות, וקצת מטושטשות, אבל נראו אמיתיות.
במאמר שפורסם על הרעיון, הוא קרא להן ״Generative Adversarial Networks״, או GANs. יאן לקון כינה אותם, הרעיון הכי מגניב ב deep learning בעשרים שנה האחרונות. זה הרעיון שגודפלו דחף קדימה כשהצטרף לדיפ מיינד.
אבל רעיון אפילו יותר מגניב הגיע כמה שנים לאחר מכן, שכמו שהלקח המר מלמד – טרף את כל הקלפים והאפיל על כל ההתקדמויות שהיו עד לאותו רגע. זה היה בתקופה של ויכוח בקרב קהילת הבינה המלאכותית, שלמרות ההישגים המדהימים בשורה של תחומים – זיהוי דיבור, יצירת תמונות, משחק גו, ניתוח חלבון, נהיגה אוטונומית – היו מבקרים שעדיין טענו שמדובר בהתאמת תבניות, לא בהבנה אמיתית. זה היה אחד הנושאים בדיבייט שנערך בין יאן לקון, לבין מדען בשם גארי מרקוס. לקראת הסוף, אישה מהקהל הכריזה שבתחום הבנת השפה לא הייתה שום התקדמות. זה היה ב-2017.
שנה לאחר מכן ההתקדמות הגיעה כשגוגל פירסמה מערכת בשם BERT, שהצליחה במשימות של השלמת משפטים, ולראשונה קיבלה ציון דומה למשתתפים אנושיים. המערכת התבססה על מה שהחוקרים כינו ״מודל שפה אוניברסלי״. לא מערכת נקודתית שנבנתה לטובת משימה או מבחן מסויים. כמו מערכות דומות שנבנו ב OpenAI באותו זמן, מודל השפה האוניברסלי התבסס על כמות ענקית של מידע, שכללה בין היתר את כל הספרים שאי פעם נכתבו, וכל המאמרים בויקיפדיה. המשימה שהמערכת ״למדה״ היא, ניחוש המילה הבאה במשפט. generate next token.
מה איפשר את פריצת הדרך הזו, של מודל שפה אוניברסלי? ב-2017, קבוצת חוקרים מגוגל פירסמו מאמר מכונן תחת הכותרת Attention Is All You Need. הם הציגו שם טכניקה בשם טרנספורמר, שאיפשרה להציג ביצועים בסדרי גודל יותר טובים מהטכניקות שהיו נפוצות בזמנו לעיבוד שפה. אם מותחים קווי דמיון בין המהפיכה שאולי תצמח מ generative AI היום, לבין המצאת המחשב האישי בשנות ה-70 וה-80, אז ההקבלה של הטרנספורמר הוא כנראה המצאת הטרנזיסטור או המיקרו-פרוססור. כתבתי עליו עוד בתחילת הדרך של הבלוג, במהדורה מספר 7.
גוגל שיחררו את הקוד של BERT, ולאחר מכן אימנו את המערכת על מאה שפות נוספות. אחרים בנו מערכות אפילו יותר גדולות. OpenAI השיקו את הגירסה הראשונה של Generative Pre-trained Transformer, או GPT-1, ביוני 2018, את GPT-2 ב-2019, ואת GPT-3 ב-20203. כמות הפרמטרים גדלה בערך פי 100 בכל איטרציה כזו; רק בסדרי הגודל האלה – מאות מיליארדי פרמטרים – מודלי השפה הגדולים באמת התחילו להרשים, עם יכולת לייצר טקסט קוהרנטי ותמונות שנראו אמיתיות. אבל המפץ הגדול באמת הגיע קצת אחר כך, בעוצמה שכנראה הפתיעה גם את מי שהיה מעורב בו -
The ChatGPT Company
אימנו מודל שנקרא ChatGPT שמבצע אינטראקציה בצורה קונבנציונלית. פורמט הדיאלוג מאפשר ל ChatGPT לענות על שאלות המשך, להודות בטעויות שלו, לאתגר הנחות שגויות, ולדחות בקשות לא ראויות.
… אנחנו נרגשים להציג את ChatGPT כדי לקבל פידבק ממשתמשים וללמוד על החוזקות והחולשות שלו. במהלך תקופת המחקר, השימוש ב ChatGPT הוא חינם. נסו אותו עכשיו ב chatgpt.com.
ההכרזה הקצרה הזו של OpenAI בסוף נומבר 2022 גרמה להכל להתפוצץ.
בפינה שלי של העולם, זה הרגיש כמו אירוע מאד מכונן. עד כדי כך שהקדשתי מהדורה שלמה בניוזלטר שבדיוק התחלתי אז – הרהורי יום שישי – כדי לדבר על זה. ועדיין, לא הייתי מסוגל לנחש עד כמה גדולה תהיה ההשפעה. אף אחד לא היה יכול.
עד אותו רגע, OpenAI היו סטארטאפ חם שלוקח הימור גדול על עתיד הבינה המלאכותית. המודל העסקי הטבעי בשביל חברה כזו, שממוקדת במחקר, היה API, שעליו OpenAI גבתה כסף לפי שימוש. אבל בתוך כמה שבועות, ChatGPT, שהיה אמור להיות דמו למטרות מחקר (ואולי קצת כדי לקדם את החברה), צבר מעל 100 מיליון יוזרים. הצמיחה המהירה ביותר של אפליקציית consumer אי פעם. כמו שבן תומפסון תיאר את זה, מבלי להתכוון, OpenAI הפכה מחברת מחקר ותשתית לחברת consumer tech.
זה דורש תרבות שונה לגמרי מתרבות של חברה שממוקדת במחקר, והמתחים שזה יצר כנראה היו חלק ממה שהוביל לטלטלות, שהגיעו לשיא בניסיון שנכשל לפטר את סאם אלטמן, ולגל העזיבות של בכירים לאחרונה. כולל סוצקבר וברוקמן, שהיו חלק מצוות ההקמה המקורי של OpenAI. אבל, שוב, אז היא הוקמה בתור מעבדת מחקר.
הנה סיפור שממחיש את השינוי הגדול שהחברה עברה: בסוף 2023 נערך כנס מפתחים של OpenAI. סאטיה נאדלה התארח על הבמה, לצד סאם אלטמן, והוכרזו שם שורה של השקות מלהיבות. בין היתר הושק מודל GPT-4 Turbo, והוכרזה ירידה חדה במחיר של השימוש בו באמצעות API. בן תומפסון הסביר בזמנו שההכרזה תוזמנה טוב, אחרי ההופעה של סאטיה נאדלה על הבמה, בגלל שחלק ממה שמאפשר את ההתייעלות והירידה במחיר, הוא העובדה שמיקרוסופט בנתה אז את כל אסטרטגיית ה AI שלה סביב מודל ה GPT של OpenAI. בניגוד לאמזון למשל, שלקחה גישה מודולרית ופתוחה יותר, נאדלה הסביר שההתמקדות במודל אחד מאפשרת להוסיף אופטימיזציות לכל אורך ה stack.
ובכן. שנה לאחר מכן, כנס המפתחים של OpenAI נערך השנה בדלתיים סגורות. וסאטיה נאדלה, אולי בתור לקח מהטלטלות וניסיון הפוטש ב OpenAI בשנה שעברה, כבר לא מבסס את כל אסטרטגיית ה AI של מיקרוסופט על סאם אלטמן. בכנס המפתחים האחרון של מיקרוסופט הוא אפילו אמר שמודלי שפה גדולים הופכים לקומודיטי. זה שינוי של 180 מעלות לעומת הקו שהציג רק לפני שנה, כשדיבר על היתרונות של מיקרוסופט מהגישה הבלעדית למודלים המתקדמים של OpenAI. משהו שממחיש את זה הוא העובדה שמיקרוסופט השבוע הכריזה שתאפשר להשתמש במודלים נוספים במוצרי הקו-פיילוט שלה, כולל אלו של אנת׳רופיק וגוגל.
העובדה שהמודלים עצמם הופכים לקומודיטי, היא כנראה חלק ממה שדחף את OpenAI ללכת באופן מלא על ChatGPT. ויש להם הזדמנות מעניינת סביב זה, לאור המותג שנבנה בתודעת הצרכנים. זה מה שמקושר בעיניי הרבה אנשים למהפיכת ה AI.
חברת consumer tech היא תוצאה רחוקה מאד מהתכנית המקורית שהייתה לסאם אלטמן ואילון מאסק בשביל OpenAI כשהחברה יצאה לדרך, אבל אולי כמו מהלך 78 במשחק של אלפא-גו, זה עוד מקרה שבו הבינה המלאכותית מובילה אנשים למהלכים יצירתיים שמפתיעים אפילו את עצמם.
OpenAI Valuation
מתוך הבלוג של OpenAI בחודש שעבר:
אנחנו מתקדמים במשימה שלנו להבטיח את היתרונות של בינה מלאכותית כללית לכלל האנושות. בכל שבוע, מעל 250 מיליון אנשים מרחבי העולם משתמשים ב ChatGPT כדי לשפר את העבודה, היצירתיות, והלמידה שלהם
[…] גייסנו 6.6 מיליארד דולר במימון חדש לפי שווי של 157 מיליארד דולר לאחר הכסף, כדי להאיץ את ההתקדמות במשימה שלנו [...]4
150 מיליארד דולר זו הערכת שווי מאד גבוהה! דיברנו פה על בועות פיננסיות שנוטות להתפתח בתקופות של מהפיכות טכנולוגיות; הערכת שווי שמשקפת מכפיל 40 על ההכנסות של חברה שלפי הדיווחים צפויה לגבות 3.7 מיליארד דולר השנה, ולרשום הפסד של 5 מיליארד דולר, בהחלט יכולה להיות סימן לבועה שמתפתחת סביב AI. אבל זו כנראה לא בדיוק הדרך הנכונה להסתכל על זה.
הדיווח בניו יורק טיימס אגב כלל גם תחזית הכנסות של 100 מיליארד דולר ב-2029. למרות שמי יכול לדעת מה יקרה עד אז. בראד גרסטנר, שקרן אלטימטר שהוא מנהל השתתפה בסבב ההשקעה, הצדיק את השווי הגבוה עם שקף שמראה שהצמיחה בהכנסות של OpenAI מהירה יותר אפילו מתחילת הדרך של גוגל ופייסבוק:
שימו לב שנקודת הפתיחה עבור OpenAI היא ב-2022, כש ChatGPT הושק, למרות שהחברה עצמה הוקמה ב-2015. זה כנראה עוד סימן לטרנספורמציה בתוך החברה.
ולמרות כמה הבדלים, כמו העובדה שגוגל ופייסבוק היו רווחיות בשלב הרבה יותר מוקדם, בעוד ש OpenAI עדיין רושמת הפסדים עצומים, זה ממחיש מהי תיזת ההשקעה כאן. במצבים הסתברותיים, הגישה היא לפעמים להסתכל על תוחלת. מכפילים את ההסתברות לכל תרחיש, בערך שלו, וסוכמים את הכל. בהטלה של קוביה, התוחלת של המספר שיתקבל מחושבת לפי שישית כפול 1 ועוד שישית כפול 2, וכן הלאה עד שש. אם נעשה את החישוב הזה, נקבל 3.5.
במקרה של OpenAI, התרחיש האופטימי הוא, להיות חברה גדולה כמו גוגל ופייסבוק. בשווי של טריליוני דולרים. גם אם מאמינים שיש רק 5% סיכויי הצלחה לתרחיש כזה, ו-95% סיכוי שהחברה לא תהיה שווה כלום בסוף – 5% סיכוי לתרחיש של 3 טריליון דולר נותן 150 מיליארד בתוחלת. ומה אם אתם מאמינים שיש 7% סיכוי להצלחה? או 10%? זה אולי יגרום לשווי הזה להיראות לכם כמו דיל טוב. כדאי רק להיזהר עם הערכות שווי בסגנון הזה, כי במקרה הטוב אתם תפסידו את הכסף שלכם ״רק״ ב-9 מתוך כל 10 מקרים.
התחזית של OpenAI היא להכנסות של קרוב ל 12 מיליארד דולר בשנה הבאה. הצמיחה ההייפר-מהירה הזו מביאה השווי הנוכחי למכפיל 13 על ההכנסות של 2025; זה גבוה, אבל לא רחוק ממה שהמניה של פייסבוק קיבלה בזמן ההנפקה. אז אולי זה לא מופרז. השאלה הגדולה היא האם ההצלחה של ChatGPT – שכבר עכשיו מייצר את מרבית ההכנסות של החברה, יותר מהשימוש ב API – תהיה בקנה מידה של פייסבוק.
גוגל ודיסראפשן
פול גרהאם, המקים של YCombinator ומנטור של סאם אלטמן, פרסם מאמר ב-2012 תחת הכותרת ״רעיונות סטארטאפ שאפתניים באופן מפחיד״. הרעיון השאפתני-בצורה-מפחידה הראשון שהוא תיאר שם היה, מנוע חיפוש שיתחרה בגוגל. בתחתית המאמר הופיעה רשימת תודות לאלו שקראו את הטיוטה למאמר והעירו הערות – הראשון שמוזכר שם הוא, ובכן, סאם אלטמן.
ואם לשפוט על פי ההכרזה הזו מאתמול, סאם אלטמן אכן קרא ביסודיות את המאמר:
הכרזה על ChatGPT Search
ChatGPT עכשיו יכול לחפש באינטרנט באופן הרבה יותר טוב מבעבר. אתם יכולים לקבל תשובות מהירות ועדכניות, עם לינקים למקורות רלוונטיים. זה משלב את היתרונות של ממשק שפה טבעית עם הערך של ציטוטי מניות, תוצאות ספורט, חדשות עדכניות, ועוד.
תיכף נדבר על ההכרזה הזו ביחס לגוגל; חוויית ה״חיפוש״ מבית OpenAI מזכירה חברה נוספת שטוענת לכתר הדיסראפשן-לגוגל, שגם מגייסת סבב השקעה חדש: Perplexity.ai; פרפלקסיטי התחילה מראש עם מנוע תשובות שמתבסס על מודלי שפה גדולים, וצבר פופולריות מאד מהר. הפאונדר, ארבינד סריניוואס, עבד בעבר גם בדיפ מיינד וגם ב OpenAI. כתבתי לאחרונה בטוויטר שאני באופן אישי לא מצליח להתרשם מהם, אבל אי אפשר להתעלם מהצמיחה המהירה, שהכפילה את קצב ההכנסות השנתי פי 5, ל-50 מיליון דולר. האם זה מצדיק הערכת שווי של 8-9 מיליארד דולר, שפרפלקסיטי מבקשת בסבב הנוכחי לפי הדיווחים? ובכן, לפי אותו היגיון שמאחורי השווי של OpenAI, אפשר לקחת את השווי של גוגל כפול הסיכוי שפרפלקסיטי תדיח אותה. או להשתמש ב OpenAI בתור ה comparable.
העניין הוא שזה מסוג הדברים שמביאים בסופו של דבר לבועות להיווצר. ההסתברויות שחברה אחת תדיח את גוגל היא לא בלתי תלויה בסיכוי של החברות האחרות. חיפוש, עד כה לפחות, התברר כעסק של מנצח-אחד-לוקח-הכל, ואם פרפלקסיטי תהיה זו שתדיח את גוגל, כנראה ש OpenAI לא תעשה את זה. הנה תרחיש שבו המשקיעים של OpenAI עלולים להפסיד, גם אם גוגל תודח מהפסגה בסופו של דבר.
אבל האם זה יקרה?
קצת לאחר ההשקה של ChatGPT, סאם אלטמן אמר בריאיון לבן תומפסון שאם הוא היה מנהל מונופול שבע ועצלן בתחום החיפוש, זה היה עושה אותו מודאג. וגוגל, לפי הפרסומים, באמת הייתה מודאגת בסוף 2022. החברה שממנה בכלל יצאו פריצות הדרך שאפשרו את זה, ובראשן הטרנספורמר, דגרה על מודלי השפה הגדולים שלה ואיפשרה ל OpenAI להיות זו שכובשת את העולם בסערה. זה הוביל להכרזה על code yellow בגוגל, וצוותים שעבדו מסביב לשעון כדי להשיק את בארד, שבהמשך כונה ג׳מיני. הזכרנו כמה תקלות מביכות שהיו לאורך הדרך, אבל אלו דברים שנוטים להישכח די מהר. השאלה המרתקת היא, האם גוגל תעבור דיסראפשן, ומנוע החיפוש יאבד את הדומיננטיות שלו לטובת ChatGPT או פרפלקסיטי.
דיברנו פה בעבר על ההבדלים בין Sustaining Innovation לבין Disruptive Innovation, ועל כך שגוגל משלבת תשובות מג׳מיני בתוצאות החיפוש – AI Overviews – לכלל המשתמשים בארה״ב. בניגוד לקורא הממוצע של אופטיקאי מדופלם, רוב האנשים בעולם הם לא סקרנים והרפתקניים מספיק כדי להשתמש בכלי AI חדשים; אם החוויה שהם יקבלו מגוגל תהיה טובה מספיק, הם אולי לעולם לא יגיעו לנסות אותם. יהיה צריך לבנות שם חוויה שתהיה פי 10 יותר טובה מגוגל, ושגוגל תתקשה להעתיק.
סיפרתי בעבר על מה שקרה בזמן המעבר למובייל – סגנית הנשיא שניהלה את פרוייקט ה Knowledge Panels, ואמרה לנו שלמזלה היא לא צריכה לדאוג בקשר לכסף שגוגל מרוויחה. נזכרתי בזה כשקראתי את ההכרזה הזו של גוגל לאחרונה, על כך שהצוות של ג׳מיני עובר להיות כפוף ישירות לדמיס האסביס בתור חלק מדיפ מיינד. זה סימן שכנראה גם הם לא צריכים לדאוג מההכנסות שגוגל עושה מחיפוש, ויש להם צ׳ראטר להתחרות בחברות כמו OpenAI ופרפלקסיטי באופן שחופשי מהאפקט של דילמת החדשנות. אם עשו את זה נכון, אז גם אמרו להם משפט כמו ״המשימה שלכם היא לבנות משהו טוב יותר, שיגרום לחיפוש של גוגל לפשוט רגל״.
אם לשפוט לפי התוצאות שגוגל דיווחה השבוע, זה גם לא נראה באופק, לפחות בינתיים. סדקים בהכנסות מחיפוש זה מה שאנליסטים מחפשים בכל רבעון מאז ההשקה של צ׳אט ג׳יפיטי, אבל גם שנתיים לאחר מכן – ההכנסות האלה עדיין צומחות בקצב דו-ספרתי, ושולי הרווח מתרחבים. גוגל דיווחו שהעלויות של AI Overview צנחו ביותר מ-90%, ושהפרסומות שהחלו להציג לצד AI Overviews משיגות ביצועים טובים (לסיכום של עבדאללה אל-רזואן לאחר הדו״ח האחרון של גוגל).
זה נכון שדיסראפשן יכול לקחת הרבה זמן, ושנתיים זה פרק זמן יחסית קצר; ChatGPT צומח מהר והופך למותג שמקושר בתודעה של הרבה משתמשים עם AI וחדשנות. אז אולי יש שם פוטנציאל אמיתי. מצד שני, זה גם היה המצב של מוצרים כמו יאהו או אמריקה אונליין או נטסקייפ בסוף שנות ה-90׳; אבל למרות שהחברות האלה נהנו מכמויות המשתמשים האדירות, צמיחה מהירה, ופרסום נרחב – הן לא שרדו הלאה לשלב האינטגרציה של ה web. אז גם OpenAI, למרות ההצלחות המרשימות, עלולה לא להמשיך איתנו כששלב הבגרות של AI יגיע.
לסיפור של נטסקייפ אפשר למתוח לא מעט קווי דמיון – בזמן שביל גייטס היה עסוק בחזון אוטוסטרדת המידע וניסיון לבנות מערכת הפעלה אינטראקטיבית לטלוויזיה בכבלים, הדפדפן שמארק אנדריסן בנה הופיע משום מקום והיה זה שהביא את ה world wide web אל ההמונים; זה מזכיר את גוגל בזמן ש ChatGPT הופיע. בזמנו ביל גייטס הצליח להתעשת בזמן, ואינטרנט אקספלורר מינף את יתרונות ההפצה של מיקרוסופט ווינדוס כדי לרסק את נטסקייפ5. האם עכשיו, כשגוגל נכנסים לזירה ברצינות, ג׳מיני יהיה המקבילה של אינטרנט אקספלורר? מצד שני, בגזרת הליטל-טק, הסטארטאפים בסיליקון ואלי, למדו כמה לקחים מאז 1997.
או שאולי בכלל יהיה פה עוד סיפור בסגנון הלקח המר. תגיע עוד פריצת דרך מפתיעה שתגמד את הביצועים של מודלי השפה הגדולים וטרנספורמרים, ותטרוף מחדש את כל הקלפים? משהו שיגרום גם ל-ChatGPT וגם לג׳מיני לאבד רלוונטיות, לטובת דברים חדשים שרובנו עדיין אפילו לא מדמיינים. כמו מהלך 78 של לי סדול מול אלפא גו.
תודה שקראתם את הרהורי יום שישי שלי השבוע!
המהדורה תהיה זמינה בתור פרק באופטיקאסט בתחילת השבוע הבא.
אתם מוזמנים גם לעקוב אחריי בלינקדאין, וואטסאפ, טוויטר או פייסבוק. ואם עדיין לא נרשמתם לבלוג - אפשר לעשות את זה כאן כדי לקבל את הניוזלטר בכל יום שישי בבוקר ישירות למייל:
גילוי נאות: לונג אלפאבית
תזכורת: הבלוג הזה הוא למטרות לימודיות בלבד. אין לראות באמור לעיל ייעוץ השקעות. מסחר במניות מלווה בסיכונים רבים. אנא קראו את הדיסקליימר המלא כאן.
אי אפשר שלא לציין את הביקורת סביב הענקת פרס נובל בפיזיקה על ההתפתחויות ברשתות נוירונים: https://fortune.com/2024/10/10/controversy-ai-pioneer-geoffrey-hinton-nobel-prize-tech/
ראוי לציין גם את AI21 הישראלית, שהשיקה את המודל Jurrasic-1 ב-2021, והיה נחשב בזמנו ל state of the art.
יש דיווחים על כך ש OpenAI דורשת מהמשקיעים שלה לא להשקיע בחברות מתחרות, שסאם אלטמן קיבל או לא קיבל מניות בחברה לאחר הגיוס, על הסיבוכים במעבר לחברה למטרות רווח סביב אחוז הבעלות של מיקרוסופט בחברה החדשה. לא התייחסתי לדברים האלה במהדורה הנוכחית, אבל אפשר למצוא ניתוח מצויין בניוזלטר של מאט לוין.
חשוב לציין שמיקרוסופט נמצאה אז אשמה בהפרה של חוקי ההגבלים העסקיים בגלל שאילצה OEMs שמכרו מחשבים אישיים לשלב את הדפדפן שלה יחד עם מערכת ההפעלה. זו לא אנלוגיה ישירה למצב הנוכחי של גוגל, אבל החברה אכן עסוקה במשפטי הגבלים עסקיים סביב מוצרי החיפוש והפרסום שלה, מה שבקווים כלליים יכול גם להזכיר את הסיפור של מיקרוסופט בשנות ה-90.
נהדר!
את הרוב ידעתי ועדין כל כך נהנתי, שקראתי הכל... :)
מושלם. שאפו ענק