מהדורה 101: דברים קורים בטק, צ׳ארלי מאנגר ומכונות למידה, עקומת הסמיילי של טוויטר, גיטהאב לרעיונות, מיקרוסופט אקסל 1990
״אני רואה בעקביות אנשים מצליחים בחיים שהם לא החכמים ביותר, ולפעמים אפילו לא החרוצים ביותר. אבל הם מכונות למידה. הם הולכים לישון כל יום קצת יותר חכמים ממה שקמו בבוקר.״
שוב יום שישי. ארבעת השבועות שבהם לא התפרסמה מהדורה, נתנו לי הזדמנות להרהר במה שאני רוצה לעשות עם מאה המהדורות הבאות. בסתיו האחרון החלטתי לאחד את הרהורי יום שישי עם אופטיקאסט, אבל לא התלהבתי מפרקים שממש הרגישו כמו הקראה, ואחרי שלושה כאלה - שיניתי כיוון והפכתי את הרהורי יום שישי לפוסט ארוך שמתמקד בחברה או טכנולוגיה אחת. משהו שמרגיש יותר כמו הפרקים הישנים והטובים של אופטיקאסט.
אבל הגעתי למסקנה שהרהורי יום שישי משרתות מטרות שונות מאשר הפודקאסט. המהדורות שהתמקדו בניתוח שלל העסקים של אמזון, או בסיפור של מטא, או באנרגיה גרעינית או קריפטו – באו על חשבון המנגנון הותיק שאיפשר לי לצבור אוסף סמי-אקראי של רעיונות וסיפורים שמעניינים בעיניי. דברים שאני יכול, במבט לאחור, לחבר ביניהם את הנקודות ולארוז לפרק מעניין בפודקאסט. ובכנות, גם היה לי קשה לייצר פרק מלא שצולל לעומק של נושא ספציפי (כמו ההיסטוריה של מטא או של deep learning) מידי שבוע.
אז ההחלטה שלי היא לפצל שוב: הרהורי יום שישי יחזרו למה שהם תמיד היו - מסע של גילוי וסקרנות, ללא תכנון, ללא קווים מנחים.
פידבק שקיבלתי מהרבה מכם עזר לי להבין שהרהורי יום שישי מילאו עוד תפקידים; חלקכם נעזרו בהם כדי להישאר מעודכנים עם מה שקורה בטק ופיננסים, ואני מודה שגם אני לפעמים הרגשתי שאני ״חייב״ לכתוב על איזה השקה או מניה שנפלה או אירוע שבדיוק קרה וכולם מדברים עליו. אבל, במבט לאחור, כשעבדתי על סיכום 2024, שמתי לב שאלו גם היו סוג הדברים שהכי פחות נהניתי לקרוא שוב. הרבה פעמים מדובר בידע זמני, בר-חלוף, עם מעט משמעות ותאריך תפוגה קצר. ״צ׳אלופה״, קראתי לזה במהדורה 67.
אז אני מתכנן שהמהדורות יתמקדו פחות בדברים שקרו לאחרונה, ויותר בדברים שיהיה מעניין ורלוונטי לקרוא גם במבט לאחור אחרי שנה או יותר. זו בעצם הייתה מטרה שהצהרתי עליה כבר במהדורה מספר 1 (The Never Ending Now). לא מדובר בפוסט ארוך או פרק קלאסי של אופטיקאסט. אפשר להאזין להקלטה של המהדורה — ראו למעלה — אבל לא מדובר בפרק של אופטיקאסט; זוהי רק הקראה את המהדורה.
בפודקאסט אני מתכנן לנסות כמה כיוונים שונים בתקופה הקרובה. ולמעשה, שני פרקים באופטיקאסט כבר התפרסמו מאז המהדורה הקודמת של הרהורי יום שישי:
תודה שוב לכל מי שכתבו לי ושיתפו במחשבות לגבי הבלוג, תודה על ההמתנה שלכם בזמן ההפסקה, ולסבלנות שלכם לכל הטוויקים והטינקרינג שאני עושה בפורמט. קדימה למהדורה מספר 101 -
דברים קורים בטק
הנה סיכום – קצר ומתוק (ברוח הפורמט המעודכן של הבלוג) – של דברים שקרו בסצינת הטק וה-AI בשבועות האחרונים. על חלק מהם אולי נתעכב במהדורות הבאות:
בנובמבר, הצטברו דיווחים על כך שההתקדמות בבינה מלאכותית נתקעה בקיר. איליה סוצקבר הסביר שזהו סוף העידן שבמהלכו היה אפשר לקבל ביצועים טובים יותר, כתוצאה מהגדלה של כמות הדאטה, מספר הפרמטרים, ומשך האימון של המודל. אבל, כפי שרוהיט קרישנן הסביר, זה לא אומר שאין דרכים אחרות להתקדם. מה שנראה מבטיח כרגע הוא הקצאת כח חישוב רב יותר במענה על שאילתא. דיברנו על זה במהדורה 92 לאחר השקת המודל o1 של OpenAI, ודאג או׳לופלין פרסם פוסט שניתח את ההשלכות הכלכליות של הגישה הנוכחית; משמעות אחת היא סוף עידן העלות השולית האפסית של חברות האינטרנט, מה שהוביל אותו לקבוע, בפוסט התחזיות שלו ל-2025, שתיאוריית האגרגציה איבדה את הרלוונטיות שלה. בן תומפסון ניתח את האמירה הזו בפרק האחרון של שארפ טק.
OpenAI ערכה 12 ימים רצופים של השקות, כולל הכרזה על מודל o3 (גרסה מתקדמת יותר של o1, מהדורה 92), מנוע חיפוש, והכלי Sora ליצירת סרטוני AI. גוגל השיבה בסדרת השקות משלה, ולפחות בחור אחד בטוויטר חשב שזה היה מרשים יותר מאשר OpenAI. ספציפית, Veo2, כלי ליצירת וידאו מבית גוגל, נראה לפחות רמה אחת מעל Sora, הכלי המקביל מבית OpenAI, שכנראה כבר לא יזכה לרלוונטיות. ChatGPT לעומת זאת, נשאר החזית העיקרית בו OpenAI מנסה לאתגר את מנוע החיפוש של גוגל – ״גוגל היא רשמית ה ask jeeves של 2024״, סם אלטמן צייץ השבוע, אבל אני מודה שאני עדיין לא משתכנע (שיתפתי במחשבות שלי לגבי זה במהדורה 95). בן תומפסון פרסם ניתוח משלו בחודש שעבר.
ג׳נסן הואנג, מנכ״ל אנבידיה, הציג שורה של הכרזות משלו בהרצאה שנתן בכנס CES השבוע; הראשונה נגעה למעבדים גרפים עבור משחקים – המוצר הראשוני שאיתו החברה התחילה את דרכה – שבסגירת מעגל מרשימה, משלבים בדור האחרון את יכולות ה AI שהחברה מייצרת. הואנג גם הכריז על מוצר חומרה חדש – Digits – שמכיל את מעבד ה Blackwell החדש של החברה, ומאפשר, בעלות של $3,000, להריץ ״מחשב AI״ מקומי בכל בית. עוד הכרזה דרמטית נגעה לרובוטים מבוססי AI: ״רגע ה ChatGPT של רובוטיקה נמצא ממש מעבר לפינה״. התחזית של ג׳וש בראון היא שמניות של חברות רובוטים יהיו הפרנזי הבא.
השבוע לפני ארבע שנים, מארק צוקרברג היה הראשון לגנות את דונלד טראמפ על מהומות ה-6 בינואר, ולחסום את החשבון שלו בפלטפורמה (מהדורה 62); ארבע שנים מאוחר יותר, צוקרברג (או: צוקר-שמוק, כפי שטראמפ כינה אותו לפני שנה) הכריז על שורה של הקלות בנוגע לפיקוח על תוכן וחופש הביטוי בפלטפורמה. המהלך העיקרי הוא ההחלפה של צוותי בדיקת-העובדות והצנזורה של מטא, במנגנון community notes כפי שיש בטוויטר. אני דווקא אוהב את זה, והסברתי במהדורה 59 למה המנגנון הזה, שמתבסס על הנחות של האינטרנט, הוא רעיון הרבה יותר אפקטיבי מהוועד המפקח החיצוני במטא. אני ממליץ לצפות בסרטון המלא של צוקרברג, ולקרוא את פוסט שבן תומפסון כתב עליו השבוע. זה מעניין איך שהמטוטלת נעה מקצה אחד לשני.
תוכנה אוכלת את ה S&P 500. ההוצאה על AI הופכת לחלק משמעותי מהתל״ג בארה״ב. מיקרוסטרטג׳י נסחרת בפרמיה של 150% לערך הביטקוין שהיא מחזיקה, וסוחטת את הארביטראז׳. אנשים ממש רוצים לקנות מניות של SpaceX. עורכי הדין של OpenAI ומיקרוסופט הצליחו להגדיר AGI.
צ׳ארלי מאנגר ומכונות למידה
רכישה של חוכמה היא חובה מוסרית. זה לא משהו שאתם עושים רק כדי להתקדם בחיים. ויש עיקרון מאד חשוב שנובע מזה. זה אומר שאתם מחוייבים בלמידה לאורך כל החיים. ללא למידה לאורך כל החיים, אתם לא תצליחו במיוחד.
זה קטע מתוך הנאום הנפלא של צ׳ארלי מאנגר בטקס סיום לימודי משפטים באוניברסיטת דרום קליפורניה, 2007. הוא מאד מעורר השראה בעיניי, וממנו נלקחה המשימה של הבלוג, ללכת לישון כל יום קצת יותר חכם ממה שקמתי.
תחשבו על ברקשייר האת׳אוויי, אחת החברות הכי מוערכות בעולם. ייתכן שיש לה את הרקורד לטווח ארוך של השקעות בנכסים גדולים הכי טוב בהיסטוריה של הציביליזציה. הכישורים שסייעו לברקשייר להצליח בעשור אחד לא הספיקו כדי להצליח באותה רמה בעשור שלאחר מכן. וורן באפט היה חייב להיות מכונת למידה מתמדת.
אותה דרישה קיימת בכל המקצועות בחברה. אני רואה בעקביות אנשים מצליחים בחיים שהם לא החכמים ביותר, ולפעמים אפילו לא החרוצים ביותר. אבל הם מכונות למידה. הם הולכים לישון כל יום קצת יותר חכמים ממה שקמו בבוקר. ו, אוי, כמה שההרגל הזה עוזר, בעיקר כשיש לכם מסלול ארוך לפניכם.
[...] תחשבו שוב על וורן באפט. אם הייתם עוקבים אחריו עם שעון עצר, הייתם מוצאים שחצי מהזמן שהוא ער מוקדש לקריאה. חלק גדול משאר הזמן שלו מוקדש לשיחות אחד-על-אחד, בטלפון או במפגש אישי, עם אנשים מוכשרים מאד שהוא סומך עליהם והם סומכים עליו. כשמסתכלים מקרוב, וורן באפט נראה כמו אקדמאי בזמן שהוא משיג הצלחה עולמית.
בהמשך, מאנגר מספר על אקדמאי בפקולטה לרפואה בשם ד״ר ג׳וסף מירה. הוא החליט לכתוב ספר, שבו יתעד את הידע שצבר על גידולי עצם במשך שנים של עבודה יסודית. למרות שספרים מהסוג הזה לא מוכרים הרבה עותקים (ולא עושים למחבר יותר מדי כסף), הם כן נוטים להגיע למרכזי טיפול בסרטן ברחבי העולם. ד״ר מירה לקח שנת שבתון, שבמהלכה עבד ביסודיות על הספר במשך 17 שעות ביום, 7 ימים בשבוע. ״גם כן שבתון״, מאנגר העיר, אבל התוצאה היא אחד משני הספרים הכי טובים בעולם על פתולוגיה של גידולי עצם. ״כשאתם נתקלים באנשים עם ערכים כמו של מירה, אתם רוצים לספוג כמה שאתם רק יכולים״, מאנגר מסכם.
זה סיפור מאד מעורר השראה בעיניי.
אני לא חושב שיש לי, בתחום כלשהו, מומחיות שקרובה לזו של ד״ר מירה בפתולוגיה של גידולי עצם; אבל - אני יכול להזדהות עם החלק בסיפור שבו הוא הקדיש כמות אדירה של זמן וריכוז ומאמץ, כי הוא מצא נושא שעורר בו כל כך הרבה עניין ותחושת שליחות עד כדי כך שעבד עליו 17 שעות יום במהלך שנת השבתון שלו בלי לצפות לתגמול כספי משמעותי.
ואני יותר בר-מזל מד״ר מירה, שעבד על הספר שלו בשנות ה-80, לפני האינטרנט; כתיבה של בלוג שבועי באינטרנט מאפשרת לשבור לחתיכות הרבה יותר קטנות את התהליך של כתיבת ספר. זו דרך כל כך הרבה יותר אפקטיבית בעיניי להתקדם במסע של צבירת ידע והבנה וחוכמה. לסכם רעיונות קטנים, להבין איך הם נבנים על רעיונות קודמים, לשתף בהם. לקבל פידבק. להמשיך לצעדים הבאים. שנתיים וחצי לתוך התהליך הזה, אני כנראה יכול להסתכל אחורה ולהרכיב ספר מדברים שהופיעו בבלוג לאורך הדרך (אבל אני גם לא צריך, הבלוג נמצא באינטרנט, וזמין לכל מי שיתעניין). מעניין איך ״שנת השבתון״ של מירה הייתה נראית היום, אם היה יכול לכתוב בלוג, עם רופאים וחוקרים שעוקבים אחריו באופן שוטף.
התכנית הנוכחית שלי למהדורות הרהורי יום שישי הבאות לוקחת השראה מסיפור הספר של ד״ר מירה, בשילוב עם היכולת שהאינטרנט מאפשר, לפרק לצעדים קטנים את התהליך המורכב של גיבוש וכתיבת הרעיונות.
עקומת הסמיילי של טוויטר
מה שמצחיק זה, שהשרשור המג׳ונרט שהכעיס אותי, והתבסס על פרק 40 באופטיקאסט (עקומות סמיילי), בעצם ממחיש מצויין את מודל עקומות הסמיילי לגבי תוכן בטוויטר!
אבל אקח קודם כמה צעדים אחורה כדי להסביר. עוררתי סערה קטנה בטוויטר לאחרונה, כשהתלוננתי על הגיאות בשרשורים שמרגישים כאילו AI ג׳ינרט אותם, בצורה שתעשה אופטימיזציה למשיכה של טראפיק, אבל אין בהם ממש תוכן. דברים מסוג ״העצות הכי חשובות של פיטר לינץ׳, הפורטפוליו שלכם עלול להיות בסכנה אם לא תקפידו על עצה מספר 4״. אני ממש לא אוהב את זה - לא לכתוב אותם, לא לקרוא אותם, ולא את העובדה שהמשקולות באלגוריתם של טוויטר מקדמים את החשיפה שלהם, מה שדוחף אנשים לעשות יותר ויותר מהם.
משהו שתיסכל אותי השבוע היה, לראות שרשור מג׳ונרט מהסוג הזה, על עקומת הסמיילי. הנושא של פרק 40 באופטיקאסט. אלא שהשרשור אפילו לא העתיק את הרעיונות מהפרק, אלא החריב אותם. היה מדובר בגיבוב לא קוהרנטי של אמירות שגויות. (אני בכוונה לא מצרף לינק כדי לא לתת לזה טראפיק).
אבל מה שאירוני הוא, שזה בדיוק ממחיש את אפקט עקומת הסמיילי ש-AI יצר על טוויטר; זה עוקב אחרי אותה תבנית שהצגתי בפרק 40 של אופטיקאסט, כש-AI מגיע לתעשיות שונות: נוצרה כמות אדירה של תוכן מג׳ונרט באיכות ירודה בקצה אחד שלה, ובקצה השני - מודגשת עוד יותר הייחודיות של מישהו כמו איתי צישנבסקי1, שכותב שרשורים מעמיקים ואיכותיים, שעוזרים לי באמת להבין הרבה דברים.. כל מה שבאמצע – כאלו שמדי פעם כתבו שרשור, פה ושם, לא סופר השקיעו, או על משהו שהם רק חלקית מבינים – יתקשה מאד להשיג טראפיק בעידן שבו תוכן שיוצר על ידי AI שוטף את טוויטר.
זה ממש מזכיר את עקומת הסמיילי שהבינה המלאכותית יצרה בתעשיית התרגום (מהדורה 38): בקצה אחד, מתרגמים מומחים למשימות קריטיות ורגישות עם אפס סובלנות לטעויות; בקצה השני - מתרגמים יעילים שמתמחים בעבודה היברידית עם כלי AI, מתקנים כמה טעויות וממשיכים הלאה, לא מתעכבים על ליטושים, יכולים לתרגם כמות מילים גדולה בפרק זמן קצר. מתרגמים שהיו בין שני הקצוות האלה – לא בהכרח מומחים לנושא מסויים, אבל גם מתקשים להסתגל לייצור של נפח עבודה גדול באיכות ירודה – מתקשים להתפרנס מאז ש AI התפשט בתעשיה.
גיטהאב של רעיונות
ואולי בעצם הגזמתי? אני מדבר כמובן על הטוויט שהסעיר אותי בחלק הקודם: מה הבעיה שמישהו יכתוב שרשור על משהו שדיברתי עליו בפודקאסט. אין לי בעלות על הרעיון הזה. אני גם קראתי עליו בפוסט ישן של בן תומפסון. שבעצמו נשען על ציטוט ישן של מנכ״ל אייסר בשנות ה-90.
אבל זו בדיוק הנקודה.
בן תומפסון ציטט קונספט שמופיע בויקיפדיה. ואז הרחיב אותו. הוא הוסיף עוד תובנה. הראה איך הרעיון הזה בא לידי ביטוי בעוד תעשיה: העיתונות והתוכן, בעידן האינטרנט. אני לקחתי את ההרחבה הזו של בן תומפסון – ציטטתי אותו, נתתי לו קרדיט, הוספתי לינק לבלוג שלו – ואז, השתמשתי בקונספט הזה כדי לתאר גם את עקומת הסמיילי שנוצרת בתעשיות כש AI מגיע אליהן.
אני מאד אוהב את המודל הזה של רעיונות שנבנים אחד על גבי השני!
זה קצת כמו פרוייקט open source, רק במקום לתוכנה – לידע. לרעיונות. האינטרנט איפשר לפרק את האופן שבו מפתחים פרוייקטי תוכנה מורכבים. במקום מונולית׳ אחד ענק וסבוך, הרבה שירותים וחבילות קטנים יותר, שנבנים אחד על גבי השני, באמצעות שיתוף פעולה באינטרנט. זה מה שהיה מדהים כש Github הושק ב-2008, ובסופו של דבר גם הפך לפלטפורמה המובילה שמנהלת את גרסאות הקוד הפנימיות של ארגונים.
לפני עשור, טוויטר באמת היה עבור הידע האנושי, כמו שגיטהאב הוא עבור חבילות תוכנה. במהדורה 50 הזכרתי כדוגמא את הימים המוקדמים של קוביד: רופאים וחוקרים מרחבי העולם שיתפו בממצאים לגבי הוירוס, וניסו להבין אותו ביחד. עוד לפני שהממשל הפדרלי בכלל הכיר בזה שהוירוס הגיע לאמריקה.
הזכרתי במהדורה 59 מאמר של בן תומפסון מ-2014 (וכמובן נתתי לו קרדיט והוספתי לינק לבלוג שלו), שבו הוא מסביר שתוכן בטוויטר התפלג אז בצורה של power-law: יש כמות של תוכן סופר איכותי בשורה של נושאי נישה, ואז זנב ארוך של תוכן ברמה הולכת ויורדת (עד שמגיעים לזבל מוחלט).
אח, איזו תקופה מדהימה זו הייתה!
זה חוזר לקטע של מאנגר למעלה, על החובה המוסרית של קידום הידע האנושי: בשנות ה-1980, ד״ר מירה היה צריך לשבת לבד בחדר, 17 שעות ביום, 365 ימים, כדי להפיק ספר מדהים בתחום ההתמחות שלו, ולהפיץ את הידע שצבר. לו רק הייתה לו גישה לטוויטר של 2014, שנת השבתון שלו הייתה יכולה להיראות אחרת לגמרי. היו יכולות להיות לו דרכים כל כך הרבה יותר אפקטיביות (ומתגמלות) לשתף וללמוד ולקדם את הידע האנושי בתחום שלו.
מה שקרה מאז 2014, עם הגעת ה-AI (וכנראה גם עדכוני משקלים באלגוריתם של טוויטר), הוא שכמות הטראפיק של תוכן ״זבל״ – שרשורים מג׳ונרטים ריקים מתוכן – שמופיעים בקצה הימני של העקומה של בן תומפסון, גם זינקה לשמיים. כך מתקבלת עקומת הסמיילי שהזכרתי בחלק הקודם.
במהדורה 64 הקבלתי את זה ל״עמק האבק״, התקופה שבה, לאחר הופעת הטרקטור, המכונות פגעו בשכבה העליונה של הקרקע ויצרו סופות חול איומות שהפכו איזורים שלמים בארה״ב – שקיימו חקלאות פוריה קודם לכן - – לבלתי ניתנים למחיה. זה קצת – בתחושה שלי לפחות – מה שכל התוכן המג׳ונרט עושה לטוויטר: סופת אבק מחניקה ומתסכלת, שמדכאת כל תקווה להפריה וצמיחה. אבל, אם החקלאים של שנות ה-1930 הצליחו בסופו של דבר להתגבר על התנאים האיומים שנוצרו ב״עמק האבק״, גם אנחנו, חקלאי הרעיונות שמנסים להצמיח את הידע הקולקטיבי, נצליח, בסופו של דבר, להתמודד עם שטף התוכן המג׳ונרט בטוויטר.
רק בבקשה, אם אתם מג׳נרטים שרשורים על פרקים של אופטיקאסט, תקראו אותם קודם כדי לוודא שלא מדובר בגיבוב של שטויות. יהיה נחמד להוסיף גם איזה hat tip ולינק לפודקאסט.
מיקרוסופט אקסל, 1990
זה מיקרוסופט אקסל.
תחזיק חזק, אני עומד לחולל נס.
זה מעניין לראות, 35 שנים אחר כך, איזה פיצ׳רים היו נחשבים לשומטי לסתות בפרסומת הזו מ-1990 למיקרוסופט אקסל; דברים כמו auto-fill, שמאפשר לגרור כמה מספרים ככה שהתוכנה תמלא את שאר הטבלה, או חישוב אוטומטי של סכום לפי עמודה או שורה, או שינוי פורמט ממספר לסכום כספי. או להזיז טבלאות שלמות על פני הגיליון. דברים שמרגישים כל כך מובנים מאליהם היום, אבל ב-1990 היה אפשר למלא איתם פרסומת שמדגימה איך, בעזרת אקסל, אפשר לעשות בתוך 60 שניות במעלית בדרך לפגישה, עבודה של הכנת גיליון נתונים שהייתה דורשת סופ״ש שלם לפני כן.
בהקשר לגל ההכרזות שהזכרתי בתחילת המהדורה – מעניין לחשוב איזה מההשקות האחרונות של OpenAI, או גוגל, או אנבידיה – שנראות mind-blowing כיום – יהפכו, בעוד 35 שנים, לדברים מובנים-מאליהם שרובנו משתמשים בהם על בסיס קבוע.
ואולי יהיה אפשר להזכיר אחת מהן בסגמנט, דומה לזה, בפלטפורמת הבלוקצ׳יין-AI-מטאוורס, או מה שזה לא יהיה, שעל גביה ״אופטיקאי מדופלם״ יתפרסם בשנת 2060.
תודה שקראתם את הרהורי יום שישי שלי השבוע!
אתם מוזמנים גם לעקוב אחריי בלינקדאין, וואטסאפ, טוויטר או פייסבוק. ואם עדיין לא נרשמתם לבלוג - אפשר לעשות את זה כאן כדי לקבל את הניוזלטר בכל יום שישי בבוקר ישירות למייל:
תזכורת: הבלוג הזה הוא למטרות לימודיות בלבד. אין לראות באמור לעיל ייעוץ השקעות. מסחר במניות מלווה בסיכונים רבים. אנא קראו את הדיסקליימר המלא כאן.
ציינתי את איתי כדוגמא לכותב בטוויטר עם סגנון ייחודי ואיכותי שאני לומד ממנו הרבה; כמובן שהוא לא היחיד ויש עוד מוצלחים ונהדרים אחרים.
היי!
ראשית אגיד שאני מאוד נהנה מהכתיבה שלך אז תודה רבה!
שנית, לדעתך אם באמת רובוטים יהיו הפרנזי הבא?
אילו חברות ירוויחו מזה?
Boaton Dynamics לא נסחרת....
בכל פורמט וצורה אני קורא בעניין.
העיקר שאתה ממשיך לכתוב...
טוב שחזרת מההפסקה :)