רק לי נמאס שכל הזמן, בכל מקום, דוחפים את ה AI במורד הגרון ?!

[hans]

טרנדים זה טרנדים. אף אחד לא מחייב אותך לצפות בפרסומות או לקרוא עיתונים. כמו ה"צורך להתעצבן". אין כזה דבר. אתה לא חייב להתעצבן מכלום.

 

עכשיו - קפיצה נחשונית לצד ה**מעשי** של ה-AI - מדובר במהפכה בסדר גודל של המצאת האינטרנט, ואף יותר, עם השלכות שאנחנו רק מתחילים לדמיין.

אישית אני מלמד את הילדים להשתמש בזה (עם הדרכה ותשומת לב) כי זה לא ייעלם לשום מקום, בדיוק כמו שחשמל כאן בשביל להישאר. או אוכל בסופר. פעם לא היה אוכל בסופר.

 

ועל הדרך הילדים מלמדים אותי, כי הם הרבה יותר יצירתיים ממבוגרים בשאלות שלהם

 

בעבודה אני נעזר ב-ai להשלמת הקלדה ולשאלות syntax. כרגע עדיין בשלב ביניים של ללמוד איך לתקשר עם הדבר הזה (זה יכול להיות מתסכל בטירוף בהתחלה) אבל אין לי ברירה - לפני שהכלי הזה יחליף אותי אני צריך להפוך להיות המומחה לשימוש בו.

 

עריכה:

והכי חשוב: אני מלמד את הילדים לא להתעצבן מחדשות!

עריכה אחרונה ב-24 במרץ על ידי hans

[falou]

לפני 7 דקות, ברווז כתב:

אתה, אני, כל אחד- יכול לשנות את דעתו אם מציגים לו מידע חדש. צ'יפופו, לא ממש יכול לעשות את זה...

 

בהחלט יכול. הוא לומד מה שאתה מזין, אתה יכול להגביל את מקורות היידע שלו... אתה באמת לא מבין בתחום, אז קצת צניעות ופחות החלטיות.

ל-AI אין דעה. הוא חוזר על תבניות.

גם אתה מקיים אשליה שהדעות שלך הם שלך, אבל הן לרב חזרה על תבניות.

לפני 20 דקות, zaf כתב:

זה בדיוק - מידע ולא ידע.

 

 

וואלה.

כשאתה אומר לנסח את מה שכתבת, אבל באנגלית ויקטוריאנית, זה מידע או יידע?

[hans]

לפני 1 דקה, falou כתב:

גם אתה מקיים אשליה שהדעות שלך הם שלך, אבל הן לרב חזרה על תבניות.

לגמרי! האשלייה בסך הכול צפה יותר חזק עכשיו...

[GTאי]

לפני 17 דקות, falou כתב:

ל-AI אין דעה. הוא חוזר על תבניות.

 

הוא מנתח תבניות ופועל בהתאם לניתוח שלו, ולכן ככל שהניתוח שלו שגוי והוא מייצר מסקנות שגויות והמשתמש חווה אותם כ"דעה" של ה AI. 

אז אולי ברמה התחבירית "דעה" זו מילה לא נכונה, אבל בשימוש יומיומי זה לחלוטין משהו שתיתקל בו

עריכה אחרונה ב-24 במרץ על ידי GTאי

[SlowRide]

מה לעשות שזה תחום מתפתח שיש לו השפעה על הרבה דברים?

לפני 100 ומשהו שנה המציאו את המכונית כדי שלא תצטרך ללכת. ואז המציאו לה גיר אוטומטי כדי שלא תצטרך להעביר הילוכים. אחרי זה המציאו לה בקרת שיוט כדי שלא תצטרך ללחוץ על הגז כל הזמן. אחרי זה המציאו לה מערכות שבולמות לבד כדי שלא תעשה תאונות. עוד מעט יוסיפו לה בינה כדי שהיא תוכל לחשוב במקומך איך לנסוע.

בסוף הטכנולוגיה תשחרר אותנו מכל המטלות, כולל חשיבה.

השאלה מה נעשה אז כדי לשלם מיסים.

[falou]

לפני 27 דקות, GTאי כתב:

הוא מנתח תבניות ופועל בהתאם לניתוח שלו, ולכן ככל שהניתוח שלו שגוי והוא מייצר מסקנות שגויות

 

שזו דרך נאה לתאר גם איך בני אדם חושבים 

 

כשאתה מסביר, למשל, למה כדאי לקחת חיסון קורונה, אתה מבין באמת למה אי שאתה חוזר על תבניות ששמעת? 

[sperial]

@falou אני לא טוען שהחשמל או האוטומציה או האינטרנט לא היו מהפיכות (אגב, אני מספיק זקן כדי לזכור עולם בלי אינטרנט, ואפילו רדיו על למפות). מה שרציתי לציין הוא שכל אירוע כזה הופך לסיסמת פירסום, בין אם רלוונטי ובין אם לא.

[borsood]

לפני שעתיים, דובצע כתב:

בגמרא אסור להדפיס עם צורת דף שונה-כי כשפתוח לשינויים זה מה שקורה בסוף

ומה עשו לפני האלמנה והאחים ראָם?

ראית פעם דפוסים ישנים? שלא לדבר על כתבי יד של הגמרא...

החלוקה לפי עימוד דפוס ראָם היא בגלל נוחות בלבד ואין בה קדושה.

כמו חלוקת התנ״ך  לפרקים שנעשתה בכלל ע״י נוצרים.

 

[Doron_Z]

הנושא הזה יהיה ממש מצחיק עוד 5-10 שנים והוא הולך להזדקן ממש ממש רע, כמו למצוא כתבה ישנה בעיתון בשנות ה 90 שלא מבינה מה הביג דיל של האינטרנט הזה. הנושא הזה כנראה הולך להיות אפילו יותר נאיבי ומיושן בעתיד.

[malcishua]

לפני שעתיים, zaf כתב:

זה בדיוק - מידע ולא ידע.

הכלים האלה יעילים מאד בכל הקשור לסידור והצגת מידע על בסיס חוקים מוגדרים.

כלי ניסוח, תרגום ובניית טקסט ״מכירים״ את כל הכללים הדקדוקיים שממילא מהווים ״סט סגור״ . לכן ככל שיש לנו כח מחשוב חזק יותר האלגוריתמים יכולים לייצר תשובות במהירות במסגרת אותם כללים. 

לפני שעתיים, GTאי כתב:

הוא מנתח תבניות ופועל בהתאם לניתוח שלו, ולכן ככל שהניתוח שלו שגוי והוא מייצר מסקנות שגויות והמשתמש חווה אותם כ"דעה" של ה AI. 

אז אולי ברמה התחבירית "דעה" זו מילה לא נכונה, אבל בשימוש יומיומי זה לחלוטין משהו שתיתקל בו

 

זה ממש, אבל ממש לא איך שהוא עובד.

 

מודל שפה גנרטיבי לא מנתח שום דבר. אין לו שום ״חוקים״ או דקדוק שהוא פועל לפיהם, והוא לא מייצר שום ״מסקנה״. למעשה, ״חוקים״ או ״דקדוק״ הם ההפך הגמור מאיך שהוא פועל (המודלים האלה גם עושים עדיין לא מעט טעויות דקדוקיות, במיוחד בשפות פחות נפוצות כמו עברית). מודל כזה הוא חיה סטטיסטית לחלוטין, וכל מה שהוא עושה ברמה הפרקטית הוא - לנחש, מבחינה סטטיסטית, מה הכי סביר שתהיה המילה הבאה. זה הכל. לא מנתח, לא מביע דעה, לא מאחזר אינפורמציה. רק מייצר טקסט, מילה אחרי מילה.

 

הסוד טמון, כמו תמיד בתחום הזה (של למידת מכונה), בשני דברים עיקריים: הארכיטקטורה של המודל (או למעשה, בשורה התחתונה, במספר הפרמטרים שמייצגים אותו, מה שקובע בגדול את רמת המורכבות שלו), ובאופן האימון שהוא עבר. המודלים האלה הם לעשה פונקציה מתמטית מורכבת ועצומה, שמקבלת כקלט חלון טקסט בגודל מסוים (ככל שהמודל יותר גדול ומוצלח, הוא יכול ״לבלוע״ יותר טקסט) ומוציאה כפלט - שערוך (ניחוש מבוסס חישובי הסתברות) של מה המילה הבאה בטקסט שהזינו לה. מודלים מודרניים (החל מ-ChatGPT ואילך) מאומנים בשני שלבים - יש הרבה פרטים טכניים, יוריסטיקות וכו׳ אבל בגדול זה נכון לכולם:

 

1. השלב הלא מפוקח - בו פשוט מאכילים את המודל כמויות עצומות (אבל באמת עצומות, בלתי נתפסות) של טקסטים, אומרים לו לחזות בכל שלב את המילה הבאה ו״מתקנים״ את המודל כך שהתחזית תהיה טובה יותר. בשלב זה לא מעורבים בני אדם באימון עצמו, המודל לומד לבד בעצמו מתוך הטקסטים שהוא רואה. התוצאה של השלב הזה - מודל שפה (ה-backbone של הבוט).

2. השלב המפוקח - בשלב זה ממשיכים להאכיל אותו בטקסטים, אבל כאן מדובר בטקסטים של שיחות בין משתמש לבוט. בשלב הזה עושים למודל אופטימיזציה מסוג קצת שונה - על כל תגובה שלו, נותנים לו ״גמול״ שפרופורציונלי לכמה התגובה שלו היתה טובה בסטנדרטים אנושיים (כאן נכנסים בני האדם לאימון). התוצאה של השלב הזה - צ׳אטבוט. כלומר מודל שפה שאומן ספציפית לייצר טקסטים במוד של שיחה.

 

התוצר של שלב 2 (שוב, בגדול) הוא מה שאתם עובדים מולו כשאתם פותחים ChatGPT למשל. שימו לב - כל מה שהוא עושה הוא דבר אחד בלבד - לייצר. טקסט. חדש. מילה. אחר. מילה. בהינתן. הטקסט. שהוא. ראה. קודם. זה הכל. הוא לא ״חושב״ על שום דבר, אלא בעצם - מחשב. אגב, תחום מחקר מאוד פופולרי בשנה-שנתיים האחרונות הוא מודלי ״היסק״, שבשלב האימון שלהם מכריחים אותם לפרק את התשובה לשרשרת קוהרנטית של רציונליזציות. המודל האחרון של OpenAI (קוראים לו o1, או o3, כבר לא עוקב..) הוא כזה. זה באמת משפר את היכולת לפתור בעיות רציונליות, אבל שוב, לא משנה את האופי של המודל ואת המשימה הבסיסית שלו - להשלים את המילה הבאה בטקסט.

 

למי שיטען בשלב הזה את הטענה הבנאלית ש״גם אנחנו עובדים ככה״ וכו׳, אני מציע לעשות את הניסוי הבא (מודה - דרושה פה יכולת טכנית, אבל שווה את המאמץ). תורידו מודל שפה גנרטיבי open source (יש המון כאלה, בגדלים שונים). תבקשו ממנו לחשוב על מספר, בלי לגלות לכם. אח״כ תמשיכו לנהל איתו שיחה קצרה על המספר שהוא בחר, בלי שיגלה לכם מה הוא. בסוף השיחה, תבקשו שיגיד לכם מה היה המספר. עכשיו ״תחזרו״ אחורה למודל המקורי (כלומר מחקו את השיחה, כאילו לא קרתה), ושאלו אותו מה המספר. האם לדעתכם זה יהיה אותו המספר? (ספוילר: לא בהכרח). עכשיו נסו אותו הדבר עם ״שיחה״ אחרת. אין כמו הניסוי הזה כדי להדגים שהמודלים האלה לא עובדים ולא חושבים כמונו. למעשה, הם לא באמת חושבים; כל מה שהם עושים הוא -- לייצר טקסט, בהסתמך על הקלט מכם ועל התשובות שלו. הם פשוט מאוד, מאוד משכנעים בזה (כאמור, בזכות ארכיטקטורה מורכבת ואופן האימון שלהם).

 

לפני שעתיים, zaf כתב:

לדוגמא - ביקשתי שיר בנושא מסוים של משוררים עבריים. התקבל שיר מאוד יפה שנטען שנכתב על ידי המשוררת רחל. רק שחיפוש פשוט בכל שירי רחל, אין ולא היה כזה . צ'יפופו מחרטט שיר יפה , רק לא מה שהתבקש.

 

נכון. בדיוק בגלל מה שכתבתי למעלה - המודל סה״כ מייצר טקסט חדש בהסתמך על הקודם (בשיטה הפשוטה של ניחוש המילה הבאה). אין שום ערובה לכך שהטקסט יהיה מעוגן בעובדות אמיתיות.

 

יש היום מודלים חדשים (שמשלבים RAG, למי שמכיר) שמנסים ״לכוון״ את המודל לעבר המציאות. הגרסאות החדשות של כל המודלים המוכרים לדעתי כבר משלבות RAG ברמה זו או אחרת. לפעמים זה עובד ממש טוב, לפעמים זה מתרסק. יש היום המון מחקר בכיוון הזה, של מניעת הזיות של מודלי שפה. גם ברמה ה״עובדתית״ וגם ברמה ה״היסקית״. אני אישית לא בטוח שכל היוריסטיקות האלה (שנותנות פתרונות יחסית נקודתיים) הן התשובה הנכונה לבעיה המאוד בסיסית הזאת.

עריכה אחרונה ב-24 במרץ על ידי malcishua

[zaf]

לפני כשעה, malcishua כתב:

אין לו שום ״חוקים״ או דקדוק שהוא פועל לפיהם, והוא לא מייצר שום ״מסקנה״. למעשה, ״חוקים״ או ״דקדוק״ הם ההפך הגמור מאיך שהוא פועל (

לא בטוח שהבנתי את הטענה, כי התשובה היא נכונה דקדוקית וגם מבחינת איות. לכן זה נראה כמו יישום חוקי הדקדוק. רק שאין קשר בין המבוקש למענה.

כמו למשל משחק שח, שבו יש סט מובנה של חוקים והתוכנה פשוט מריצה את כל האפשרויות מול מהלך של בן אנוש. 

[ch28566]

בקצרה? זה AI וזה באמת שווה הרבה כסף ולכן מדברים על זה בלי סוף. 

 

[malcishua]

לפני כשעה, zaf כתב:

לא בטוח שהבנתי את הטענה, כי התשובה היא נכונה דקדוקית וגם מבחינת איות. לכן זה נראה כמו יישום חוקי הדקדוק. רק שאין קשר בין המבוקש למענה.

כמו למשל משחק שח, שבו יש סט מובנה של חוקים והתוכנה פשוט מריצה את כל האפשרויות מול מהלך של בן אנוש. 

 

קודם כל, התשובה לא תמיד נכונה דקדוקית ו/או מבחינת איות. זה נדיר מאוד באנגלית, נדיר פחות בשפות נדירות יותר (כמו עברית - מכיוון שהוא אומן על פחות דאטה), אבל המודל בהחלט מסוגל לטעות. בדיוק מכיוון שהוא מודל סטטיסטי.

 

אם אתה מתכוון לדקדוק במובן הדקדוק של השפה, הרי שהמודל לא מכיר את הדקדוק הזה בשום צורה. אין לו מושג שהוא אפילו קיים. כל מה שהוא עושה הוא לשערך סטטיסטית, בהינתן הטקסט, מה המילה הבאה. הוא לא יודע, למשל, שבעברית שם התואר צריך להתאים מבחינת מין לשם העצם (אגב, זו אחת הטעויות הכי נפוצות של מודלים כאלה בעברית, כאשר יש מרחק בין שם העצם לשם התואר) - הוא רק מנחש מה המילה הבאה בהסתמך על מה שראה בעבר ועל המילים הקודמות. אפשר לומר שהוא משערך סטטיסטית את הדקדוק של השפה, אבל אפילו זה לא מדויק, מכיוון שאין לו שום מודל פרמטרי של הדקדוק הזה. מה שנכון לומר, הוא שהוא מאומן לבצע משימת חיזוי כך שהתוצאה תתאים לדאטסט מאוד גדול בשפה (עליו הוא אומן), ומכיוון שהדאטסט הזה מתנהג בגדול לפי כללי הדקדוק בשפה, הפלט של המודל (בשאיפה, אם אומן בהצלחה) יתנהג גם הוא לפיהם.

עריכה אחרונה ב-24 במרץ על ידי malcishua

[GTאי]

לפני שעתיים, malcishua כתב:

מודל שפה גנרטיבי לא מנתח שום דבר. אין לו שום ״חוקים״ או דקדוק שהוא פועל לפיהם, והוא לא מייצר שום ״מסקנה״. למעשה, ״חוקים״ או ״דקדוק״ הם ההפך הגמור מאיך שהוא פועל (המודלים האלה גם עושים עדיין לא מעט טעויות דקדוקיות, במיוחד בשפות פחות נפוצות כמו עברית). מודל כזה הוא חיה סטטיסטית לחלוטין, וכל מה שהוא עושה ברמה הפרקטית הוא - לנחש, מבחינה סטטיסטית, מה הכי סביר שתהיה המילה הבאה. זה הכל. לא מנתח, לא מביע דעה, לא מאחזר אינפורמציה. רק מייצר טקסט, מילה אחרי מילה.

תנשום. לנתח תבניות ולפעול בהתאם זה אופן הצגה שונה והרבה יותר פשוט של הסטטיסטיקה שאתה מדבר עליה, כן? 

גם אם תכתוב את זה בצורה מאוד דרמטית זה לא ישנה.

 

חיזוי הטקסט הבא הוא על בסיס ניתוח סטטיסטי של קלט של המודל והפעולה שלו בהצגת המידע היא חישוב ההסתברות של המילה הנכונה.

 

שאר ההסבר נכון. אין מחלוקת וגם לא היתה

עריכה אחרונה ב-24 במרץ על ידי GTאי

[malcishua]

לפני 6 דקות, GTאי כתב:

תנשום. לנתח תבניות ולפעול בהתאם זה אופן הצגה שונה והרבה יותר פשוט של הסטטיסטיקה שאתה מדבר עליה? 

גם אם תכתוב את זה בצורה מאוד דרמטית זה לא ישנה את אופן פעולת המודל.

 

חיזוי הטקסט הבא הוא על בסיס ניתוח סטטיסטי של קלט של המודל והפעולה שלו בהצגת המידע היא חישוב ההסתברות של המילה הנכונה.

 

אתה יכול לקרוא לזה ״ניתוח״ סטטיסטי, אבל (לדעתי כמובן) אין פה באמת ניתוח סטטיסטי (לפי ההגדרה שאני מכיר). יש למידה סטטיסטית של objective מתימטי. כלומר, התאמת הפרמטרים של המודל כך שה-objective ימוקסם על דאטסט ספציפי. וגם זה קורה בזמן האימון, לא בזמן פעולת המודל...

 

עריכה: רק כדי להבהיר, מודלים נוריונאליים (בניגוד לדורות הקודמים של המודלים) לא מאחסנים שום סטטיסטיקות על הדאטה שהם ראו, אלא מכילים רק את הפרמטרים של הפונקציה (המשקולות של הסינפסות) שכאמור מעודכנים בזמן הלמידה כדי להתאים לדאטה. במודלים הישנים יותר -- אתה צודק, ניתן לומר שהם ביצעו ניתוחים סטטיסטיים בזמן הלמידה ואפילו בזמן הפעולה (הם ממש היו מאחסנים מידע סטטיסטי שנלמד על הדאטה).

עריכה אחרונה ב-24 במרץ על ידי malcishua