התייעצות לגבי ביצועים של מחשב עם אקסלים גדולים

[falou]

בעבודה יש לי מחשב לא חדש, בן כ-5 שנים, אבל סבבה עד כה

 

מעבד: Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz   2.90 GHz

זיכרון - 16GB (אבל ה-Windows תופס רק 4GB). 

כרטיס גרפי -  Quadro  P400. אני מניח שהוא קיים רק בשביל לאפשר מסך שלישי (פינוק). שום תוכנה שאני משתמש בה לא עושה בו ממש שימוש

כונן SSD NVME

 

תוכנה: Excel 2021 (אין 365, לא ניכנס ל-למה)

 

עד כאן הכל בסדר.

פעם בכמה ימים עושה Restart, אחרת ה-RAM עולה על גדותיו.

 

עכשיו אני עובד על אקסלים עם טבלאות מאוד גדולות, של עשרות אלפי שורות, אבל רק 22 עמודות בגיליון, העסק עובד לאט, ולא רואה למה

ה-CPU לא עובד קשה. גם אם אני רואה peak ב-CPU, הוא אורך שנייה, אבל המחשב עוד לא "משחרר" לאחר שהוא יורד.

ה-RAM לא קרוב למיצוי (9.4 מתוך 16)

נוסחאות שרצו לאורך כל הטבלה הומרו לנתונים סטטיים לאחר קבלת התוצאה.

 

עדיין כל פעולה שאני עושה, לוקחת שניות.

 

בעבר אקסלים כבדים היו כאלו עם המון נוסחאות/טבלאות ציר, ואז האיטיות הייתה מוסברת במגבלות ה-RAM, וראיתי את ב-Task Manager.

האקסלים מרובי השורות אינם תופסים כ"כ הרבה RAM.

 

בקיצור, מה אני צריך לשדרג כדי להיות מסוגל לעבוד?

 

נ.ב. לפעמים אני רואה את ה-CPU עולה ל-25% במהלך ביצוע פעולה, אבל המחשב בכל זאת נתקע ולא מתקדם, עד שהוא יירד.

 

נ.ב.נ ה-אייאיי הציע לבדוק דרייברים של ה-P400 וגם הציע לשדרג CPU, כי אקסל עובד Single Core (לא יודע אם זה נכון)

 

 

 

[Liviur]

תשמע - כמה מחשבות top of mind:

1. File > Options > Advanced > Formulas > Enable multi-threaded calculation

2. השדרוג לאקסל החדש כנראה כן יעזור לך בסקייל - שווה לפתוח את הנושא מחדש.

3. ואחרון - יכול להיות שאתה פשוט מתחיל להגיע לגבולות של מה שאקסל יכול לעשות בשבילך.

מכיוון שאני לא יודע מה באמת השימוש שלך במידע וכו - אולי כדאי להתייעץ אבל הנה כמה כלים כתלות בשימוש:

* מאגר נתונים דוגרי כמו sql ולהריץ עליו את כל הנוסחאות והטרנספורמציות ואז לייצא רק את התוצאות.

* אם זה לדשבורדים - יש הרבה כלים מאוד מהירים אונליין כמו tableau 

* אם נחוץ לך עדיין הצורה של טבלה אבל מהר -> air table / coda 

אתה כבר מדבר על כמות מידע דיי גדולה שלא הייתי מתעסק עם אקסל עבורה - כי מה שאתה צריך זה מעבר לspreadsheet …

[falou]

תודה

 

1. תקין

2. לא ייקרה

3. אני כרגע בודק שלמות נתונים שמגיעים למערכת BI ממערכת אחרת. יכול להיות שאני צריך כלי אחר...

[David32]

לגבי 3,

אתה עושה את זה ידנית? יש סיבה טובה לעשות את זה ידנית?

בוא נגיד וכן, ואתה חייב אקסל, חייב לעשות את זה גם בקובץ בודד?

 

אני איכשהו רואה את הפתרון דווקא בלגרום לצ'אט החביב עליך לכתוב איזה סקריפט, בין אם פשוט או יותר מתוחכם, כדי להקל עליך או לפתור לך את הבעיה. וכנראה שזה יהיה עדיף על חומרה חדשה...

[falou]

אני לא יכול להוציא את המידע הזה החוצה.

 

הסיבה שאני עושה את זה כי אין עוד אף אחד בארגון שגם מבין דאטא, גם מבין את המערכת ממנה נשלפים הנתונים ואיך לשלוף, וגם מבין בחומר (יענו, מה המספרים אומרים).

אז לקחתי את זה על עצמי.

[saar5555]

לפני שעתיים, falou כתב:

בקיצור, מה אני צריך לשדרג כדי להיות מסוגל לעבוד?

אני הייתי בודק כמה זכרון אפשר להוסיף למחשב. מניסיון שלי, 32 ג'יגה זיכרון או יותר (עם נתונים טובים) המחשב זז טוב יותר. שוב, אם בא לך לנסות.

[David32]

אין צורך שתוציא אותו. 

תאר את מבנה הטבלאות שלך לצ'אט, קריטריונים שיש לך למידע וכו וכו. בקש ממנו לכתוב לך סרקיפט בפייתון עם pandas. 

תריץ על קובץ נפרד מגובה ותראה אם טוב ותטייב. כמה איטרציות כאלה וכנראה יהיה לך לשהו שיחסוך לך קצת זמן או עבודה.

רק צריך להיות קצת זהיר.

[falou]

לפני 12 דקות, David32 כתב:

אין צורך שתוציא אותו. 

תאר את מבנה הטבלאות שלך לצ'אט, קריטריונים שיש לך למידע וכו וכו. בקש ממנו לכתוב לך סרקיפט בפייתון עם pandas. 

תריץ על קובץ נפרד מגובה ותראה אם טוב ותטייב. כמה איטרציות כאלה וכנראה יהיה לך לשהו שיחסוך לך קצת זמן או עבודה.

רק צריך להיות קצת זהיר.

 

הלכת מעבר ליכולות הטכניות שלי. 

זה לא שאי אפשר ללמוד הכל, אבל זה לא הג'וב שלי... 

 

מעבר לזה, אני לא בטוח מה אני מחפש. אני מנתח את הדאטא ומסיק מסקנות תוך כדי

 

תודה! 

לפני 15 דקות, saar5555 כתב:

אני הייתי בודק כמה זכרון אפשר להוסיף למחשב. מניסיון שלי, 32 ג'יגה זיכרון או יותר (עם נתונים טובים) המחשב זז טוב יותר. שוב, אם בא לך לנסות.

 

כן, אבל... לא מתקרב לתקרה שיש עכשיו, ועדיין איטי.

כאמור, כבר עבדתי עם קבצים כבדים  יותר, מבחינת צריכת RAM ולא הייתה איטיות כזו.

 

[saar5555]

לפני 19 דקות, falou כתב:

כן, אבל... לא מתקרב לתקרה שיש עכשיו, ועדיין איטי.

טוב, אם תתן עדיפות גבוהה יותר לתהליך בעת הביצוע? 

[פינדר]

לפני 21 דקות, falou כתב:

הלכת מעבר ליכולות הטכניות שלי. 

זה לא שאי אפשר ללמוד הכל, אבל זה לא הג'וב שלי... 

אני אומנם בוגר מדעי המחשב ויש לי נסיון בתכנות, אבל העבודה העיקרית שלי היא בתחום החומרה דווקא ולא עבדתי בכלל עם פייתון.

לפני כשנה לקחתי על עצמי לשכתב סקריפטים ישנים שהיו כתובים בפרל וכתבתי אותם מאפס בפייתון. הסקריפטים שולפים מידע מאקסל, באמצעות pandas, ומייצרים קבצים שאנחנו משתמשים בהם. כמו שאתה אומר, זה לא הג׳וב שלי.. אבל למדתי תו״כ עבודה וזה זרם די מהר. וזה היה לפני הAI.

לאחרונה הייתי צריך להוסיף פיצ׳ר לסקריפט ולא התחשק לי הכאב ראש של לחפור בסטאק אוברפלואו, אז הורדתי עורך פייתון עם AI מובנה שעשה לי את זה בשלוש איטרציות קצרות.

[falou]

לפני 2 דקות, פינדר כתב:

אני אומנם בוגר מדעי המחשב ויש לי נסיון בתכנות, אבל העבודה העיקרית שלי היא בתחום החומרה דווקא ולא עבדתי בכלל עם פייתון.

לפני כשנה לקחתי על עצמי לשכתב סקריפטים ישנים שהיו כתובים בפרל וכתבתי אותם מאפס בפייתון. הסקריפטים שולפים מידע מאקסל, באמצעות pandas, ומייצרים קבצים שאנחנו משתמשים בהם. כמו שאתה אומר, זה לא הג׳וב שלי.. אבל למדתי תו״כ עבודה וזה זרם די מהר. וזה היה לפני הAI.

לאחרונה הייתי צריך להוסיף פיצ׳ר לסקריפט ולא התחשק לי הכאב ראש של לחפור בסטאק אוברפלואו, אז הורדתי עורך פייתון עם AI מובנה שעשה לי את זה בשלוש איטרציות קצרות.

 

אני בוגר מנהל עסקים, עם ניסיון של קורס תכנות בבייסיק בכיתה ג'...

יודע קצת לקרוא SQL, מניסיון... זהו. 

 

כאמור, אני מחפש שגיאות, אני לא תמיד יודע מה אני מחפש.

למשל, מצאתי שגיאה בדוח מולו אני משווה (הדוח של מערכת המקור, מסתבר שיש בו בעיה והוא מכפיל נתון מסויים בתנאים מסויימים).

אתמול מצאתי בכלל שגיאה בחישוב השכר של המערכת (נתון מסויים ירד מול שנה מקבילה, וזה לא יכול להיות, כי הוא לא חושב נכון).

 

כלומר, גם מה שאני משווה מולו, יכול להיות שגוי.

 

לפני 17 דקות, saar5555 כתב:

טוב, אם תתן עדיפות גבוהה יותר לתהליך בעת הביצוע? 

 

אין לי כנראה את ההרשאות המתאימות להגדיר את זה

[ntd]

האם במקרה האופיס שלך הוא 32 ביט, או 64 ביט? 

הרבה פעמים בהתקנות  32 ביט זה ברירת-מחדל, ונותן תאימות יותר טובה עם יישומים שנכתבו לאקסל.

 

במידה וזה אכן 32 ביט , מציע לשדרג ל-64 ביט. גרסת ה- 64 ביט של האופיס (כולל אקסל) יודעת לנצל טוב יותר את הזכרון הפנימי - בעיקר עם קבצים כבדים כפי שיש לך.

 

כדי לבדוק - באקסל (באנגלית), להכנס ל-

 

file,account,about

 

שמה כתוב אם זה 32 או 64 ביט.

 

 

[borsood]

לפני 38 דקות, falou כתב:

אין לי כנראה את ההרשאות המתאימות להגדיר את זה

יכול להיות שאתה לא רואה את הצריכה הכוללת של זכרון...

יש דפדפן מרובה טאבים פתוח? גם וצאפ ווב הוא צרכן זכרון לא קטן.

הכי קל אם זה אפשרי להגדיל את הזיכרון ולהעיף במקביל תוכנות אחרות שרצות למחשבים אחרים.

מעבר לזה זה דורש דיאגנוסטיקה שקשה לעשות דרך הפורום...

[SurfHigh]

לפני 39 דקות, falou כתב:

 

אני בוגר מנהל עסקים, עם ניסיון של קורס תכנות בבייסיק בכיתה ג'...

יודע קצת לקרוא SQL, מניסיון... זהו. 

 

כאמור, אני מחפש שגיאות, אני לא תמיד יודע מה אני מחפש.

למשל, מצאתי שגיאה בדוח מולו אני משווה (הדוח של מערכת המקור, מסתבר שיש בו בעיה והוא מכפיל נתון מסויים בתנאים מסויימים).

אתמול מצאתי בכלל שגיאה בחישוב השכר של המערכת (נתון מסויים ירד מול שנה מקבילה, וזה לא יכול להיות, כי הוא לא חושב נכון).

 

כלומר, גם מה שאני משווה מולו, יכול להיות שגוי.

 

 

אין לי כנראה את ההרשאות המתאימות להגדיר את זה

לפי מה שאתה מתאר, פייתון זה הכלי בשבילך, לפחות כרגע (אח"כ אולי DB SQL).

בקווים כלליים:

1. טען את הנתונים ממערכת המקור

2. הרץ את כל הבדיקות והלוגיקה העסקית

3. העבר הלאה למערכת היעד

 

הצ'טים השונים יכולים לעזור לך מאוד, CURSOR מסוגל לעשות 95% מהעבודה ואולי יותר. 

באופן כללי, ממליץ לך בחום רב ללמוד קצת פייתון, פחות בשביל המשימה הנוכחית ויותר בשביל הקריירה שלך. 

 

[falou]

לפני כשעה, ntd כתב:

האם במקרה האופיס שלך הוא 32 ביט, או 64 ביט? 

 

 

64

 

לפני כשעה, borsood כתב:

כול להיות שאתה לא רואה את הצריכה הכוללת של זכרון...

יש דפדפן מרובה טאבים פתוח? גם וצאפ ווב הוא צרכן זכרון לא קטן.

 

יכול להיות (לא מבין מעבר להסתכל ב-Task Manager) אבל אני סוגר את הדפדפן ואין צרכנים גדולים אחרים.

 

לפני כשעה, SurfHigh כתב:

לפי מה שאתה מתאר, פייתון זה הכלי בשבילך, לפחות כרגע (אח"כ אולי DB SQL).

בקווים כלליים:

1. טען את הנתונים ממערכת המקור

2. הרץ את כל הבדיקות והלוגיקה העסקית

3. העבר הלאה למערכת היעד

 

העבודה הזו היא מרכיב לא רשמי וקטן בעבודה שלי.

וכאמור, אני לא יודע מה אני מחפש. אני מוצא אי התאמות וממשיך משם, כי אף אחד אחר לא יודע להמשיך משם (בשביל זה צריך להבין גם מה הנתון שחסר ולמה. למשל, מסווג שגוי במערכת)

הספק של הדאטא לא רוצה/מסוגל להתעסק בזה והאנשים הטכניים אצלנו לא יודעים למה נתון מסויים נשלף או לא.

 

לי אין לא את הכלים ולא את ההשכלה. אני עושה QA על הנתונים, מעבר לזה, באמת גדול עליי

אני לא בונה מערכת בדיקות שוטפת, כי (1) אני לא יודע מה אני מחפש ו-(2) זו לא העבודה שלי.

אחרי שאייצב ואגלה שכל הנתונים מגיעים, אכתוב להם סט בדיקות שלמות נתונים, ושיריצו... מבחינתי עם בדידים...

כרגע אני עוד לא שם. אני בשלב של להבין למה נתון מסויים נמצא, אם הוא מוכפל מאיזושהי סיבה, האם השגיאה במקור או בפלט ל-BI וכו'.

דברים שכן הקלו בינתיים:

 

1. שמירה של הקובץ כאקסל בינארי (xslb)

2. המרת שדות טקסט נומרים לשדה ערך.

 

(לא יודע מה עזר יותר...)

 

מכין את עצמי ללימודי פייתון משולב Ai, כי בדברים יותר מובנים בשוטף שלי, אני אוכל להעביר את המשך הקריירה בישיבה של רגל על רגל