שני קבצים שונים, שורות כפולות והסרתן

[Tzvika-Pick]

הבעיה: יש לי קובץ גדול עם 15 אלף שורות. לצורך העניין, כתובת מייל של אנשים.

יש לי קובץ נוסף עם כמה עשרות שורות. לצורך העניין, של אנשים שאני צריך להסיר מרשימת כתובות המייל שלי.

 

הצורך: אני מחפש איזו שהיא דרך לסרוק את הקובץ הקטן ולהסיר את השורות שמופיעות בו מהקובץ הגדול.

 

הכלים הזמינים: חבילת אופיס מלאה, מחשב עם אינטרנט.

 

הדרך:

 

HELP!

[m3x7r3m3]

מה סוג הקובץ? קובץ טקסט? בינארי? אקסל? XML?

[Tzvika-Pick]

קובץ TXT פשוט. אבל אין בעיה להפוך אותו לאקסל עם copy-paste פשוט.

[m3x7r3m3]

ובכל שורה יש כתובת מייל בודדת?

[Tzvika-Pick]

כן (חמישה תווים).

[m3x7r3m3]

יכולות תכנותיות באות בחשבון? ואם כן איזו שפה?

[SurfHigh]

אם אתה יכול לאחד את הנתונים לקובץ אקסלי אחד, תוכל לעשות את זה בכמה שניות.

אתה יכול לאחד שני קבצי TXT לאחד בכמה פקודות דוס פשוטות.

אח"כ תהפוך את הסימות מ TXT ל CSV ואז הוא נפתח באקסל.

תמיין לפי השדה שבו יש כפולים.

תעשה שדה מחושב =A1=A2 כלומר הוא בודק האם הערך שווה לערך בשורה שמתחתיו ותגרור לאורך כל הקובץ את למטה. תמחוק את השורות שכתוב בהם TRUE.

[Dittohead]

fgrep -vf file2 file1 > out.txt

[Tzvika-Pick]

אם אתה יכול לאחד את הנתונים לקובץ אקסלי אחד, תוכל לעשות את זה בכמה שניות.

אתה יכול לאחד שני קבצי TXT לאחד בכמה פקודות דוס פשוטות.

אח"כ תהפוך את הסימות מ TXT ל CSV ואז הוא נפתח באקסל.

תמיין לפי השדה שבו יש כפולים.

תעשה שדה מחושב =A1=A2 כלומר הוא בודק האם הערך שווה לערך בשורה שמתחתיו ותגרור לאורך כל הקובץ את למטה. תמחוק את השורות שכתוב בהם TRUE.

רעיון נחמד, אבל עדיין אני אצטרך לעבור על כמה אלפי שורות ולהסיר ידנית שורות שכתוב בהן TRUE.

יש באקסל פונקציה שמוחקת שורות? אני לא מכיר כזאת...

 

fgrep -vf file2 file1 > out.txt

אההה, יש כזה fgrep לווינדוס 7?

 

יכולות תכנותיות באות בחשבון? ואם כן איזו שפה?

אני יודע קצת C, אבל מעדיף לא להתעסק עם תכנות כי אין לי קומפיילר מותקן על המחשב.

[Dittohead]

 

אההה, יש כזה fgrep לווינדוס 7?

 

http://www.weihenstephan.de/~syring/win32/UnxUtilsDist.html

[m3x7r3m3]

אני יודע קצת C, אבל מעדיף לא להתעסק עם תכנות כי אין לי קומפיילר מותקן על המחשב.

 

שטויות בשביל לקמפל?

בתקווה שאני יספיק היום אני אכתוב לך EXE קטן שיעשה את זה

[m3x7r3m3]

אוקיי עשיתי תוכנה קטנטונת ב-C++ שעושה לך את זה.

 

השימוש זה

LineRemover 

כאשר fileOriginal זה המקורי שלך שממנו אתה רוצה להוריד שורות

fileRemove מכיל את השורות שאתה רוצה למחוק

 

fileNew זה קובץ חדש שיווצר (או יידרס אם כבר קיים) ויהיה למעשה השורות של fileOriginal שלא נמצאות ב-fileRemove.

 

אם מעניין מישהו אני אעלה גם את הקוד.

 

סתם בשביל להשוויץ בזמן שבין ההודעה הקודמת לזו כתבתי את התוכנה ועשיתי לה בדיקות שפיות ותקינות.

אין בדיקות של תקינות פלט ו ההשוואה היא Case sensitive.

אם יש צורך ביום ראשון אני אשמח להוסיף לזה עוד לפי הצורך

LineRemover.zip

עריכה אחרונה ב-27 לפברואר, 2014 על ידי m3x7r3m3

[hans]

fgrep -vf file2 file1 > out.txt

 

אין גבול למה שאפשר לעשות עם grep. פשוט מטורף.

למרות שלכתוב סקריפט בפייתון לוקח פחות זמן מאשר להיזכר

בפקודה המתאימה בגרפ...

15000 זה הרבה?!? נסה השוואה בין שני קבצים עם חצי מיליון רשומות.

[Dittohead]

אם אתה עובד עם קבצי טקסט שמכילים מאות אלפי רשומות, תעבור ל-SQLite.

[Dittohead]

אגב, בפייטון זה יהיה באמת קליל:

 

import sys
print "\n".join(set([l.strip() for l in open(sys.argv[1], 'r').readlines()] + [l.strip() for l in open(sys.argv[2], 'r').readlines()]))