קריאת תוכן של URL בג'אווה

[לאון]

אני עושה פרוייקט קטן בג'אווה שבו אני עושה חיפוש במנוע חיפוש ומקבל תוצאות של URL שאותן אני צריך לסרוק. השאלה שלי היא איך אני יכול לקרוא את הטקסט שמופיע בכל URL?

 

 

תודה

[madmax]

מה אתה מקבל בחזרה? אובייקט מסוג URL או STRING? בכל מקרה משניהם אפשר לחלץ את הכתובת כ STRING ואז לעבוד עם ה API של STRING, לדוגמא INDEXOF, SUBSTRING וכד'.

[elibaba]

אני מניח שאתה רוצה לנתח את ה HTML שאתה מקבל, לא ?

 

import java.net.*;
import java.io.*;

public class URLReader {
   public static void main(String[] args) throws Exception {
   URL cf = new URL("http://www.carsforum.co.il/");
   BufferedReader inp = new BufferedReader(
               new InputStreamReader(
               cf.openStream()));

   String inputLine;

   while ((inputLine = inp.readLine()) != null)
       System.out.println(inputLine);

   in.close();
   }
}

[לאון]

העניין הוא שהURL שלי הוא שאילתת חיפוש ליאהו. אני כן יכול לגשת לכל תשובה בנפרד בתור jsonObject,אבל מה שאני מקבל זה למעשה את התקציר של כל תוצאת חיפוש איך שהוא מופיע בעמוד התוצאות. אבל מה שאני רוצה זה לקחת את כל הטקסט ופשוט לדחוף אותו למשתנה string ואז פשוט לרוץ עליו עם tokenizer.

 

מה שאתה פירסמת זה עובד עם URL פשוט כמו שנתת אבל כאשר הURL הוא שאילתת חיפוש זה לא מראה את כל הHTML.

[elibaba]

אני לא מבין מה ההבדל. אולי תפרסם לאיזה URL אתה ניגש ?

כתבתי פעם פרוקסי שעושה משהו דומה (מחפש מילים מסויימות ומפלטר לפיהן גישה לאינטרנט) אבל לא נראה לי שזה משנה ל openStream מול איזה URL הוא עובד, הוא רואה פשוט את ה http response שה URL נותן.

[לאון]

גם אני לא מבין אבל במבחן התוצאה יש הבדל

ב

הURL הוא:

URL url = new URL("http://boss.yahooapis.com/ysearch/web/v1/" + query +"?appid=" + API_KEY + "&count=10&format=json");

כאשר הquery הוא משתנה מסוג string וזאת שאילתת החיפוש שלי וה API_KEY זה מפתח שקיבלתי כאשר נרשמתי ליאהו

[elibaba]

אולי הבעיה היא שהפורמט שלך הוא JSON ? אם אתה מוריד את זה משהו משתנה ?

[לאון]

לא, שום דבר לא משתנה.

מספיק שאני מחליף את הURL לזה שאתה נתת (כלומר סתם כתובת של אתר) זה עובד אבל ברגע שזה גישה למנוע חיפוש זה לא נותן את כל התוכן של כל תוצאת חיפוש.

ד"א, אני חייב את זה בפורמט JSON כדי לרוץ על תוצאות החיפוש