爬蟲6:多頁面隊列Java爬蟲rongyux

透码短信:

香港彩票透码 www.kptln.icu   之前寫過很多單頁面python爬蟲,感覺python還是很好用的,這里用java總結一個多頁面的爬蟲,迭代爬取種子頁面的所有鏈接的頁面,全部保存在tmp路徑下?! ?/p>

  1 序言

  實現這個爬蟲需要兩個數據結構支持,unvisited隊列(priorityqueue:可以適用pagerank等算法計算出url重要度)和visited表(hashset:可以快速查找url是否存在);隊列用于實現寬度優先爬取,visited表用于記錄爬取過的url,不再重復爬取,避免了環。java爬蟲需要的工具包有httpclient和htmlparser1.5,可以在maven repo中查看具體版本的下載。

  1目標網站:新浪  //www.sina.com.cn/

  2結果截圖:

  下面說說爬蟲的實現,后期源碼會上傳到github中,需要的朋友可以留言:

  二 爬蟲編程 

    1創建種子頁面的url

MyCrawler crawler = new MyCrawler();
crawler.crawling(new String[]{"//www.sina.com.cn/"});

    2初始化unvisited表為上面的種子url

LinkQueue.addUnvisitedUrl(seeds[i]);

    3最主要的邏輯實現部分:在隊列中取出沒有visit過的url,進行下載,然后加入visited的表,并解析改url頁面上的其它url,把未讀取的加入到unvisited隊列;迭代到隊列為空停止,所以這個url網絡還是很龐大的。注意,這里的頁面下載和頁面解析需要java的工具包實現,下面具體說明下工具包的使用。

    while(!LinkQueue.unVisitedUrlsEmpty()&&LinkQueue.getVisitedUrlNum()<=1000)
        {//隊頭URL出隊列String visitUrl=(String)LinkQueue.unVisitedUrlDeQueue();if(visitUrl==null)continue;
            DownLoadFile downLoader=new DownLoadFile();//下載網頁            downLoader.downloadFile(visitUrl);//該 url 放入到已訪問的 URL 中            LinkQueue.addVisitedUrl(visitUrl);//提取出下載網頁中的 URL            
            Setlinks=HtmlParserTool.extracLinks(visitUrl,filter);//新的未訪問的 URL 入隊for(String link:links)
            {
                    LinkQueue.addUnvisitedUrl(link);
            }
        }

    4下面html頁面的download工具包

public String downloadFile(String url) {
        String filePath = null;/* 1.生成 HttpClinet 對象并設置參數 */HttpClient httpClient = new HttpClient();// 設置 Http 連接超時 5s        httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);/* 2.生成 GetMethod 對象并設置參數 */GetMethod getMethod = new GetMethod(url);// 設置 get 請求超時 5sgetMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);// 設置請求重試處理        getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,new DefaultHttpMethodRetryHandler());/* 3.執行 HTTP GET 請求 */try {int statusCode = httpClient.executeMethod(getMethod);// 判斷訪問的狀態碼if (statusCode != HttpStatus.SC_OK) {
                System.err.println("Method failed: "+ getMethod.getStatusLine());
                filePath = null;
            }/* 4.處理 HTTP 響應內容 */byte[] responseBody = getMethod.getResponseBody();// 讀取為字節數組// 根據網頁 url 生成保存時的文件名filePath = "temp\\"+ getFileNameByUrl(url, getMethod.getResponseHeader("Content-Type").getValue());
            saveToLocal(responseBody, filePath);
        } catch (HttpException e) {// 發生致命的異常,可能是協議不對或者返回的內容有問題System.out.println("Please check your provided http address!");
            e.printStackTrace();
        } catch (IOException e) {// 發生網絡異常            e.printStackTrace();
        } finally {// 釋放連接            getMethod.releaseConnection();
        }return filePath;
    }

 

    5html頁面的解析工具包:

public static Set extracLinks(String url, LinkFilter filter) {

        Setlinks = new HashSet();try {
            Parser parser = new Parser(url);
            parser.setEncoding("gb2312");// 過濾標簽的 filter,用來提取 frame 標簽里的 src 屬性所表示的鏈接NodeFilter frameFilter = new NodeFilter() {public boolean accept(Node node) {if (node.getText().startsWith("frame src=")) {return true;
                    } else {return false;
                    }
                }
            };// OrFilter 來設置過濾  標簽,和標簽OrFilter linkFilter = new OrFilter(new NodeClassFilter(
                    LinkTag.class), frameFilter);// 得到所有經過過濾的標簽NodeList list = parser.extractAllNodesThatMatch(linkFilter);for (int i = 0; i < list.size(); i++) {
                Node tag = list.elementAt(i);if (tag instanceof LinkTag)//  標簽                {
                    LinkTag link = (LinkTag) tag;
                    String linkUrl = link.getLink();// urlif (filter.accept(linkUrl))
                        links.add(linkUrl);
                } else// 標簽                {// 提取 frame 里 src 屬性的鏈接如String frame = tag.getText();int start = frame.indexOf("src=");
                    frame = frame.substring(start);int end = frame.indexOf(" ");if (end == -1)
                        end = frame.indexOf(">");
                    String frameUrl = frame.substring(5, end - 1);if (filter.accept(frameUrl))
                        links.add(frameUrl);
                }
            }
        } catch (ParserException e) {
            e.printStackTrace();
        }return links;
    }

    6未訪問頁面使用PriorityQueue帶偏好的隊列保存,主要是為了適用于pagerank等算法,有的url忠誠度更高一些;visited表采用hashset實現,注意可以快速查找是否存在;

public class LinkQueue {//已訪問的 url 集合private static Set visitedUrl = new HashSet();//待訪問的 url 集合private static Queue unVisitedUrl = new PriorityQueue();//獲得URL隊列public static Queue getUnVisitedUrl() {return unVisitedUrl;
    }//添加到訪問過的URL隊列中public static void addVisitedUrl(String url) {
        visitedUrl.add(url);
    }//移除訪問過的URLpublic static void removeVisitedUrl(String url) {
        visitedUrl.remove(url);
    }//未訪問的URL出隊列public static Object unVisitedUrlDeQueue() {return unVisitedUrl.poll();
    }// 保證每個 url 只被訪問一次public static void addUnvisitedUrl(String url) {if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)&& !unVisitedUrl.contains(url))
            unVisitedUrl.add(url);
    }//獲得已經訪問的URL數目public static int getVisitedUrlNum() {return visitedUrl.size();
    }//判斷未訪問的URL隊列中是否為空public static boolean unVisitedUrlsEmpty() {return unVisitedUrl.isEmpty();
    }

}

 

上一篇: 沒有符合條件的記錄

下一篇: tomcat中的get、post區別gulp

分享到: 更多
彩票助赢计划软件安卓版 欢乐生肖平台哪个好 二八杠棋牌玩法 管家婆原创36码 六肖期期准 管家婆 王中王 红马计划软件下载 赌场龙虎30秒破解 幸运飞艇助力计划 江苏快三大小单双口诀 网上压大小有什么规律 后二组选包胆绝招 11选5任1稳赚投注技巧 我要牛牛看牌抢庄秘诀 打麻将规则及图解 大庆冠通手游二人麻将 炸金花手机版下载