1.Jsoup簡(jiǎn)述

    Java中支持的爬蟲(chóng)框架有很多，比如WebMagic、Spider、Jsoup等。今天我們使用Jsoup來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的爬蟲(chóng)程序。

    Jsoup擁有十分方便的api來(lái)處理html文檔，比如參考了DOM對(duì)象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁(yè)面數(shù)據(jù)的技巧。

    2.快速開(kāi)始

    1)編寫(xiě)HTML頁(yè)面

    頁(yè)面中表格的商品信息是我們要爬取的數(shù)據(jù)。其中屬性pname類的商品名稱，以及屬于pimg類的商品圖片。

    2)使用HttpClient讀取HTML頁(yè)面

    HttpClient是一個(gè)處理Http協(xié)議數(shù)據(jù)的工具，使用它可以將HTML頁(yè)面作為輸入流讀進(jìn)java程序中?？梢詮?/p>

    http://hc.apache.org/  下載HttpClient的jar包。

    3)使用Jsoup解析html字符串

    通過(guò)引入Jsoup工具，直接調(diào)用parse方法來(lái)解析一個(gè)描述html頁(yè)面內(nèi)容的字符串來(lái)獲得一個(gè)Document對(duì)象。該Document對(duì)象以操作DOM樹(shù)的方式來(lái)獲得html頁(yè)面上指定的內(nèi)容。

    下面我們使用Jsoup來(lái)獲取上述html中指定的商品名稱和價(jià)格的信息。

    至此，我們已經(jīng)實(shí)現(xiàn)使用HttpClient+Jsoup爬取HTML頁(yè)面數(shù)據(jù)的功能。接下來(lái)，我們讓效果更直觀一些，比如將爬取的數(shù)據(jù)存到數(shù)據(jù)庫(kù)中，將圖片存到服務(wù)器上。

    3.保存爬取的頁(yè)面數(shù)據(jù)

    1)保存普通數(shù)據(jù)到數(shù)據(jù)庫(kù)中

    將爬取的數(shù)據(jù)封裝進(jìn)實(shí)體Bean中，并存到數(shù)據(jù)庫(kù)內(nèi)。

    2)保存圖片到服務(wù)器上

    直接通過(guò)下載圖片的方式將圖片保存到服務(wù)器本地。

    4.總結(jié)

    本案簡(jiǎn)單實(shí)現(xiàn)了使用HttpClient+Jsoup爬取網(wǎng)絡(luò)數(shù)據(jù)，對(duì)于爬蟲(chóng)技術(shù)本身，還有很多值得深挖的地方，以后再為大家講解。

　以上就是動(dòng)力節(jié)點(diǎn)java培訓(xùn)機(jī)構(gòu)的小編針對(duì)“Java爬蟲(chóng)視頻教程，Jsoup實(shí)現(xiàn)爬蟲(chóng)技術(shù)”的內(nèi)容進(jìn)行的回答，希望對(duì)大家有所幫助，如有疑問(wèn)，請(qǐng)?jiān)诰€咨詢，有專業(yè)老師隨時(shí)為你服務(wù)。