java抓取網頁數據示例
更新時間：2014年03月02日 16:10:50 作者：
要通java獲取整個網頁的html內容，或者某個網絡文件的內容,可以使用java提供的HttpURLConnection類來實現對網頁內容的抓取
下面舉例說明：
抓取百度首頁的內容：
復制代碼 代碼如下:
URL url = new URL("http://www.baidu.com");
HttpURLConnection urlCon=(HttpURLConnection)url.openConnection();
urlCon.setConnectTimeout(50000);
urlCon.setReadTimeout(300000);
DataInputStream fIn;
byte[] content = new byte[MAX_FILE_SIZE];
fIn = new DataInputStream(urlCon.getInputStream());
int size = 0,f_size = 0;
while((size = fIn.read(content,f_size,2048))> 0){
f_size += size;
}
在代碼中我們將百度首頁的內容存儲到了一個byte數組中，當然我們有了 IO流以后還可以存儲到文件中去了。
相關文章
使用Mybatis-plus實現對數據庫表的內部字段進行比較
這篇文章主要介紹了使用Mybatis-plus實現對數據庫表的內部字段進行比較方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-07-07
這篇文章主要介紹了Java加載properties文件實現方式詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-07-07
關于JDK15的新特性之TextBlocks文本塊的引入和使用
這篇文章主要介紹了關于JDK15的新特性之文本塊的引入和使用,如果具有一種語言學機制，可以比多行文字更直觀地表示字符串，而且可以跨越多行，而且不會出現轉義的視覺混亂，那么這將提高廣泛Java類程序的可讀性和可寫性,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了Java TreeMap排序算法,結合實例形式分析了TreeMap排序算法的原理、實現方法與相關注意事項,需要的朋友可以參考下2017-07-07
這篇文章主要為大家介紹了java理論基礎Stream管道流狀態(tài)與并行操作，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2022-03-03
在Java中，生成隨機數有兩種方法。1是使用Random類。2是使用Math類中的random方法?？聪旅娴睦邮褂冒?/div> 2013-11-11
這篇文章主要介紹了java實現二維數組轉json的方法,涉及java數組遍歷及json格式數據構造相關操作技巧,需要的朋友可以參考下2017-10-10
在本篇內容里我們給大家分享了關于java轉化為exe程序的具體步驟和相關知識點，需要的朋友們學習下。2019-03-03
聊聊SpringBoot的@Scheduled的并發(fā)問題
這篇文章主要介紹了聊聊SpringBoot的@Scheduled的并發(fā)問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-11-11
這篇文章主要為大家介紹了java對象池common-pool2使用示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05最新評論