完美解決python針對hdfs上傳和下載的問題

更新時間：2020年06月05日 17:33:28 作者：huanbia

這篇文章主要介紹了完美解決python針對hdfs上傳和下載的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

當我們使用python的hdfs包進行上傳和下載文件的時候，總會出現(xiàn)如下問題

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其實這主要是由于沒有將各個集群節(jié)點的ip映射到/etc/hosts文件中

修改/etc/hosts文件，將各個集群節(jié)點ip映射加上即可，如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

補充知識：python上傳文件到hadoop異常問題

使用庫：pyhdfs

調用方法：

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

異常現(xiàn)象1如下圖：

異?，F(xiàn)象2如下圖：

異?，F(xiàn)象3如下圖：

原因分析：可以看出，以上都是連接成功了，但是上傳或者下載失敗了，造成這種現(xiàn)象的原因是

我這里連接的是name節(jié)點，端口50070，當調用copy_from_local（）時，name節(jié)點會主動去連接data節(jié)點進行數(shù)據(jù)讀寫操作，而data節(jié)點端口50075沒有開啟，造成data節(jié)點連接超時，拋出異常

解決辦法：開啟data節(jié)點端口

以上這篇完美解決python針對hdfs上傳和下載的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

對python-3-print重定向輸出的幾種方法總結
今天小編就為大家分享一篇對python-3-print重定向輸出的幾種方法總結，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
python讀取多類型文件夾中的文檔內容
無論我們使用哪種編程語言,處理文件對于每個程序員都是必不可少的,本文主要介紹了python讀取多類型文件夾中的文檔內容,具有一定的參考價值,感興趣的可以了解一下
2024-03-03
python中正則表達式findall的用法實例
在寫著自動化測試的腳本時重新復習了一下正則表達式findall()方法,下面這篇文章主要給大家介紹了關于python中正則表達式findall用法的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
2022-09-09
深入了解python的函數(shù)參數(shù)
這篇文章主要為大家介紹了python的函數(shù)參數(shù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助
2021-12-12
python 開心網(wǎng)和豆瓣日記爬取的小爬蟲
我本科有個很幽默風趣的量子力學老師，他說了很多批話，跟個公知似的。他的很多文章都放在了開心網(wǎng)（kaixin001.com）上，為了留個紀念，用爬蟲保存下來
2021-05-05
Python實現(xiàn)求解最大公約數(shù)的五種方法總結
求最大公約數(shù)是習題中比較常見的類型，本文小編將給大家提供五種比較常見的算法，都是用Python語言實現(xiàn)的，感興趣的小伙伴可以了解一下
2022-07-07
Pyside2中嵌入Matplotlib的繪圖的實現(xiàn)
這篇文章主要介紹了Pyside2中嵌入Matplotlib的繪圖的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-02-02
Python NumPy灰度圖像的壓縮原理講解
在本篇文章里小編給大家整理的是一篇關于Python NumPy灰度圖像的壓縮原理講解內容，有興趣的朋友們可以學習參考下。
2021-08-08
對Python函數(shù)設計規(guī)范詳解
今天小編就為大家分享一篇對Python函數(shù)設計規(guī)范詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
Python序列化pickle模塊使用詳解
這篇文章主要介紹了Python序列化pickle模塊使用詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-03-03