python訪問hdfs的操作

更新時間：2020年06月06日 10:02:07 作者：gdolphinw

這篇文章主要介紹了python訪問hdfs的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

pip install hdfs

python 讀取hdfs目錄或文件

import hdfs
 
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
  status=client.status(fileDir,False)
  if status:
    print (status)
    rst=client.download(fileDir,"/home/dev/gewei")
    print (rst)
exception Exception as e:
  print (e)

補充知識：用python訪問hdfs出現(xiàn)webhdfs找不到的情況

有可能是webhdfs服務沒有開啟

向hdfs-site.xml文件中添加屬性：

<property> 
  <name>dfs.webhdfs.enabled</name> 
  <value>true</value> 
</property>

可以使用如下命令檢測，

獲得目錄的列表：

curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"

以上這篇python訪問hdfs的操作就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

python數(shù)學模塊(math/decimal模塊)
這篇文章主要介紹了python數(shù)學模塊(math/decimal模塊),文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，需要的小伙伴可以參考一下
2022-09-09
使用Python實現(xiàn) 學生學籍管理系統(tǒng)
這篇文章主要介紹了使用Python實現(xiàn) 學生學籍管理系統(tǒng)，代碼大致分為五個函數(shù)組成，具體內容詳情本文給大家介紹的非常詳細,需要的朋友可以參考下
2019-11-11
tensorflow實現(xiàn)訓練變量checkpoint的保存與讀取
今天小編就為大家分享一篇tensorflow實現(xiàn)訓練變量checkpoint的保存與讀取，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
運行tensorflow python程序,限制對GPU和CPU的占用操作
今天小編就為大家分享一篇運行tensorflow python程序,限制對GPU和CPU的占用操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
深入了解Python的異常處理機制
這篇文章主要為大家介紹了Python的異常處理機制，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助
2021-12-12
基于Python開發(fā)批量提取Excel圖片的小工具
這篇文章主要為大家詳細介紹了如何使用Python中的openpyxl庫開發(fā)一個小工具,可以實現(xiàn)批量提取Excel圖片,有需要的小伙伴可以參考一下
2025-03-03
Python使用Altair創(chuàng)建交互式數(shù)據(jù)可視化的操作指南
Altair 是一個基于 Vega-Lite 的 Python 數(shù)據(jù)可視化庫,它旨在簡化數(shù)據(jù)可視化的創(chuàng)建過程,尤其適用于統(tǒng)計圖表的生成,Altair 強調聲明式編碼方式,通過簡單的語法,用戶能夠快速創(chuàng)建復雜的交互式圖表,本文將介紹 Altair 的基礎用法、常見圖表類型,需要的朋友可以參考下
2024-12-12
python通過ElementTree操作XML
這篇文章介紹了python通過ElementTree操作XML的方法，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-07-07
python容器的內置通用函數(shù)操作
容器是一種把多個元素組織在一起的數(shù)據(jù)結構，容器中的元素可以逐個地迭代獲取，可以用in, not in關鍵字判斷元素是否包含在容器中。接下來通過本文給大家介紹python容器的內置通用函數(shù)操作，感興趣的朋友一起看看吧
2021-11-11
基于 Python實現(xiàn)云服務器的CDN域名遠程鑒權配置
這篇文章主要介紹了基于 Python實現(xiàn)云服務器的CDN域名遠程鑒權配置，文章內容技術詳細，具有一定的參考價值，需要的小伙伴可以參考一下
2022-05-05