JAVA操作HDFS案例的簡單實現(xiàn)
更新時間：2017年08月09日 09:04:45 作者：mmd0308
本篇文章主要介紹了JAVA操作HDFS案例的簡單實現(xiàn)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
本文介紹了JAVA操作HDFS案例的簡單實現(xiàn)，分享給大家，也給自己做個筆記
Jar包引入，pom.xml：
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.0</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.8.0</version> </dependency>
將本地文件上傳到hdfs服務器:
/**
* 上傳文件到hdfs上
*/
@Test
public void upload() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hzq:9000");
FileSystem fs = FileSystem.get(conf);
fs.copyFromLocalFile(new Path("/home/hzq/jdk1.8.tar.gz"),new Path("/demo"));
}
解析：
在開發(fā)中我沒有引入“core-site.xml”配置文件，所以在本地調(diào)用時使用conf進行配置“conf.set("fs.defaultFS","hdfs://hzq:9000");“，下面雷同。
將hdfs上文件下載到本地：
/**
* 將hdfs上文件下載到本地
*/
@Test
public void download() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hzq:9000");
FileSystem fs = FileSystem.newInstance(conf);
fs.copyToLocalFile(new Path("/java/jdk1.8.tar.gz"),new Path("/home/hzq/"));
}
刪除hdfs上指定文件：
/**
* 刪除hdfs上的文件
* @throws IOException
*/
@Test
public void removeFile() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hzq:9000");
FileSystem fs = FileSystem.newInstance(conf);
fs.delete(new Path("/demo/jdk1.8.tar.gz"),true);
}
在hdfs上創(chuàng)建文件夾：
/**
* 在hdfs更目錄下面創(chuàng)建test1文件夾
* @throws IOException
*/
@Test
public void mkdir() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hzq:9000");
FileSystem fs = FileSystem.newInstance(conf);
fs.mkdirs(new Path("/test1"));
}
列出hdfs上所有的文件或文件夾：
@Test
public void listFiles() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hzq:9000");
FileSystem fs = FileSystem.newInstance(conf);
// true 表示遞歸查找 false 不進行遞歸查找
RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path("/"), true);
while (iterator.hasNext()){
LocatedFileStatus next = iterator.next();
System.out.println(next.getPath());
}
System.out.println("----------------------------------------------------------");
FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
for (int i = 0; i < fileStatuses.length; i++) {
FileStatus fileStatus = fileStatuses[i];
System.out.println(fileStatus.getPath());
}
}
運行結(jié)果：
結(jié)果分析：
“l(fā)istFiles“列出的是hdfs上所有文件的路徑，不包括文件夾。根據(jù)你的設置，支持遞歸查找。
”listStatus“列出的是所有的文件和文件夾，不支持遞歸查找。如許遞歸，需要自己實現(xiàn)。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
springboot下添加全局異常處理和自定義異常處理的過程解析
在spring項目中，優(yōu)雅處理異常，好處是可以將系統(tǒng)產(chǎn)生的全部異常統(tǒng)一捕獲處理，自定義的異常也由全局異常來捕獲，如果涉及到validator參數(shù)校驗器使用全局異常捕獲也是較為方便，這篇文章主要介紹了springboot下添加全局異常處理和自定義異常處理,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了兩種實現(xiàn)Java類隔離加載的方法，幫助大家更好的理解和學習使用Java，感興趣的朋友可以了解下2021-02-02
使用IntelliJ IDEA查看類的繼承關系圖形(圖文詳解)
這篇文章主要介紹了使用IntelliJ IDEA查看類的繼承關系圖形，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的工作或?qū)W習具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
spring boot--從controller到DAO操作
這篇文章主要介紹了spring boot--從controller到DAO操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
在Java和PostgreSQL枚舉之間轉(zhuǎn)換的通用方法
枚舉類型（enum）是一種方便的數(shù)據(jù)類型,允許我們指定一個常量列表,對象字段或數(shù)據(jù)庫列可以設置為該列表中的值,在本文中,我將回顧處理Java和PostgreSQL枚舉轉(zhuǎn)換的通用方法,需要的朋友可以參考下2023-10-10
這篇文章主要介紹了maven 隱式依賴引起的包沖突解決辦法的相關資料,需要的朋友可以參考下2016-12-12
使用CXF和Jersey框架來進行Java的WebService編程
這篇文章主要介紹了使用CXF和Jersey框架來進行Java的WebService編程,Web service是一個平臺獨立的低耦合的自包含的基于可編程的web的應用程序,需要的朋友可以參考下2015-12-12
這篇文章主要介紹了java中object類實例分析，具有一定借鑒價值，需要的朋友可以參考下。2017-12-12
這篇文章主要介紹了使用feign配置網(wǎng)絡ip代理，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-06-06
SpringBoot中@RequestBody不能和Multipart同時傳遞的問題解決
本文主要介紹了SpringBoot中@RequestBody不能和Multipart同時傳遞的問題解決，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04