ASP.NET實(shí)現(xiàn)Hadoop增刪改查的示例代碼
更新時(shí)間：2017年10月12日 10:19:57 作者：逆世風(fēng)靈
本篇文章主要介紹了ASP.NET實(shí)現(xiàn)Hadoop增刪改查的示例代碼，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
本文介紹了ASP.NET實(shí)現(xiàn)Hadoop增刪改查的示例代碼，分享給大家，具體如下：
packages.config
<?xml version="1.0" encoding="utf-8"?> <packages> <package id="Microsoft.AspNet.WebApi.Client" version="4.0.20505.0" targetFramework="net46" /> <package id="Microsoft.Data.Edm" version="5.2.0" targetFramework="net46" /> <package id="Microsoft.Data.OData" version="5.2.0" targetFramework="net46" /> <package id="Microsoft.Hadoop.WebClient" version="0.12.5126.42915" targetFramework="net46" /> <package id="Microsoft.Net.Http" version="2.0.20505.0" targetFramework="net46" /> <package id="Microsoft.WindowsAzure.ConfigurationManager" version="1.8.0.0" targetFramework="net46" /> <package id="Newtonsoft.Json" version="4.5.11" targetFramework="net46" /> <package id="System.Spatial" version="5.2.0" targetFramework="net46" /> <package id="WindowsAzure.Storage" version="2.0.4.1" targetFramework="net46" /> </packages>
HDFSAccess.cs
using Microsoft.Hadoop.WebHDFS;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
namespace Physical
{
public sealed class HDFSAccess
{
private readonly WebHDFSClient webHDFSClient;
public HDFSAccess(string uriString, string userName)
{
this.webHDFSClient = new WebHDFSClient(new Uri(uriString), userName);
}
public List<string> GetDirectories(string path)
{
var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
return directoryStatus.Directories.Select(d => d.PathSuffix).ToList();
}
public List<string> GetFiles(string path)
{
var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
return directoryStatus.Files.Select(d => d.PathSuffix).ToList();
}
public bool CreateDirectory(string path)
{
// 傳入路徑不包含根目錄時(shí)，預(yù)設(shè)會(huì)在根目錄「/」底下
return this.webHDFSClient.CreateDirectory(path).Result;
}
public bool DeleteDirectory(string path)
{
// 傳入路徑不包含根目錄時(shí)，預(yù)設(shè)會(huì)在根目錄「/」底下
return this.webHDFSClient.DeleteDirectory(path).Result;
}
public string CreateFile(string localFile, string remotePath)
{
// 傳入遠(yuǎn)端路徑不包含根目錄時(shí)，預(yù)設(shè)會(huì)在根目錄「/」底下
return this.webHDFSClient.CreateFile(localFile, remotePath).Result;
}
public bool DeleteFile(string path)
{
// 傳入路徑不包含根目錄時(shí)，預(yù)設(shè)會(huì)在根目錄「/」底下
return this.webHDFSClient.DeleteDirectory(path).Result;
}
public HttpResponseMessage OpenFile(string path)
{
// 傳入路徑不包含根目錄時(shí)，預(yù)設(shè)會(huì)在根目錄「/」底下
return this.webHDFSClient.OpenFile(path).Result;
}
}
}
Program.cs
using Physical;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace MyTest
{
class Program
{
// HDFS cluster 客戶端進(jìn)入端點(diǎn)設(shè)定于 主機(jī)上
// 預(yù)設(shè)端點(diǎn)：http://[主機(jī)名稱]:50070
// 預(yù)設(shè)帳號(hào)：Wu
private static HDFSAccess access = new HDFSAccess(@"http://127.0.0.1:50070", "Wu");
static void Main(string[] args)
{
GetDirectoriesTest();
Console.WriteLine("----------------------------------------------");
GetFilesTest();
Console.WriteLine("----------------------------------------------");
DirectoryTest();
Console.WriteLine("----------------------------------------------");
FileTest();
Console.WriteLine("----------------------------------------------");
OpenFileTest();
Console.ReadKey();
}
public void TestCleanup()
{
//取得根目錄資料夾
var directories = access.GetDirectories(@"/");
// 移除預(yù)設(shè)目錄：tmp、user 外的目錄
foreach (var directory in directories)
{
if ("tmp".Equals(directory) || "user".Equals(directory))
{
continue;
}
else
{
access.DeleteDirectory(directory);
}
}
// 取得根目錄檔案
var files = access.GetFiles(@"/");
// 移除所有檔案
foreach (var file in files)
{
access.DeleteFile(file);
}
// 移除 OpenFile 轉(zhuǎn)存檔案
File.Delete(Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg"));
}
//_傳入根目錄_預(yù)期回傳預(yù)設(shè)目錄
public static void GetDirectoriesTest()
{
// 預(yù)設(shè)根目錄下有兩個(gè)目錄：tmp、user
var expected = new List<string>() { "tmp", "user", };
var actual = access.GetDirectories(@"/");
foreach (var item in actual)
{
Console.WriteLine(item);
}
}
//_傳入根目錄_預(yù)期回傳空集合
public static void GetFilesTest()
{
// 預(yù)設(shè)根目錄下沒有檔案
var expected = new List<string>();
var actual = access.GetFiles(@"/");
foreach (var item in actual)
{
Console.WriteLine(item);
}
}
//_建立zzz目錄_預(yù)期成功_預(yù)期根目錄下有zzz目錄_刪除zzz目錄_預(yù)期成功_預(yù)期根目錄下無zzz目錄
public static void DirectoryTest()
{
var directoryName = "zzz";
// 建立zzz目錄
var boolCreateDirectory = access.CreateDirectory(directoryName);
Console.WriteLine("建立zzz目錄_預(yù)期成功:"+boolCreateDirectory);
// 建立zzz目錄_預(yù)期成功_預(yù)期根目錄下有zzz目錄
// 預(yù)設(shè)根目錄下有三個(gè)目錄：tmp、user、zzz
var expectedCreateDirectory = new List<string>() { "tmp", "user", directoryName, };
var actualCreateDirectory = access.GetDirectories(@"/");
foreach (var item in actualCreateDirectory)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// 刪除zzz目錄
var boolDeleteDirectory = access.DeleteDirectory(directoryName);
Console.WriteLine("刪除zzz目錄_預(yù)期成功:" + boolDeleteDirectory);
// 刪除zzz目錄_預(yù)期成功_預(yù)期根目錄下無zzz目錄
// 預(yù)設(shè)根目錄下有兩個(gè)目錄：tmp、user
var expectedDeleteDirectory = new List<string>() { "tmp", "user", };
var actualDeleteDirectory = access.GetDirectories(@"/");
foreach (var item in actualDeleteDirectory)
{
Console.WriteLine(item);
}
}
//_建立Test檔案_預(yù)期根目錄下有Test檔案_刪除Test檔案_預(yù)期成功_預(yù)期根目錄下無Test檔案
public static void FileTest()
{
var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
var remotePath = "Test.jpg";
// 建立Test檔案
var boolCreateFile = access.CreateFile(localFile, remotePath);
// 建立Test檔案_預(yù)期根目錄下有Test檔案
var expectedCreateFile = new List<string>() { remotePath, };
var actualCreateFile = access.GetFiles(@"/");
foreach (var item in actualCreateFile)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// 刪除Test檔案
var boolDeleteFile = access.DeleteDirectory(remotePath);
Console.WriteLine("刪除Test檔案_預(yù)期成功:"+boolDeleteFile);
// 刪除Test檔案_預(yù)期成功_預(yù)期根目錄下無Test檔案
var expectedDeleteFile = new List<string>();
var actualDeleteFile = access.GetFiles(@"/");
foreach (var item in actualDeleteFile)
{
Console.WriteLine(item);
}
}
//_建立Test檔案_預(yù)期根目錄下有Test檔案_取得Test檔案_預(yù)期成功_預(yù)期回傳Test檔案Stream并轉(zhuǎn)存成功
public static void OpenFileTest()
{
var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
var remotePath = "Test.jpg";
var saveFile = Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg");
Console.WriteLine("saveFile:" + saveFile);
Console.WriteLine("********************************************");
// 建立Test檔案
var boolCreateFile = access.CreateFile(localFile, remotePath);
// 建立Test檔案_預(yù)期根目錄下有Test檔案
var expectedCreateFile = new List<string>() { remotePath, };
var actualCreateFile = access.GetFiles(@"/");
foreach (var item in actualCreateFile)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// 取得Test檔案
var response = access.OpenFile(remotePath);
// 取得Test檔案_預(yù)期成功
response.EnsureSuccessStatusCode();
// 取得Test檔案_預(yù)期成功_預(yù)期回傳Test檔案Stream并轉(zhuǎn)存成功
using (var fs = File.Create(saveFile))
{
response.Content.CopyToAsync(fs).Wait();
}
Console.WriteLine(File.Exists(saveFile));
}
}
}
運(yùn)行結(jié)果如圖:
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
ASP.NET中用js取CheckBoxList中值的方法實(shí)例
用腳本取CheckBoxList中的值，并用"|"將其分開，之后將取到的值放入文本框，返回?cái)?shù)據(jù)庫做添加或者修改2013-07-07
asp.net(C#)函數(shù)對(duì)象參數(shù)傳遞的問題
我們知道在.net里class是引用類型，在函數(shù)參數(shù)表中的對(duì)象傳遞的都是對(duì)象的引用，所以在函數(shù)體內(nèi)對(duì)其對(duì)象參數(shù)的修改會(huì)影響函數(shù)外對(duì)應(yīng)的對(duì)象本身，例如下面的程序.2009-12-12
本文主要介紹了ASP.NET MVC分頁控件。具有很好的參考價(jià)值，下面跟著小編一起來看下吧2017-02-02
通過Web Service實(shí)現(xiàn)IP地址查詢功能的示例
下面小編就為大家分享一篇通過Web Service實(shí)現(xiàn)IP地址查詢功能的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2017-12-12
asp.net 讀取并修改config文件實(shí)現(xiàn)代碼
讀取并修改 config 文件的asp.net代碼，方便我們用asp.net修改配置文件。2009-11-11
前兩天在學(xué)習(xí)MongoDB相關(guān)的知識(shí)，做了個(gè)小Demo，下面這篇文章主要給大家介紹了關(guān)于asp.net core集成MongoDB的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考下2018-10-10
不使用web服務(wù)(Service)實(shí)現(xiàn)文本框自動(dòng)完成擴(kuò)展
以前寫Ajax 的AutoCompleteExtender功能，都需要寫WCF Service或是Web Service數(shù)據(jù)源，下面的演示，不用寫Service來實(shí)現(xiàn)文本框的AutoCompete extender功能，感興趣的朋友可以參考下哈2013-04-04
iis部署前后端分離項(xiàng)目全過程(Vuet前端和.NET6后端)
這篇文章主要介紹了如何在IIS上部署前后端分離的項(xiàng)目,包括安裝iis管理器、部署前端項(xiàng)目、解決刷新404問題、部署后端程序、設(shè)置前端反向代理等步驟,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2025-01-01
Asp.net GridView使用大全(分頁實(shí)現(xiàn))
關(guān)于GridView的使用涉及很多，網(wǎng)絡(luò)上零零散散的有一些，為了讓自己使用方便，也為了大家能很好的學(xué)習(xí)與工作，我把網(wǎng)絡(luò)上的GridView使用方法收集了一些2013-04-04
.NET?Core?使用委托實(shí)現(xiàn)動(dòng)態(tài)流程組裝的思路詳解
模擬管道模型中間件(Middleware)部分，運(yùn)用委托，進(jìn)行動(dòng)態(tài)流程組裝，本次代碼實(shí)現(xiàn)就直接我之前寫的動(dòng)態(tài)代理實(shí)現(xiàn)AOP的基礎(chǔ)上改的，就不另起爐灶了，主要思路就是運(yùn)用委托，具體實(shí)現(xiàn)過程跟隨小編一起看看吧2022-01-01