Java API如何實現(xiàn)向Hive批量導入數(shù)據(jù)
更新時間：2021年07月22日 10:45:37 作者：盛裝吾步
這篇文章主要介紹了Java API如何實現(xiàn)向Hive批量導入數(shù)據(jù)的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
Java API實現(xiàn)向Hive批量導入數(shù)據(jù)
Java程序中產(chǎn)生的數(shù)據(jù)，如果導入oracle或者mysql庫，可以通過jdbc連接insert批量操作完成，但是當前版本的hive并不支持批量insert操作，因為需要先將結(jié)果數(shù)據(jù)寫入hdfs文件，然后插入Hive表中。
package com.enn.idcard;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* <p>Description: </p>
* @author kangkaia
* @date 2017年12月26日 下午1:42:24
*/
public class HiveJdbc {
public static void main(String[] args) throws IOException {
List<List> argList = new ArrayList<List>();
List<String> arg = new ArrayList<String>();
arg.add("12345");
arg.add("m");
argList.add(arg);
arg = new ArrayList<String>();
arg.add("54321");
arg.add("f");
argList.add(arg);
// System.out.println(argList.toString());
String dst = "/test/kk.txt";
createFile(dst,argList);
loadData2Hive(dst);
}
/**
* 將數(shù)據(jù)插入hdfs中，用于load到hive表中，默認分隔符是"\001"
* @param dst
* @param contents
* @throws IOException
*/
public static void createFile(String dst , List<List> argList) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path dstPath = new Path(dst); //目標路徑
//打開一個輸出流
FSDataOutputStream outputStream = fs.create(dstPath);
StringBuffer sb = new StringBuffer();
for(List<String> arg:argList){
for(String value:arg){
sb.append(value).append("\001");
}
sb.deleteCharAt(sb.length() - 4);//去掉最后一個分隔符
sb.append("\n");
}
sb.deleteCharAt(sb.length() - 2);//去掉最后一個換行符
byte[] contents = sb.toString().getBytes();
outputStream.write(contents);
outputStream.close();
fs.close();
System.out.println("文件創(chuàng)建成功！");
}
/**
* 將HDFS文件load到hive表中
* @param dst
*/
public static void loadData2Hive(String dst) {
String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
String CONNECTION_URL = "jdbc:hive2://server-13:10000/default;auth=noSasl";
String username = "admin";
String password = "admin";
Connection con = null;
try {
Class.forName(JDBC_DRIVER);
con = (Connection) DriverManager.getConnection(CONNECTION_URL,username,password);
Statement stmt = con.createStatement();
String sql = " load data inpath '"+dst+"' into table population.population_information ";
stmt.execute(sql);
System.out.println("loadData到Hive表成功！");
} catch (SQLException e) {
e.printStackTrace();
} catch (ClassNotFoundException e) {
e.printStackTrace();
}finally {
// 關(guān)閉rs、ps和con
if(con != null){
try {
con.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
}
}
注意：
本例使用mvn搭建，conf配置文件放在src/main/resources目錄下。
Hive提供的默認文件存儲格式有textfile、sequencefile、rcfile等。用戶也可以通過實現(xiàn)接口來自定義輸入輸?shù)奈募袷健?/p>
在實際應用中，textfile由于無壓縮，磁盤及解析的開銷都很大，一般很少使用。Sequencefile以鍵值對的形式存儲的二進制的格式，其支持針對記錄級別和塊級別的壓縮。rcfile是一種行列結(jié)合的存儲方式（text file和sequencefile都是行表[row table]），其保證同一條記錄在同一個hdfs塊中，塊以列式存儲。一般而言，對于OLTP而言，行表優(yōu)勢大于列表，對于OLAP而言，列表的優(yōu)勢大于行表，特別容易想到當做聚合操作時，列表的復雜度將會比行表小的多，雖然單獨rcfile的列運算不一定總是存在的，但是rcfile的高壓縮率確實減少文件大小，因此實際應用中，rcfile總是成為不二的選擇，達觀數(shù)據(jù)平臺在選擇文件存儲格式時也大量選擇了rcfile方案。
通過hdfs導入hive的表默認是textfile格式的，因此可以改變存儲格式，具體方法是先創(chuàng)建sequencefile、rcfile等格式的空表，然后重新插入數(shù)據(jù)即可。
insert overwrite table seqfile_table select * from textfile_table; …… insert overwrite table rcfile_table select * from textfile_table;
java 批量插入hive中轉(zhuǎn)在HDFS
稍微修改了下，這文章是通過將數(shù)據(jù)存盤后，加載到HIVE.
模擬數(shù)據(jù)放到HDFS然后加載到HIVE，請大家記得添加HIVE JDBC依賴否則會報錯。
加載前的數(shù)據(jù)表最好用外部表，否則會drop表的時候元數(shù)據(jù)會一起刪除！
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </dependency>
代碼
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Demo {
public static void main(String[] args) throws Exception {
List<List> argList = new ArrayList<List>();
List<String> arg = new ArrayList<String>();
arg.add("12345");
arg.add("m");
argList.add(arg);
arg = new ArrayList<String>();
arg.add("54321");
arg.add("f");
argList.add(arg);
// System.out.println(argList.toString());
String dst = "/test/kk.txt";
createFile(dst,argList);
// loadData2Hive(dst);
}
/**
* 將數(shù)據(jù)插入hdfs中，用于load到hive表中，默認分隔符是"|"
* @param dst
* @param contents
* @throws IOException
* @throws Exception
* @throws InterruptedException
*/
public static void createFile(String dst , List<List> argList) throws IOException, InterruptedException, Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop:9000"),conf,"root");
Path dstPath = new Path(dst); //目標路徑
//打開一個輸出流
FSDataOutputStream outputStream = fs.create(dstPath);
StringBuffer sb = new StringBuffer();
for(List<String> arg:argList){
for(String value:arg){
sb.append(value).append("|");
}
sb.deleteCharAt(sb.length() - 1);//去掉最后一個分隔符
sb.append("\n");
}
byte[] contents = sb.toString().getBytes();
outputStream.write(contents);
outputStream.flush();;
outputStream.close();
fs.close();
System.out.println("文件創(chuàng)建成功！");
}
/**
* 將HDFS文件load到hive表中
* @param dst
*/
public static void loadData2Hive(String dst) {
String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";
String CONNECTION_URL = "jdbc:hive2://hadoop:10000/default";
String username = "root";
String password = "root";
Connection con = null;
try {
Class.forName(JDBC_DRIVER);
con = (Connection) DriverManager.getConnection(CONNECTION_URL,username,password);
Statement stmt = con.createStatement();
String sql = " load data inpath '"+dst+"' into table test ";//test 為插入的表
stmt.execute(sql);
System.out.println("loadData到Hive表成功！");
} catch (SQLException e) {
e.printStackTrace();
} catch (ClassNotFoundException e) {
e.printStackTrace();
}finally {
// 關(guān)閉rs、ps和con
if(con != null){
try {
con.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
}
}
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
mybatis參數(shù)類型不匹配錯誤argument type mismatch的處理方案
這篇文章主要介紹了mybatis參數(shù)類型不匹配錯誤argument type mismatch的處理方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-01-01
這篇文章主要介紹了使用Java SDK實現(xiàn)離線簽名，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-03-03
在Spring?Boot項目中,你可以使用Spring框架提供的@Scheduled注解來編寫定時任務,本文就來介紹一下SpringBoot項目中定時器的實現(xiàn),感興趣的可以了解一下2023-11-11
這篇文章主要介紹了mybatis中數(shù)組傳遞注意事項，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-09-09
這篇文章主要介紹了spring的Cache注解和redis的區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-12-12
這篇文章主要為大家介紹了Java Http多次請求復用同一連接示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-10-10
springcloud中Ribbon和RestTemplate實現(xiàn)服務調(diào)用與負載均衡
這篇文章主要介紹了Ribbon和RestTemplate實現(xiàn)服務調(diào)用與負載均衡,想了解負載均衡的同學可以參考下2021-04-04
SpringBoot 整合Tess4J庫實現(xiàn)圖片文字識別案例詳解
Tess4J是一個基于Tesseract OCR引擎的Java接口,可以用來識別圖像中的文本,說白了,就是封裝了它的API,讓Java可以直接調(diào)用,今天給大家分享一個SpringBoot整合Tess4j庫實現(xiàn)圖片文字識別的小案例2023-10-10
解決idea中maven項目打包成jar報錯:沒有主清單屬性的問題
這篇文章主要給大家分享了idea中maven項目打包成jar,報錯沒有主清單屬性解決方法,文中有詳細的解決方法,如果又遇到同樣問題的朋友可以參考一下本文2023-09-09
Java使用Apache Commons高效處理CSV文件的操作指南
在 Java 開發(fā)中,CSV（Comma-Separated Values,逗號分隔值）是一種常見的數(shù)據(jù)存儲格式,廣泛用于數(shù)據(jù)交換和簡單的存儲任務,本文將介紹Java使用Apache Commons高效處理CSV文件的操作指南,需要的朋友可以參考下2025-03-03