Hive導入csv文件示例

更新時間：2022年06月23日 14:27:36 作者：鴨梨山大哎

這篇文章主要為大家介紹了Hive導入csv文件示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

正文

現(xiàn)有文件為csv格式,需要導入hive中,設(shè)csv內(nèi)容如下

1001,zs,23
1002,lis,24

首先創(chuàng)建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

導入數(shù)據(jù)及查詢

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事項

如果建表是parquet格式可否load導入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用時會報錯

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先導入成textfile,之后再從臨時表導入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先導入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 創(chuàng)建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的數(shù)據(jù)插入到csv3
insert overwrite table csv3 select * from csv2;

總結(jié)

關(guān)鍵是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
csv要保存到hive的parquet,需要先保存成textfile

以上就是Hive導入csv文件示例的詳細內(nèi)容，更多關(guān)于Hive導入csv文件的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

SQL中日期格式處理方法大全
這篇文章主要給大家介紹了關(guān)于SQL中日期格式處理方法的相關(guān)資料,在SQL中日期格式化非常重要的,因日期SQL中的一個基數(shù)據(jù)類型,我們可以使用函數(shù)和選項來格式化日期,使用日期函數(shù)來處理日期數(shù)據(jù),需要的朋友可以參考下
2023-09-09
sql注入報錯之注入原理實例解析
所謂報錯注入,就是通過運行SQL查詢語句回顯查詢結(jié)果,下面這篇文章主要給大家介紹了關(guān)于sql注入報錯之注入原理的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
2022-06-06
SQL查詢的底層運行原理深入分析
這篇文章主要給大家介紹了關(guān)于SQL查詢的底層運行原理，文中通過實例代碼結(jié)束的非常詳細，對大家學習或者使用SQL具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧
2020-08-08
Python使用RethinkDB總結(jié)
最近一個項目要用到文檔數(shù)據(jù)庫，順便關(guān)注了一下 NoSQL 方面的消息。當前幾個比較流行的文檔數(shù)據(jù)庫引擎有 MongoDB, CouchDB, OrientDB 等，朋友推薦的是 MongoDB 和 RethinkDB
2014-03-03
使用Navicat導入和導出sql語句的圖文教程
Navicat是MySQL非常好用的可視化管理工具,功能非常強大,能滿足我們?nèi)粘?shù)據(jù)庫開發(fā)的所有需求,下面這篇文章主要給大家介紹了關(guān)于使用Navicat導入和導出sql語句的相關(guān)資料,需要的朋友可以參考下
2023-03-03
RBAC簡介_動力節(jié)點Java學院整理
這篇文章主要介紹了RBAC簡介，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-08-08
SQL的各種連接Join案例詳解
SQL JOIN 子句用于把來自兩個或多個表的行結(jié)合起來，基于這些表之間的共同字段，下面就為大家分享一下
2020-09-09
mybatis 項目配置文件實例詳解
這篇文章主要介紹了mybatis 項目配置文件實例詳解的相關(guān)資料,需要的朋友可以參考下
2017-03-03
Redis和Memcache的區(qū)別總結(jié)
這篇文章主要介紹了Redis和Memcache的區(qū)別,用三個總結(jié)來說明Redis和Memcache的區(qū)別,需要的朋友可以參考下
2014-05-05
OceanBase自動生成回滾SQL的全過程(數(shù)據(jù)庫變更時)
在開發(fā)中,數(shù)據(jù)的變更與維護工作一般較頻繁,當我們執(zhí)行數(shù)據(jù)庫的DML操作時,必須謹慎考慮變更對數(shù)據(jù)可能產(chǎn)生的后果,以及變更是否能夠順利執(zhí)行,所以本文給大家介紹了數(shù)據(jù)庫變更時,OceanBase如何自動生成回滾 SQL,需要的朋友可以參考下
2024-04-04