DataGrip 連接 HiveServer2 報錯的問題
更新時間：2020年09月29日 14:29:11 作者：_lizhiqiang
這篇文章主要介紹了DataGrip 連接 HiveServer2 報錯的問題,本文通過圖文實例相結(jié)合給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
DataGrip 連接 HiveServer2 報錯
一、Heap memory
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
因為 DataGrip 會開好幾個 Session，我這里是 4 個 Session
因此有時候如果執(zhí)行的語句過大，會造成堆內(nèi)存來不起回收。導(dǎo)致堆內(nèi)存溢出，反應(yīng)在 DataGrip 就是執(zhí)行語句卡住沒反應(yīng)，等很久然后報錯。這里有個超時時間，等很久就是超過這個超時時間后報錯。
我們可以適當(dāng)調(diào)大 heap 內(nèi)存:
# 在 hive/bin 目錄下的 hive-config.sh，最后一行就是設(shè)置 heap 的大小。
69 # Default to use 256MB
70 export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-2048}
二、Too many open files
lzq@hadoop102 ~ ulimit -a -t: cpu time (seconds) unlimited -f: file size (blocks) unlimited -d: data seg size (kbytes) unlimited -s: stack size (kbytes) 8192 -c: core file size (blocks) 0 -m: resident set size (kbytes) unlimited -u: processes 10000 -n: file descriptors 4096 -l: locked-in-memory size (kbytes) 64 -v: address space (kbytes) unlimited -x: file locks unlimited -i: pending signals 31830 -q: bytes in POSIX msg queues 819200 -e: max nice 0 -r: max rt priority 0 -N 15: unlimited
修改最大文件連接數(shù)量
- Linux 任何外部設(shè)備(socket、文件)都可以看做一個文件，而一個文件就可以通過一個文件描述符來讀寫。
-n: file descriptors 4096描述的就是一進程可以打開文件最大的數(shù)量- 默認(rèn)是1024，我們可以通過命令
ulimit -n 4096把最大打開文件調(diào)整到 4096，如果重啟會還原成默認(rèn)值 - 永久設(shè)置方法
vim /etc/security/limits.conf 在最后加入 * soft nofile 65535 * hard nofile 65535
安裝 lsof
sudo yum install lsof -y
查看當(dāng)前系統(tǒng)打開的文件數(shù)量
lsof | wc -l watch "lsof | wc -l"
lzq@hadoop102 ~ jps 25696 Jps 1522 NameNode 22627 RunJar 1716 DataNode 3140 Kafka 2309 NodeManager 2647 QuorumPeerMain 22889 RunJar 23322 RunJar
查看某一進程的打開文件數(shù)量
# RunJar 就是 HiveServer2 的進程 lsof -p pid | wc -l lsof -p 22627 | wc -l lsof -p 22889 | wc -l lsof -p 23322 | wc -l
到此這篇關(guān)于DataGrip 連接 HiveServer2 報錯的文章就介紹到這了,更多相關(guān)DataGrip 連接 HiveServer2 報錯內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
關(guān)于sql語句中的連接（join）關(guān)鍵字，是較為常用而又不太容易理解的關(guān)鍵字，下面就為大家介紹一下相關(guān)資料,需要的朋友可以參考下2020-09-09
Access與sql server的語法區(qū)別總結(jié)
這篇文章主要介紹了Access與sql server的語法區(qū)別總結(jié)，需要的朋友可以參考下2007-03-03
當(dāng)你檢索的數(shù)據(jù)只是一條記錄時,你所編寫的事務(wù)語句代碼往往使用SELECT INSERT語句,但如果從某一結(jié)果集中逐一地讀取一條記錄呢？游標(biāo)為我們提供了一種極為優(yōu)秀的解決方案,這篇文章主要給大家介紹了關(guān)于SQL中游標(biāo)(cursor)基本使用的相關(guān)資料,需要的朋友可以參考下2021-11-11
在我們爬蟲或者調(diào)API獲取數(shù)據(jù)后，需要將數(shù)據(jù)存入到數(shù)據(jù)庫中，如果數(shù)據(jù)是列表嵌套字典格式的話，一般做法是遍歷列表，然后用字典生成對應(yīng)的SQL語句再執(zhí)行插入到表中，本文將介紹一種更加簡便的方法來插入字典類型的數(shù)據(jù),需要的朋友可以參考下2022-07-07
數(shù)據(jù)庫觸發(fā)器(Trigger)的一點使用心得
最近了解了一下數(shù)據(jù)庫觸發(fā)器，并做一點實際的應(yīng)用，在翻看其概念的時候，還是本著從理解的角度來學(xué)習(xí)的，但是，到了實際的應(yīng)用場景中，還是有一些特別注意的地方的，下面是自己在應(yīng)用中的幾點體會2009-07-07
本文主要介紹了淺談三種數(shù)據(jù)庫的SQL注入，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
這篇文章主要介紹了數(shù)據(jù)庫設(shè)計經(jīng)驗談的相關(guān)資料,需要的朋友可以參考下2007-03-03
MSSQL轉(zhuǎn)MySQL數(shù)據(jù)庫的實際操作記錄
今天把一個MSSQL的數(shù)據(jù)庫轉(zhuǎn)成MySQL，在沒有轉(zhuǎn)換工具的情況下，對于字段不多的數(shù)據(jù)表我用了如下手功轉(zhuǎn)換的方法，還算方便。MSSQL使用企業(yè)管理器操作，MySQL用phpmyadmin操作。2010-06-06
StarRocks數(shù)據(jù)庫詳解(什么是StarRocks)
StarRocks是一個高性能的全場景MPP數(shù)據(jù)庫,支持多種數(shù)據(jù)導(dǎo)入導(dǎo)出方式,包括Spark、Flink、Hadoop等,它采用分布式架構(gòu),支持多副本和彈性容錯,本文介紹StarRocks詳解,感興趣的朋友一起看看吧2025-03-03
這篇文章主要介紹了數(shù)據(jù)庫設(shè)計的折衷方法,需要的朋友可以參考下2007-03-03