StarRocks簡(jiǎn)介

StarRocks 是一款高速、實(shí)時(shí)、全場(chǎng)景的MPP（大規(guī)模并行處理）分析型數(shù)據(jù)庫系統(tǒng)，專為現(xiàn)代數(shù)據(jù)分析場(chǎng)景設(shè)計(jì)，強(qiáng)調(diào)亞秒級(jí)查詢性能和高并發(fā)能力。它兼容MySQL協(xié)議，使得用戶可以利用現(xiàn)有的MySQL客戶端工具和BI工具進(jìn)行查詢和數(shù)據(jù)分析。StarRocks基于MPP架構(gòu)，采用全向量化執(zhí)行引擎、列式存儲(chǔ)技術(shù)和智能優(yōu)化器等先進(jìn)技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)的快速加載、實(shí)時(shí)更新以及復(fù)雜查詢的高效處理。

可以滿足企業(yè)級(jí)用戶的多種分析需求，廣泛應(yīng)用于實(shí)時(shí)數(shù)倉(cāng)、OLAP 報(bào)表、數(shù)據(jù)湖分析等場(chǎng)景。

MPP (Massively Parallel Processing)，即大規(guī)模并行處理。是將任務(wù)并行的分散到多個(gè)服務(wù)器和節(jié)點(diǎn)上，在每個(gè)節(jié)點(diǎn)上計(jì)算完成后，將各自部分的結(jié)果匯總在一起得到最終的結(jié)果(與Hadoop相似)。

一、應(yīng)用場(chǎng)景

OLAP 多維分析

? 利用 StarRocks 的 MPP 框架和向量化執(zhí)行引擎，用戶可以靈活的選擇雪花模型，星型模型，寬表模型 或者預(yù)聚合模型。適用于靈活配置的 多維分析報(bào)表，業(yè)務(wù)場(chǎng)景包括：

• 用戶行為分析
• 用戶畫像、標(biāo)簽分析、圈人
• 跨主題業(yè)務(wù)分析
• 財(cái)務(wù)報(bào)表
• 系統(tǒng)監(jiān)控分析

實(shí)時(shí)數(shù)據(jù)倉(cāng)庫

? 設(shè)計(jì)和實(shí)現(xiàn)了 Primary-Key 模型，能夠 實(shí)時(shí)更新數(shù)據(jù)并極速查詢，可以 秒級(jí)同步 TP (Transaction Processing) 數(shù)據(jù)庫的變化，構(gòu)建實(shí)時(shí)數(shù)倉(cāng)，業(yè)務(wù)場(chǎng)景包括：

• 電商大促數(shù)據(jù)分析
• 物流行業(yè)的運(yùn)單分析
• 金融行業(yè)績(jī)效分析、指標(biāo)計(jì)算 直播質(zhì)量分析
• 廣告投放分析
• 管理駕駛艙

高并發(fā)查詢

StarRocks 通過良好的數(shù)據(jù)分布特性，靈活的索引以及物化視圖等特性，可以解決面向用戶側(cè)的分析 場(chǎng)景，業(yè)務(wù)場(chǎng)景包括：

• 廣告主報(bào)表分析
• 零售行業(yè)渠道人員分析
• SaaS 行業(yè)面向用戶分析報(bào)表
• Dashboard 多頁面分析

統(tǒng)一分析

• 通過使用一套系統(tǒng)解決多維分析、高并發(fā)查詢、預(yù)計(jì)算、實(shí)時(shí)分析查詢等場(chǎng)景，降低系統(tǒng)復(fù)雜度和 多技術(shù)棧開發(fā)與維護(hù)成本。
• 使用 StarRocks 統(tǒng)一管理數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫，將高并發(fā)和實(shí)時(shí)性要求很高的業(yè)務(wù)放在 StarRocks 中 分析，也可以使用 External Catalog 和外部表進(jìn)行數(shù)據(jù)湖上的分析

二、StarRocks與MySQL比較

StarRocks與MySQL的相同點(diǎn)：

• 兼容性：StarRocks支持MySQL協(xié)議，用戶可以直接使用MySQL客戶端進(jìn)行查詢，降低了遷移和使用門檻。
• SQL語法：基本遵循MySQL的SQL語法，使得熟悉MySQL的用戶能夠快速適應(yīng)。

參考手冊(cè) | StarRocks

StarRocks與MySQL的不同點(diǎn)：

1. 應(yīng)用場(chǎng)景：MySQL主要面向OLTP（在線事務(wù)處理）場(chǎng)景，而StarRocks專注于OLAP（在線分析處理）領(lǐng)域，尤其擅長(zhǎng)海量數(shù)據(jù)的批量查詢和實(shí)時(shí)分析。
2. 架構(gòu)設(shè)計(jì)：StarRocks采用MPP架構(gòu)，能夠充分利用分布式計(jì)算資源，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的并行處理，相較于MySQL的單機(jī)或多主從架構(gòu)，更適合大數(shù)據(jù)分析。
3. 存儲(chǔ)與優(yōu)化：StarRocks采用列式存儲(chǔ)和向量化執(zhí)行引擎，大大提高了數(shù)據(jù)壓縮率和查詢速度，尤其是針對(duì)大數(shù)據(jù)量、低延遲的復(fù)雜查詢場(chǎng)景表現(xiàn)優(yōu)異。
4. 數(shù)據(jù)導(dǎo)入與更新：StarRocks支持實(shí)時(shí)數(shù)據(jù)攝入，允許用戶快速加載大量數(shù)據(jù)，并對(duì)已有數(shù)據(jù)進(jìn)行實(shí)時(shí)更新，而MySQL在處理大規(guī)模數(shù)據(jù)批處理和實(shí)時(shí)分析時(shí)效率相對(duì)較弱。

StarRocks的優(yōu)點(diǎn)：

• 高性能：極致的查詢性能和并發(fā)能力，適用于實(shí)時(shí)業(yè)務(wù)報(bào)表、實(shí)時(shí)數(shù)據(jù)分析等場(chǎng)景。
• 易用性：兼容MySQL協(xié)議和豐富的生態(tài)系統(tǒng)，易于集成現(xiàn)有工具和環(huán)境。
• 擴(kuò)展性：支持水平擴(kuò)展，可根據(jù)業(yè)務(wù)需求動(dòng)態(tài)增減計(jì)算和存儲(chǔ)資源。
• 實(shí)時(shí)性：支持實(shí)時(shí)數(shù)據(jù)攝取和更新，滿足實(shí)時(shí)數(shù)據(jù)分析需求。

StarRocks的缺點(diǎn)（或挑戰(zhàn)）：

1. 適用范圍：盡管高度優(yōu)化，但對(duì)于需要強(qiáng)事務(wù)一致性保證的OLTP場(chǎng)景，相比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫可能不占優(yōu)勢(shì)。
2. 成熟度：相比于MySQL等久經(jīng)市場(chǎng)考驗(yàn)的產(chǎn)品，StarRocks作為新興的分析型數(shù)據(jù)庫，社區(qū)和技術(shù)支持的成熟度可能還在不斷提升中。
3. 生態(tài)建設(shè)：盡管兼容MySQL協(xié)議，但在特定插件、第三方工具支持等方面，與MySQL龐大的生態(tài)系統(tǒng)相比可能仍有差距。

三、系統(tǒng)架構(gòu)

1. 前端（Frontend, FE）節(jié)點(diǎn)
   • 作用：FE節(jié)點(diǎn)負(fù)責(zé)處理客戶端的所有交互，包括SQL解析、查詢優(yōu)化、元數(shù)據(jù)管理和集群協(xié)調(diào)。
   • 構(gòu)成：由多個(gè)FE節(jié)點(diǎn)組成，其中包含follower和observer角色，通過leader選舉機(jī)制確保高可用性。
   • 功能
     • 接收并解析SQL查詢請(qǐng)求。
     • 生成高效的查詢執(zhí)行計(jì)劃。
     • 維護(hù)全局的元數(shù)據(jù)信息，如表結(jié)構(gòu)、分區(qū)信息、節(jié)點(diǎn)狀態(tài)等。
     • 負(fù)責(zé)整個(gè)系統(tǒng)的資源調(diào)度和任務(wù)分配。
2. 后端（Backend, BE）節(jié)點(diǎn)
   • 作用：BE節(jié)點(diǎn)承擔(dān)實(shí)際的數(shù)據(jù)存儲(chǔ)和計(jì)算工作，是執(zhí)行查詢的核心部分。
   • 構(gòu)成：多個(gè)BE節(jié)點(diǎn)構(gòu)成數(shù)據(jù)存儲(chǔ)和處理集群，每個(gè)節(jié)點(diǎn)都有自己的計(jì)算和存儲(chǔ)資源。
   • 功能
     • 存儲(chǔ)和管理用戶數(shù)據(jù)，采用列式存儲(chǔ)和多級(jí)索引優(yōu)化。
     • 執(zhí)行FE節(jié)點(diǎn)下發(fā)的查詢?nèi)蝿?wù)，在本地節(jié)點(diǎn)并行處理數(shù)據(jù)。
     • 支持?jǐn)?shù)據(jù)的分布式存儲(chǔ)和并行計(jì)算，實(shí)現(xiàn)快速數(shù)據(jù)檢索和聚合。
3. Broker

? StarRocks中和外部HDFS/對(duì)象存儲(chǔ)等外部數(shù)據(jù)對(duì)接的中轉(zhuǎn)服務(wù)，輔助提供導(dǎo)入導(dǎo)出功能。

數(shù)據(jù)分布與復(fù)制

• StarRocks的數(shù)據(jù)表會(huì)被劃分為多個(gè)tablet（數(shù)據(jù)分片），這些tablet均勻分布在BE節(jié)點(diǎn)上，形成分布式數(shù)據(jù)存儲(chǔ)。
• 為了實(shí)現(xiàn)高可用和容錯(cuò)，StarRocks支持?jǐn)?shù)據(jù)的多副本備份，每個(gè)tablet可以在不同BE節(jié)點(diǎn)上有多份拷貝。

查詢處理流程

• 客戶端提交SQL查詢至任意一個(gè)FE節(jié)點(diǎn)。
• FE節(jié)點(diǎn)解析SQL語句，生成最優(yōu)查詢計(jì)劃，并將執(zhí)行計(jì)劃分解成子任務(wù)發(fā)送給相應(yīng)的BE節(jié)點(diǎn)。
• 各個(gè)BE節(jié)點(diǎn)并行執(zhí)行子任務(wù)，并將結(jié)果返回給FE節(jié)點(diǎn)。
• FE節(jié)點(diǎn)收集各BE節(jié)點(diǎn)的結(jié)果，并進(jìn)行必要的合并與排序，最終將查詢結(jié)果返回給客戶端。

集群擴(kuò)展與穩(wěn)定性

• StarRocks通過增加FE和BE節(jié)點(diǎn)數(shù)量來線性擴(kuò)展處理能力和存儲(chǔ)容量。
• 通過心跳機(jī)制監(jiān)控節(jié)點(diǎn)健康狀況，并自動(dòng)調(diào)整負(fù)載均衡和故障轉(zhuǎn)移，保障系統(tǒng)的穩(wěn)定性和可用性。

四、StarRocks搭建

進(jìn)入官網(wǎng)：Download StarRocks Free | StarRocks

下載StarRocks版本3.0.9：

上傳到虛擬機(jī)：

解壓：

tar -zxvf StarRocks-3.0.9.tar.gz -C /opt

進(jìn)入目錄修改 conf/fe.conf 中 JVM 的堆大小，根據(jù)實(shí)際的大小設(shè)置，并創(chuàng)建元數(shù)據(jù)目錄:

cd /opt/StarRocks-3.0.9/fe
mkdir meta

進(jìn)入到解壓目錄的 be 下，創(chuàng)建數(shù)據(jù)存儲(chǔ)目錄：

mkdir storage

FE部署：

由于我的有報(bào)錯(cuò)，StarRocksFE進(jìn)程會(huì)停掉，查找得知8030端口被JAVA進(jìn)程占用。

# 端口查看：
netstat -tulpn | grep :9050

StarRocks FE的8030端口被占用，進(jìn)入fe文件下的conf/fe.conf文件修改改為8050：

meta_dir = /opt/StarRocks-3.0.9/fe/meta
JAVA_HOME = /usr/java/jdk1.8.0_291-amd64
http_port = 8050

將改好的 StarRocks 包分發(fā)至另外兩個(gè) 服務(wù)器中：

scp -r StarRocks-3.0.9 root@xy2:/opt/
scp -r StarRocks-3.0.9 root@xy3:/opt/

進(jìn)入目錄并啟動(dòng)FE節(jié)點(diǎn),使用jps查看進(jìn)程：

cd /opt/StarRocks-3.0.9/fe
bin/start_fe.sh --daemon

使用ip：8050可以查看web端：

使用mysql連接FE：

mysql -h xy1 -u root -P 9030

使用命令查看FE狀況：

SHOW PROC '/frontends'\G

分別在另外節(jié)點(diǎn)啟動(dòng)fe：

bin/start_fe.sh --helper xy1:9010 --daemon

在節(jié)點(diǎn)xy1的mysql中添加FE節(jié)點(diǎn)（角色也分為FOLLOWER、OBSERVER）：

添加：
ALTER SYSTEM ADD FOLLOWER "xy2:9010";
ALTER SYSTEM ADD FOLLOWER "xy3:9010";

移除：
 alter system drop follower "xy2:9010";
 alter system drop observer "xy2:9010";
 
 查看：
 SHOW PROC '/frontends'\G

BE部署：

進(jìn)入BE，創(chuàng)建storage（這里上面已經(jīng)創(chuàng)建）：

cd /opt/StarRocks-3.0.9/be
mkdir storage

進(jìn)入conf/be.conf進(jìn)行修改（每個(gè)節(jié)點(diǎn)都要）：

JAVA_HOME = /usr/java/jdk1.8.0_291-amd64
storage_root_path=/opt/StarRocks-3.0.9/be/storage
be_http_port = 8070
priority_networks = 192.168.56.101/24

啟動(dòng)BE：

#啟動(dòng)：
cd /opt/StarRocks-3.0.9/be
./bin/start_be.sh --daemon
#停止：
./bin/stop_be.sh --daemon

通過mysql客戶端添加BE節(jié)點(diǎn)：

ALTER SYSTEM ADD BACKEND "xy1:9050";
ALTER SYSTEM ADD BACKEND "xy2:9050";
ALTER SYSTEM ADD BACKEND "xy3:9050";

#如不小心填錯(cuò)了，可用這個(gè)刪除：
alter system decommission backend "192.168.56.101:9050";

MySQL查看：

SHOW PROC '/backends'\G

網(wǎng)頁查看：

部署 Broker ：

#啟動(dòng)broker的命令：（完成配置后可用，每個(gè)節(jié)點(diǎn)都需要啟動(dòng)）

cd /opt/StarRocks-3.0.9

./apache_hdfs_broker/bin/start_broker.sh --daemon

配置文件在/opt/StarRocks-3.0.9/apache_hdfs_broker/conf/apache_hdfs_broker.conf（具體由安裝路徑而定）

復(fù)制自己的 HDFS 集群配置文件hdfs-site.xml并粘貼至 conf 路徑下。

當(dāng)您嘗試啟動(dòng)StarRocks的Broker服務(wù)時(shí)，系統(tǒng)報(bào)錯(cuò)提示“JAVA_HOME is not set”，這意味著在運(yùn)行start_broker.sh腳本時(shí)，環(huán)境變量JAVA_HOME尚未指向Java安裝目錄。

解決方法：

我的Java的安裝路徑為/usr/java/jdk1.8.0_291-amd64，可以在用戶的.bashrc文件中添加以下兩行來設(shè)置JAVA_HOME環(huán)境變量：

進(jìn)入：

vim ~/.bashrc

添加環(huán)境：

export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64
export PATH=$JAVA_HOME/bin:$PATH

保存文件后，為了讓新設(shè)置立即生效，執(zhí)行以下命令：

source ~/.bashrc

現(xiàn)在，JAVA_HOME環(huán)境變量應(yīng)該已經(jīng)設(shè)置好了，您可以再次嘗試啟動(dòng)StarRocks的Broker服務(wù)：

./apache_hdfs_broker/bin/start_broker.sh --daemon

進(jìn)入mysql添加Broker節(jié)點(diǎn)到集群中：

mysql -h xy1 -u root -P 9030

# broker1可以設(shè)置（后續(xù)使用Broker導(dǎo)入需要），8000是apache_hdfs_broker.conf中的端口。

ALTER SYSTEM ADD BROKER broker1 "192.168.56.101:8000";
ALTER SYSTEM ADD BROKER broker1 "192.168.56.102:8000";
ALTER SYSTEM ADD BROKER broker1 "192.168.56.103:8000";

查看Broker節(jié)點(diǎn)信息：

SHOW PROC "/brokers"\G

FE、BE、Broker啟動(dòng)與查看命令：

啟動(dòng)命令：

注意：每個(gè)節(jié)點(diǎn)都需要啟動(dòng)

#FE啟動(dòng)
cd /opt/StarRocks-3.0.9/fe
bin/start_fe.sh --daemon

#BE啟動(dòng)：
cd /opt/StarRocks-3.0.9/be
./bin/start_be.sh --daemon

#啟動(dòng)broker的命令：
cd /opt/StarRocks-3.0.9
./apache_hdfs_broker/bin/start_broker.sh --daemon


#停止：
./bin/stop_be.sh --daemon

# 進(jìn)入
mysql -h xy1 -u root -P 9030

狀態(tài)查看命令：

#使用查看FE狀況：
SHOW PROC '/frontends'\G

#使用查看BE狀況：
SHOW PROC '/backends'\G

#使用查看Broker狀況：
SHOW PROC "/brokers"\G

五、案例分享

數(shù)據(jù)從hive導(dǎo)入StarRocks： 在StarRocks中創(chuàng)建表：

CREATE DATABASE IF NOT EXISTS db_df_lawsuits_v;

USE db_df_lawsuits_v;

CREATE TABLE db_df_lawsuits_v.t_lawsuits_rolerelations (
    eid STRING,
    obj_id STRING,
    ename STRING,
    md5 STRING,
    title STRING,
    case_no STRING,
    cause_action STRING,
    type STRING,
    role STRING,
    court STRING,
    trial_result STRING,
    url STRING,
    judgeresult STRING,
    sub_amount DOUBLE,
    related_companies STRING,
    related_relation STRING,
    freezing_info STRING,
    u_tags STRING,
    `date` DATETIME,
    pub_date DATETIME,
    year_date STRING,
    year_pubdate STRING,
    row_update_time DATETIME,
    case_type STRING,
    case_cause STRING,
    case_causes STRING,
    doc_type STRING,
    case_status STRING,
    doc_id STRING,
    relation_details STRING,
    case_relation BIGINT,
    clean_role STRING,
    verdict_type STRING,
    related_case_no STRING,
    initial_court_code STRING,
    court_area_code STRING,
    source STRING,
    create_time DATETIME,
    local_update_time DATETIME,
    local_row_update_time DATETIME
)
DISTRIBUTED BY HASH(eid) BUCKETS 4;

hive-site.xml中設(shè)置hive.metastore.uris參數(shù)：

<name>hive.metastore.uris</name>
    <value>thrift://xy1:9083</value>

登錄StarRocks：

mysql -h xy1 -u root -P 9030

Hive Catalog查詢與導(dǎo)入：

在StarRocks中執(zhí)行以下SQL語句來創(chuàng)建一個(gè)外部Catalog，指向您的Hive Metastore服務(wù)。

(Catalog（數(shù)據(jù)目錄）功能，實(shí)現(xiàn)在一套系統(tǒng)內(nèi)同時(shí)維護(hù)內(nèi)、外部數(shù)據(jù)，可以不執(zhí)行數(shù)據(jù)導(dǎo)入就輕松訪問并查詢存儲(chǔ)在各類外部源的數(shù)據(jù)。)

CREATE EXTERNAL CATALOG my_hive_catalog
PROPERTIES (
    "type" = "hive",
    "hive.metastore.uris" = "thrift://xy1:9083"
);

查看Catalog列表：首先，您可以通過執(zhí)行SHOW CATALOGS;命令來查看所有可用的Catalog。

使用Hive Catalog：然后，使用SET CATALOG 'my_hive_catalog';命令來切換到您創(chuàng)建的Hive Catalog。

查看數(shù)據(jù)庫列表：通過執(zhí)行SHOW DATABASES;命令，可以查看Hive Catalog中的數(shù)據(jù)庫列表。

查看表列表：選擇一個(gè)數(shù)據(jù)庫，然后執(zhí)行SHOW TABLES;來查看該數(shù)據(jù)庫中的表列表。

查詢表結(jié)構(gòu)：使用DESCRIBE <table_name>;命令來查看表的結(jié)構(gòu)和分區(qū)信息。

禁用嚴(yán)格模式：在插入數(shù)據(jù)之前，您可以通過設(shè)置會(huì)話變量來禁用嚴(yán)格模式，這樣StarRocks會(huì)將不符合條件的字段值轉(zhuǎn)換為NULL，而不是過濾掉整行數(shù)據(jù)。執(zhí)行以下命令：

SET enable_insert_strict = false;

如果開啟嚴(yán)格模式，StarRocks 會(huì)把錯(cuò)誤的數(shù)據(jù)行過濾掉，只導(dǎo)入正確的數(shù)據(jù)行，并返回錯(cuò)誤數(shù)據(jù)詳情。如果關(guān)閉嚴(yán)格模式，StarRocks 會(huì)把轉(zhuǎn)換失敗的錯(cuò)誤字段轉(zhuǎn)換成 NULL 值，并把這些包含 NULL 值的錯(cuò)誤數(shù)據(jù)行跟正確的數(shù)據(jù)行一起導(dǎo)入。

數(shù)據(jù)導(dǎo)入

INSERT INTO db_df_lawsuits_v.t_lawsuits_rolerelations
SELECT * FROM my_hive_catalog.db_df_lawsuits_v.t_lawsuits_rolerelations;

這條命令影響了25600行數(shù)據(jù)，并且耗時(shí)1.27秒完成，執(zhí)行速度很快。

8.監(jiān)控導(dǎo)入狀態(tài)：導(dǎo)入作業(yè)提交后，先選擇數(shù)據(jù)庫，然后您可以通過SHOW LOAD命令來監(jiān)控導(dǎo)入作業(yè)的狀態(tài)。

數(shù)據(jù)使用Broker導(dǎo)入：

BROKER LOAD | StarRocks

基本原理:

提交導(dǎo)入作業(yè)以后，F(xiàn)E 會(huì)生成對(duì)應(yīng)的查詢計(jì)劃，并根據(jù)目前可用 BE 的個(gè)數(shù)和源數(shù)據(jù)文件的大小，將查詢計(jì)劃分配給多個(gè) BE 執(zhí)行。每個(gè) BE 負(fù)責(zé)執(zhí)行一部分導(dǎo)入任務(wù)。BE 在執(zhí)行過程中，會(huì)從 HDFS 或云存儲(chǔ)系統(tǒng)拉取數(shù)據(jù)，并且會(huì)在對(duì)數(shù)據(jù)進(jìn)行預(yù)處理之后將數(shù)據(jù)導(dǎo)入到 StarRocks 中。所有 BE 均完成導(dǎo)入后，由 FE 最終判斷導(dǎo)入作業(yè)是否成功。

支持格式：

CSV、ORCFile、Parquet等文件格式

在StarRocks中創(chuàng)建表：

USE db_df_lawsuits_v;

CREATE TABLE db_df_lawsuits_v.test_brok (
    eid STRING,
    obj_id STRING,
    ename STRING,
    md5 STRING,
    title STRING,
    case_no STRING,
    cause_action STRING,
    `type` STRING,
    `role` STRING,
    court STRING,
    trial_result STRING,
    url STRING,
    judgeresult STRING,
    sub_amount DOUBLE,
    related_companies STRING,
    related_relation STRING,
    freezing_info STRING,
    u_tags STRING,
    `date` DATETIME,
    pub_date DATETIME,
    year_date STRING,
    year_pubdate STRING,
    row_update_time DATETIME,
    case_type STRING,
    case_cause STRING,
    case_causes STRING,
    doc_type STRING,
    case_status STRING,
    doc_id STRING,
    relation_details STRING,
    case_relation BIGINT,
    clean_role STRING,
    verdict_type STRING,
    related_case_no STRING,
    initial_court_code STRING,
    court_area_code STRING,
    source STRING,
    create_time DATETIME,
    local_update_time DATETIME,
    local_row_update_time DATETIME
)
DISTRIBUTED BY HASH(eid) BUCKETS 4;

使用broker導(dǎo)入語句：

-- 加載標(biāo)簽 `db_df_lawsuits_v.test_brok2`，該標(biāo)簽表示從HDFS加載數(shù)據(jù)到StarRocks數(shù)據(jù)庫中的一個(gè)導(dǎo)入任務(wù)
LOAD LABEL db_df_lawsuits_v.test_brok2
(
    -- 指定數(shù)據(jù)源，即HDFS上的ORC格式數(shù)據(jù)文件集合
    DATA INFILE("hdfs://192.168.56.101:9870/user/hive/warehouse/db_df_lawsuits_v.db/t_lawsuits_rolerelations/*")
    -- 導(dǎo)入數(shù)據(jù)的目標(biāo)表是名為 `test_brok1` 的表
    INTO TABLE test_brok1
    -- 指定數(shù)據(jù)文件的格式為 ORC 格式
    FORMAT AS "orc"
)
-- 使用名為 `broker1` 的HDFS Broker組件進(jìn)行數(shù)據(jù)搬運(yùn)
WITH BROKER
(
    'name' = 'broker1',
    'type' = 'hdfs',
    -- 配置HDFS Broker連接HDFS所需的認(rèn)證信息
    'properties' = '{"username": "root", "password": "cqie"}'
)
-- 設(shè)置導(dǎo)入任務(wù)的超時(shí)時(shí)間為36000秒（即10小時(shí)）
PROPERTIES
(
    'timeout' = '36000'
);

-- 查看所有LOAD LABEL任務(wù) 
SHOW TABLES;

-- 查看特定標(biāo)簽的任務(wù) 
SHOW TABLES FROM db_df_lawsuits_v;

-- 查看導(dǎo)入作業(yè)的列表和狀態(tài)
SHOW LOAD;

刪除：

如果您想刪除表中的數(shù)據(jù)，可以使用DELETE語句。這個(gè)語句允許您按條件刪除表中的數(shù)據(jù)。例如：

DELETE FROM table_name WHERE condition;

如果您想刪除整個(gè)表（標(biāo)簽），則需要使用DROP TABLE語句。這將刪除表及其所有數(shù)據(jù)，操作不可逆轉(zhuǎn)。例如：

DROP TABLE table_name;

請(qǐng)注意，在執(zhí)行DROP TABLE操作之前，確保您已經(jīng)備份了任何重要數(shù)據(jù)，因?yàn)檫@個(gè)操作會(huì)永久刪除表和表中的所有數(shù)據(jù)。

如果您是想清空表中的數(shù)據(jù)但保留表結(jié)構(gòu)，可以使用TRUNCATE TABLE語句。這個(gè)命令會(huì)刪除表中的所有數(shù)據(jù)，但表結(jié)構(gòu)仍然保留。例如：

TRUNCATE TABLE table_name;

第三方平臺(tái)方式將數(shù)據(jù)導(dǎo)入到starrocks

python導(dǎo)入數(shù)據(jù)

創(chuàng)表SQL

 CREATE TABLE `table1` ( `id` int(11) NOT NULL COMMENT "用戶 ID", `name` varchar(65533) NULL COMMENT "用戶姓名", `score` int(11) NOT NULL COMMENT "用戶得分" ) ENGINE=OLAP PRIMARY KEY(`id`) DISTRIBUTED BY HASH(`id`) BUCKETS 10; CREATE TABLE `table2` ( `id` int(11) NOT NULL COMMENT "城市 ID", `city` varchar(65533) NULL COMMENT "城市名稱" ) ENGINE=OLAP PRIMARY KEY(`id`) DISTRIBUTED BY HASH(`id`) BUCKETS 10; 

Python代碼

import requests,json
#驗(yàn)證密碼
Session=requests.Session()
 Session.auth=('root','')
 #csv導(dǎo)入
table='table1'
 headers_csv={
 'label':'123',
 #分隔符
'column_separator':',',
 #字段
'columns': 'id, name, score'
 }
 '''
 1,Lily,23
 2,Rose,23
 3,Alice,24
 4,Julia,25
 '''
 data=open('score.csv','r').read()
 r=Session.put(f'http://10.8.16.200:8040/api/testdb/{table}/_stream_load',headers=
 headers_csv,data=data)
 r.json()
 #json導(dǎo)入
table='table2'
 #請(qǐng)求頭
headers_json={
 'Content-type': 'application/json',
 "Expect": "100-continue",
 'strict_mode': 'true',
 'format': 'json',
 #jsonpaths https://www.cnblogs.com/youring2/p/10942728.html
 'jsonpaths': '[\"$.name\", \"$.code\"]',
 'columns': 'city,tmp_id, id = tmp_id * 100'
 }
 for i in [{"name": "上海", "code": 1},{"name": "重慶", "code": 3}]:
 data=json.dumps(i)
 r=Session.put(f'http://10.8.16.200:8040/api/testdb/{table}/_stream_load',headers
 =headers_json,data=data)
 print(r.json())

以上就是StarRocks簡(jiǎn)介與搭建使用詳解的詳細(xì)內(nèi)容，更多關(guān)于StarRocks搭建使用的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！