springboot整合shardingjdbc實現(xiàn)分庫分表最簡單demo
更新時間：2021年06月07日 14:13:11 作者：易佰菜鳥
我們知道分庫分表是針對某些數(shù)據(jù)量持續(xù)大幅增長的表，比如用戶表、訂單表等，而不是一刀切將全部表都做分片，這篇文章主要介紹了springboot整合shardingjdbc實現(xiàn)分庫分表最簡單demo,需要的朋友可以參考下
一、概覽
1.1 簡介
ShardingSphere-JDBC定位為輕量級 Java 框架，在 Java 的 JDBC 層提供的額外服務。 它使用客戶端直連數(shù)據(jù)庫，以 jar 包形式提供服務，無需額外部署和依賴，可理解為增強版的 JDBC 驅(qū)動，完全兼容 JDBC 和各種 ORM 框架。
- 適用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
- 支持任何第三方的數(shù)據(jù)庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP 等。
- 支持任意實現(xiàn) JDBC 規(guī)范的數(shù)據(jù)庫，目前支持 MySQL，Oracle，SQLServer，PostgreSQL 以及任何遵循 SQL92 標準的數(shù)據(jù)庫。
1.2 對比
| 名稱 | ShardingSphere-JDBC | ShardingSphere-Proxy | ShardingSphere-Sidecar |
|---|---|---|---|
| 數(shù)據(jù)庫 | 任意 | MySQL/PostgreSQL | MySQL/PostgreSQL |
| 連接消耗數(shù) | 高 | 低 | 高 |
| 異構(gòu)語言 | 僅 Java | 任意 | 任意 |
| 性能 | 損耗低 | 損耗略高 | 損耗低 |
| 無中心化 | 是 | 否 | 是 |
| 靜態(tài)入口 | 無 | 有 | 無 |
1.3 分庫分表場景
隨著時間和業(yè)務的發(fā)展，造成表里面的數(shù)據(jù)越來越多，如果再去對數(shù)據(jù)庫表curd操作，很容易造成性能問題。為了解決由于數(shù)據(jù)量過大而造成數(shù)據(jù)庫性能降低的問題，常見的解決方案如下：
- 從硬件上增加數(shù)據(jù)庫服務器的存儲，
- 分庫分表處理
分庫分表又可以分為水平分表、水平分庫、垂直分表、垂直分庫
水平分表
特點：
每個表的結(jié)構(gòu)都一樣；
每個表的數(shù)據(jù)都不一樣，沒有交集；
所有表的并集是該表的全量數(shù)據(jù)；場景：單表的數(shù)據(jù)量過大或增長速度很快，已經(jīng)影響或即將會影響SQL查詢效率，加重了CPU負擔，提前到達瓶頸。
水平分庫
特點：
每個庫的結(jié)構(gòu)都一樣；
每個庫的數(shù)據(jù)都不一樣，沒有交集；
所有庫的并集是全量數(shù)據(jù)；場景：系統(tǒng)絕對并發(fā)量上來了，CPU內(nèi)存壓力大。分表難以根本上解決量的問題，并且還沒有明顯的業(yè)務歸屬來垂直分庫，主庫磁盤接近飽和。
垂直分表
特點：
每個表的結(jié)構(gòu)都不一樣；
每個表的數(shù)據(jù)也不一樣，
有一個關(guān)聯(lián)字段，一般是主鍵或外鍵，用于關(guān)聯(lián)兄弟表數(shù)據(jù)；
所有兄弟表的并集是該表的全量數(shù)據(jù)；場景：
有幾個字段屬于熱點字段，更新頻率很高，要把這些字段單獨切到一張表里，不然innodb行鎖很惡心的
有大字段，如text，存儲壓力很大，畢竟innodb數(shù)據(jù)和索引是同一個文件；同時，我又喜歡用SELECT *，你懂得，這磁盤IO消耗的，跟玩兒似的，誰都扛不住的。
垂直分庫
縱向切庫基于表進行切分，類似多數(shù)據(jù)源，通常是把新的業(yè)務模塊或集成公共模塊拆分出去，比如我們最熟悉的單點登錄、鑒權(quán)模塊。
1.4 非分片表處理方法
我們知道分庫分表是針對某些數(shù)據(jù)量持續(xù)大幅增長的表，比如用戶表、訂單表等，而不是一刀切將全部表都做分片。那么不分片的表和分片的表如何劃分，一般有兩種解決方案。
- 嚴格劃分功能庫，分片的庫與不分片的庫剝離開，業(yè)務代碼中按需切換數(shù)據(jù)源訪問
- 默認數(shù)據(jù)源，以 Sharding-JDBC 為例，不給未分片表設置分片規(guī)則，它們就不會執(zhí)行，因為找不到路由規(guī)則，如果我們設置一個默認數(shù)據(jù)源，在找不到規(guī)則時一律訪問默認庫。
# 配置數(shù)據(jù)源 m1 spring.shardingsphere.datasource.name=m1 spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource spring.shardingsphere.datasource.m1.driverClassName=com.mysql.jdbc.Driver spring.shardingsphere.datasource.m1.url=jdbc:mysql://xxxx:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT spring.shardingsphere.datasource.m1.username=root spring.shardingsphere.datasource.m1.password=xxxx # 默認數(shù)據(jù)源，未分片的表默認執(zhí)行庫 spring.shardingsphere.sharding.default-data-source-name=m1
1.5 技術(shù)棧
- SpringBoot2.3.8.RELEASE
- MyBatis-Plus3.4.0
- Sharding-JDBC
- Druid連接池
二、 項目整合
2.1 pom.xml
<!-- shardingjdbc依賴包 -->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>
<!-- 連接池 -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.2.5</version>
</dependency>
<!-- 分布式事務所需包 -->
<!-- 使用 XA 事務時，需要引入此模塊 -->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-transaction-xa-core</artifactId>
<version>4.1.1</version>
</dependency>
<!-- <!– 使用 BASE 事務時，需要引入此模塊 –>-->
<!-- <dependency>-->
<!-- <groupId>org.apache.shardingsphere</groupId>-->
<!-- <artifactId>sharding-transaction-base-seata-at</artifactId>-->
<!-- <version>4.1.1</version>-->
<!-- </dependency>-->
<!-- <!– https://mvnrepository.com/artifact/io.seata/seata-core –>-->
<!-- <dependency>-->
<!-- <groupId>io.seata</groupId>-->
<!-- <artifactId>seata-core</artifactId>-->
<!-- <version>1.4.2</version>-->
<!-- </dependency>-->
注意：如果原有項目引入了 druid包 以及多數(shù)據(jù)源包dynamic-datasource-spring-boot-starter，需要注釋掉相關(guān)引用
<!-- https://mvnrepository.com/artifact/com.baomidou/dynamic-datasource-spring-boot-starter --> <!-- <dependency>--> <!-- <groupId>com.baomidou</groupId>--> <!-- <artifactId>dynamic-datasource-spring-boot-starter</artifactId>--> <!-- <version>3.1.0</version>--> <!-- </dependency>--> <!-- <dependency>--> <!-- <groupId>com.alibaba</groupId>--> <!-- <artifactId>druid-spring-boot-starter</artifactId>--> <!-- </dependency>-->
2.2 jpa/mybatis項目其他調(diào)整 springboot啟動類增加如下配置
@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class})
分片表ORM映射實體類注釋表名映射
數(shù)據(jù)庫鏈接賬號賦予分布式事務XA權(quán)限
GRANT XA_RECOVER_ADMIN ON *.* TO root@'%'
配置springboot數(shù)據(jù)源健康檢查sql（可選）
package com.yss.datamiddle.config;
import org.springframework.beans.factory.ObjectProvider;
import org.springframework.boot.actuate.autoconfigure.jdbc.DataSourceHealthContributorAutoConfiguration;
import org.springframework.boot.actuate.health.AbstractHealthIndicator;
import org.springframework.boot.actuate.jdbc.DataSourceHealthIndicator;
import org.springframework.boot.jdbc.metadata.DataSourcePoolMetadataProvider;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import org.springframework.util.StringUtils;
import javax.sql.DataSource;
import java.util.Map;
/**
* @description: 重寫健康檢查sql，解決項目啟動健康檢查異常
* @author: Han LiDong
* @create: 2021/5/28 14:40
* @update: 2021/5/28 14:40
*/
@Configuration
public class DataSourceHealthConfig extends DataSourceHealthContributorAutoConfiguration {
private static final String defaultQuery = "select 1";
public DataSourceHealthConfig(Map<String, DataSource> dataSources, ObjectProvider<DataSourcePoolMetadataProvider> metadataProviders) {
super(dataSources, metadataProviders);
}
@Override
protected AbstractHealthIndicator createIndicator(DataSource source) {
DataSourceHealthIndicator indicator = (DataSourceHealthIndicator) super.createIndicator(source);
if (!StringUtils.hasText(indicator.getQuery())) {
indicator.setQuery(defaultQuery);
}
return indicator;
}
}
三、分庫分表實現(xiàn)
3.1 水平分表-單分片鍵（標準分片算法、自定義分布式主鍵生成算法）
創(chuàng)建表單course_1,course_2
約定規(guī)則：如果添加的主鍵ID是偶數(shù)把數(shù)據(jù)添加進course_1表，如果是奇數(shù)添加進course_2表
-- ---------------------------- -- Table structure for course_1 -- ---------------------------- DROP TABLE IF EXISTS `course_1`; CREATE TABLE `course_1` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài)', `create_time` date DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic; -- ---------------------------- -- Table structure for course_2 -- ---------------------------- DROP TABLE IF EXISTS `course_2`; CREATE TABLE `course_2` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài)', `create_time` date DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
application-table-horizontal.yml配置分表規(guī)則
#水平分表配置
spring:
main:
#允許名稱相同的bean的覆蓋（一個實體類對應多張表）
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔(m1,m2)
names: m1
#names定義的數(shù)據(jù)源名稱作為key（key不能包含下劃線，否則無法識別配置）
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
# rules:
sharding:
tables:
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
# 由數(shù)據(jù)源名 + 表名組成，以小數(shù)點分隔。多個表以逗號分隔，支持inline表達式。缺省表示使用已知數(shù)據(jù)源與邏輯表名稱生成數(shù)據(jù)節(jié)點，用于廣播表（即每個庫中都需要一個同樣的表用于關(guān)聯(lián)查詢，多為字典表）或只分庫不分表且所有庫的表結(jié)構(gòu)完全一致的情況
actual-data-nodes: m1.course_$->{1..2}
#分庫策略：單分片鍵
table-strategy:
inline:
#分片鍵
sharding-column: id
#數(shù)據(jù)分片規(guī)則（ID是偶數(shù)把數(shù)據(jù)添加入course_1，奇數(shù)入course_2）
algorithm-expression: course_$->{id % 2 + 1}
測試-分表-新增
/**
* 測試分表-新增
*/
@Test
public void addCourse() {
for (int i = 0; i < 10; i++) {
Course course = new Course();
course.setName("java" + i);
course.setStatus(1);
course.setCreateTime(new Date());
courseMapper.insert(course);
}
}
測試-分表-查詢
/**
* 查詢分表數(shù)據(jù)
*/
@Test
public void findCourse() {
//分區(qū)字段查詢數(shù)據(jù)：精準匹配分片表，不會去別的表中掃描數(shù)據(jù)
Course course = courseMapper.selectById(Long.valueOf("607168187053637632"));
log.info(course.toString());
//非分區(qū)字段查詢：全表匹配，匯總結(jié)果
QueryWrapper<Course> queryWrapper2 = new QueryWrapper<Course>();
queryWrapper2.between("create_time",
DateUtil.stringToDate("2021-01-26 11:39:05"),
DateUtil.stringToDate("2021-07-26 11:39:05"));
List<Course> list2 = courseMapper.selectList(queryWrapper2);
log.info("數(shù)據(jù)量{}",list2.size());
}
由上可以看出分片字段作為查詢條件時，請準定位分片數(shù)據(jù)所在分片表。非分片字段查詢時，全表匹配，匯總結(jié)果
自定義分布式主鍵生成算法
實現(xiàn)ShardingKeyGenerator接口，自定義分布式主鍵生成算法
import lombok.Data;
import lombok.Getter;
import lombok.Setter;
import org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator;
import org.springframework.stereotype.Component;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicLong;
/**
* @description: 自定義sharding-jdbc主鍵生成算法
* @author: Han LiDong
* @create: 2021/5/25 09:36
* @update: 2021/5/25 09:36
*/
@Component
public class SimpleShardingKeyGenerator implements ShardingKeyGenerator {
private AtomicLong atomic = new AtomicLong(0);
@Getter
@Setter
private Properties properties = new Properties();
/**
* 分布式主鍵實現(xiàn)算法。
*/
@Override
public Comparable<?> generateKey() {
return atomic.incrementAndGet();
}
@Override
public String getType() {
//聲明類型，需要在配置文件中配置此key
return "SIMPLE";
}
}
resources下配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator
配置主鍵生成策略為自定義key
3.2 水平分表-單分片鍵-按照月份分表（標準分片算法）
創(chuàng)建course_202101到course_202108表單
約定規(guī)則：按照創(chuàng)建時間對應的yyyyMM將數(shù)據(jù)分片到不同的表中
-- ---------------------------- -- 表名自己調(diào)整，創(chuàng)建202101-202112的表單 -- ---------------------------- DROP TABLE IF EXISTS `course_202101`; CREATE TABLE `course_202101` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài)', `create_time` datetime(0) DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
application-table-time-horizontal.yml配置月份分表規(guī)則
#按照月份自定義水平分表策略配置
spring:
main:
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1
m1:
password: xxxx
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
# rules:
sharding:
tables:
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
type: SNOWFLAKE
##配置 t_order 表規(guī)則 ->{a..b} a必須存在，否則分布式主鍵無法獲取
actual-data-nodes: m1.course_$->{2021..2200}0$->{1..9},m1.course_$->{2021..2200}$->{10..12}
table-strategy:
standard:
#精確分片算法類名稱，用于 = 和 IN。該類需實現(xiàn)PreciseShardingAlgorithm 接口并提供無參數(shù)的構(gòu)造器
precise-algorithm-class-name: com.xlhj.sharding.config.CoursePreciseShardingAlgorithm
# 范圍分片算法類名稱，用于 BETWEEN，可選。該類需實現(xiàn)RangeShardingAlgorithm 接口并提供無參數(shù)的構(gòu)造器
range-algorithm-class-name: com.xlhj.sharding.config.TableRangeShardAlgorithm
# 分片字段
sharding-column: create_time
精準分片算法實現(xiàn)
package com.xlhj.sharding.config;
import com.xlhj.sharding.util.DateUtil;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.springframework.stereotype.Component;
import java.util.Collection;
import java.util.Date;
/**
* @description: 精準分片算法類
* @author: Han LiDong
* @create: 2021/5/25 10:32
* @update: 2021/5/25 10:32
*/
@Component
public class CoursePreciseShardingAlgorithm implements PreciseShardingAlgorithm<Date> {
/**
* 按照 tablename_yyyyMM進行分表 用于 = in等
* @param collection
* @param preciseShardingValue
* @return
*/
@Override
public String doSharding(Collection<String> collection, PreciseShardingValue<Date> preciseShardingValue) {
StringBuffer tableName = new StringBuffer();
tableName.append(preciseShardingValue.getLogicTableName())
.append("_").append(DateUtil.dateToString(preciseShardingValue.getValue(),"yyyyMM");
return tableName.toString();
}
}
范圍分片算法實現(xiàn)
package com.xlhj.sharding.config;
import com.google.common.collect.Range;
import com.xlhj.sharding.util.DateUtil;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import org.springframework.stereotype.Component;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;
import java.util.stream.Collectors;
/**
* @description: 范圍分片算法類 用于 BETWEEN等
* @author: Han LiDong
* @create: 2021/5/25 10:32
* @update: 2021/5/25 10:32
*/
@Component
public class TableRangeShardAlgorithm implements RangeShardingAlgorithm<Date> {
private static SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
/**
* 分片鍵日期范圍包含分片表名稱集合
* @param availableTargetNames
* @param rangeShardingValue
* @return
*/
public Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Date> rangeShardingValue) {
System.out.println("范圍-*-*-*-*-*-*-*-*-*-*-*---------------" + availableTargetNames);
System.out.println("范圍-*-*-*-*-*-*-*-*-*-*-*---------------" + rangeShardingValue);
//物理表名集合
//Collection<String> tables = new LinkedHashSet<>();
//邏輯表名
String logicTableName = rangeShardingValue.getLogicTableName();
//分片鍵的值
Range<Date> valueRange = rangeShardingValue.getValueRange();
Date lowerEndpoint = valueRange.lowerEndpoint();
Date upperEndpoint = valueRange.upperEndpoint();
List<String> YMList = DateUtil.getYMBetweenDate(lowerEndpoint,upperEndpoint);
List<String> tables = YMList.stream().map( ym ->{
return logicTableName + "_" + ym;
}).collect(Collectors.toList());
return tables;
}
}
測試-日期分表-新增
/**
* 測試分表
*/
@Test
public void addCourse() {
for (int i = 0; i < 10; i++) {
Course course = new Course();
course.setName("java" + i);
course.setStatus(1);
course.setCreateTime(new Date());
courseMapper.insert(course);
}
}
3.3 水平分表-多分片鍵（復合分片算法）
繼續(xù)使用course_1、course_2表單
約定規(guī)則：如果添加的主鍵ID是偶數(shù)把數(shù)據(jù)添加進course_1表，如果是奇數(shù)添加進course_2表
application-table-horizontal-columns.yml配置多分片鍵分表規(guī)則
#水平分表配置
spring:
main:
#允許名稱相同的bean的覆蓋(一個實體類對應多張表)
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1
# names定義的數(shù)據(jù)源名稱作為key（key不能包含下劃線，否則無法識別配置）
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
sharding:
tables:
# 表名
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SIMPLE
#由數(shù)據(jù)源名 + 表名組成，以小數(shù)點分隔。多個表以逗號分隔，支持inline表達式。
#缺省表示使用已知數(shù)據(jù)源與邏輯表名稱生成數(shù)據(jù)節(jié)點，用于廣播表（即每個庫中都需要一個同樣的表用于關(guān)聯(lián)查詢，多為字典表）或只分庫不分表且所有庫的表結(jié)構(gòu)完全一致的情況
actual-data-nodes: m1.course_$->{1..2}
#分片策略：多分片鍵
table-strategy:
complex:
# 分片鍵
sharding-columns: id,status
# 自定義分片算法
algorithm-class-name: com.xlhj.sharding.config.CourseShardingAlgorithmColumns
自定義分片算法實現(xiàn)
package com.xlhj.sharding.config;
import org.apache.shardingsphere.api.sharding.complex.ComplexKeysShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.complex.ComplexKeysShardingValue;
import org.springframework.stereotype.Component;
import java.util.*;
/**
* @description: 分表算法類-多分片鍵
* @author: Han LiDong
* @create: 2021/5/25 10:32
* @update: 2021/5/25 10:32
*/
@Component
public class CourseShardingAlgorithmColumns implements ComplexKeysShardingAlgorithm {
/**
*
* @param collection 分片表名
* @param shardingValues 分片字段值
* @return
*/
@Override
public Collection<String> doSharding(Collection collection, ComplexKeysShardingValue shardingValues) {
System.out.println("collection:" + collection + ",shardingValues:" + shardingValues);
Map<String, Collection> map = shardingValues.getColumnNameAndShardingValuesMap();
Collection<Long> idValues = map.get("id");
Collection<Integer> statusValues = map.get("status");
List<String> shardingSuffix = new ArrayList<>();
//邏輯還是按照 id%2 + 1進行數(shù)據(jù)分片
for (Long id : idValues) {
Long suf = id % 2 + 1;
for (Object s : collection) {
String tableName = (String) s;
// 分片表名后綴匹配
if (tableName.endsWith(String.valueOf(suf))) {
shardingSuffix.add(tableName);
}
}
}
return shardingSuffix;
}
}
測試-多分片鍵-新增
/**
* 測試分表-新增
*/
@Test
public void addCourse() {
for (int i = 0; i < 10; i++) {
Course course = new Course();
course.setName("java" + i);
course.setStatus(1);
course.setCreateTime(new Date());
courseMapper.insert(course);
}
}
3.4 水平分庫+分表-單分片鍵
另找一個數(shù)據(jù)庫創(chuàng)建表單course_1,course_2
約定規(guī)則：根據(jù)status=0數(shù)據(jù)到庫1，status=1數(shù)據(jù)到庫2. id為奇數(shù)到course_2表，偶數(shù)到course_1表
-- ---------------------------- -- 在庫2中創(chuàng)建如下表單 -- ---------------------------- DROP TABLE IF EXISTS `course_1`; CREATE TABLE `course_1` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài) 0：失效 1：有效', `create_time` date DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic; DROP TABLE IF EXISTS `course_2`; CREATE TABLE `course_2` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài)', `create_time` date DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
application-database-horizontal.yml配置分庫分表規(guī)則
#水平分庫、分表配置
spring:
main:
#允許名稱相同的bean的覆蓋
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1,m2
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
m2:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-2?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
# rules:
sharding:
tables:
# 表名
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
#配置 course 表規(guī)則groovy語法 $->{a..b}
actual-data-nodes: m$->{1..2}.course_$->{1..2}
#分庫規(guī)則
database-strategy:
inline:
#分庫字段
sharding-column: status
#數(shù)據(jù)分庫規(guī)則
algorithm-expression: m$->{status + 1}
#分表規(guī)則
table-strategy:
inline:
#分表字段
sharding-column: id
#數(shù)據(jù)分表規(guī)則
algorithm-expression: course_$->{id % 2 + 1}
測試-分庫分表-新增
/**
* 測試水平分庫+分表
*/
@Test
public void addCourseDB() {
for (int i = 0; i < 10; i++) {
Course course = new Course();
course.setName("java");
int rand = (int)(Math.random() * 10);
course.setStatus(rand % 2);
course.setCreateTime(new Date());
courseMapper.insert(course);
}
}
3.5 水平分庫+分表-Hint分片（強制分片路由）
庫2 創(chuàng)建course_yyyyMM相關(guān)表單
約定規(guī)則：查詢/新增數(shù)據(jù)的時候指定分片路由，強制路由到某張表
-- ---------------------------- -- 庫2創(chuàng)建表單，表名自己調(diào)整，創(chuàng)建202101-202112的表單 -- ---------------------------- DROP TABLE IF EXISTS `course_202101`; CREATE TABLE `course_202101` ( `id` bigint(20) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '課程名稱', `status` int(255) DEFAULT NULL COMMENT '狀態(tài)', `create_time` datetime(0) DEFAULT NULL COMMENT '創(chuàng)建日期', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
application-table-hint-horizontal.yml配置強制路由規(guī)則
#強制分片路由hint配置
spring:
main:
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1,m2
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
m2:
password: xxxx
url: jdbc:mysql://182.92.219.202:3306/sharding_db-2?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
# rules:
sharding:
tables:
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
#配置 t_order 表規(guī)則 ->{a..b} a必須存在，否則分布式主鍵無法獲取
actual-data-nodes: m1.course_$->{2021..2200}0$->{1..9},m1.course_$->{2021..2200}$->{10..12}
database-strategy:
hint:
# 自定義分庫hit分片算法
algorithm-class-name: com.xlhj.sharding.config.DatabaseHintShardingKeyAlgorithm
table-strategy:
hint:
# 自定義分表hit分片算法
algorithm-class-name: com.xlhj.sharding.config.TableHintShardingKeyAlgorithm
自定義強制分庫路由算法實現(xiàn)
package com.xlhj.sharding.config;
import com.alibaba.druid.util.StringUtils;
import org.apache.shardingsphere.api.sharding.ShardingValue;
import org.apache.shardingsphere.api.sharding.hint.HintShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.hint.HintShardingValue;
import org.springframework.stereotype.Component;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import java.util.List;
/**
* @description:
* @author: Han LiDong
* @create: 2021/5/27 09:53
* @update: 2021/5/27 09:53
*/
@Component
public class DatabaseHintShardingKeyAlgorithm implements HintShardingAlgorithm {
/**
* 自定義Hint 實現(xiàn)算法
* 能夠保證繞過Sharding-JDBC SQL解析過程
* @param availableTargetNames
* @param hintShardingValue 不再從SQL 解析中獲取值，而是直接通過hintManager.addTableShardingValue("t_order", 1)參數(shù)指定
* @return
*/
@Override
public Collection<String> doSharding(Collection availableTargetNames, HintShardingValue hintShardingValue) {
System.out.println("shardingValue=" + hintShardingValue);
System.out.println("availableTargetNames=" + availableTargetNames);
List<String> shardingResult = new ArrayList<>();
Iterator i = availableTargetNames.iterator();
while (i.hasNext()){
String targetName = (String) i.next();
String suffix = targetName.substring(targetName.length() - 1);
if (StringUtils.isNumber(suffix)) {
// hint分片算法的ShardingValue有兩種具體類型:
// ListShardingValue和RangeShardingValue
// 使用哪種取決于HintManager.addDatabaseShardingValue(String, String, ShardingOperator,...),ShardingOperator的類型
Iterator j = hintShardingValue.getValues().iterator();
while (j.hasNext()){
Integer value = (Integer) j.next();
if (value % 2 + 1 == Integer.parseInt(suffix)) {
shardingResult.add(targetName);
}
}
}
}
return shardingResult;
}
}
自定義強制分表路由算法實現(xiàn)
package com.xlhj.sharding.config;
import com.alibaba.druid.util.StringUtils;
import org.apache.shardingsphere.api.sharding.hint.HintShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.hint.HintShardingValue;
import org.springframework.stereotype.Component;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import java.util.List;
/**
* @description:
* @author: Han LiDong
* @create: 2021/5/27 09:53
* @update: 2021/5/27 09:53
*/
@Component
public class TableHintShardingKeyAlgorithm implements HintShardingAlgorithm {
/**
* 自定義Hint 實現(xiàn)算法
* 能夠保證繞過Sharding-JDBC SQL解析過程
* @param availableTargetNames
* @param hintShardingValue 不再從SQL 解析中獲取值，而是直接通過hintManager.addTableShardingValue("t_order", 1)參數(shù)指定
* @return
*/
@Override
public Collection<String> doSharding(Collection availableTargetNames, HintShardingValue hintShardingValue) {
System.out.println("shardingValue=" + hintShardingValue);
System.out.println("availableTargetNames=" + availableTargetNames);
List<String> shardingResult = new ArrayList<>();
Iterator i = availableTargetNames.iterator();
while (i.hasNext()){
String targetName = (String) i.next();
String suffix = targetName.substring(targetName.length() - 1);
if (StringUtils.isNumber(suffix)) {
// hint分片算法的ShardingValue有兩種具體類型:
// ListShardingValue和RangeShardingValue
// 使用哪種取決于HintManager.addDatabaseShardingValue(String, String, ShardingOperator,...),ShardingOperator的類型
Iterator j = hintShardingValue.getValues().iterator();
while (j.hasNext()){
Integer value = (Integer) j.next();
// 匹配月份
Integer month = value % 12 == 0 ? 12 : value;
if (month == Integer.parseInt(suffix)) {
shardingResult.add(targetName);
}
}
}
}
return shardingResult;
}
}
測試-強制路由
/**
* hint分片算法測試
* @throws Exception
*/
@Test
public void shardingHintDB() throws Exception {
HintManager.clear();
HintManager hintManager = HintManager.getInstance();
// 方式1:
// 下面2句話的意思時: 向3號庫中的1號 course 表執(zhí)行sql
// 選擇具體的數(shù)據(jù)庫, 3 可以簡單理解為: 3號庫,如果只有2個庫, 那么可以根據(jù)2取模+1,落到 2號庫上面
hintManager.addDatabaseShardingValue("course", 3);
// 同理:一個數(shù)據(jù)庫中可以有多張courser表, 2 可以理解為: 2月份相關(guān)表.
hintManager.addTableShardingValue("course", 2);
// 方式2
// 直接指定對應具體的數(shù)據(jù)庫,會想此庫里所有分片表添加數(shù)據(jù)
//hintManager.setDatabaseShardingValue(0);
Course course = new Course();
course.setName("java");
int rand = (int)(Math.random() * 10);
course.setStatus(rand % 2);
course.setCreateTime(new Date());
courseMapper.insert(course);
HintManager.clear();
}
3.6 垂直分表
單庫垂直分表相當于 同一個庫的多張表單 通過外鍵關(guān)聯(lián)。
分庫垂直分表相當于多數(shù)據(jù)源。
這幾介紹下單庫垂直分表配置：
主要規(guī)則：
#垂直分庫需要直接指定到庫和表 spring.shardingsphere.sharding.tables.sys_user.actual-data-nodes: m2.sys_user
詳細配置：
#垂直分表策略配置
spring:
main:
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1,m2
m1:
password: xxxx
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
m2:
password: xxxx
url: jdbc:mysql://182.92.219.202:3306/sharding_db-2?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
sharding:
tables:
sys_user:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
#垂直分庫 做到專庫專表 指定到具體庫.具體表
actual-data-nodes: m2.sys_user
3.7 廣播表
指所有的分片數(shù)據(jù)源中都存在的表，表結(jié)構(gòu)和表中的數(shù)據(jù)在每個數(shù)據(jù)庫中均完全一致。適用于數(shù)據(jù)量不大且需要與海量數(shù)據(jù)的表進行關(guān)聯(lián)查詢的場景，例如：字典表。
庫1和庫2創(chuàng)建字典表t_dict
-- ---------------------------- -- Table structure for t_dict -- ---------------------------- DROP TABLE IF EXISTS `t_dict`; CREATE TABLE `t_dict` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `dic_code` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '編碼', `dic_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '字典名', `dic_value` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '字典值', `pcode` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '父編碼', `status` varchar(1) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '0：失效 1：生效', `dic_sort` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '排序', `remarks` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '備注', `create_time` datetime(0) DEFAULT NULL COMMENT '創(chuàng)建時間', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 604343147190812673 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
配置廣播表規(guī)則
主要規(guī)則：
# 配置廣播表表名 spring.shardingsphere.sharding.broadcast-tables: t_dict
詳細配置：
#廣播表配置
spring:
main:
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1,m2
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
m2:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-2?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
driver-class-name: com.mysql.cj.jdbc.Driver
password: xxxx
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
sharding:
tables:
t_dict:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
# 配置廣播表
broadcast-tables: t_dict
測試-廣播表
/**
* 測試公共表
*/
@Test
public void addDict() {
TDict dict = new TDict();
dict.setCreateTime(new Date());
dict.setDicCode("test");
dict.setDicName("test");
dict.setDicSort("1");
dict.setDicValue("test");
dict.setPcode("0");
dict.setStatus("1");
dictMapper.insert(dict);
}
3.8 綁定表
概念:指分片規(guī)則一致的主表和子表。例如：course表和 course_detail表，均按照 course_id分片，則此兩張表互為綁定表關(guān)系。綁定表之間的多表關(guān)聯(lián)查詢不會出現(xiàn)笛卡爾積關(guān)聯(lián)，關(guān)聯(lián)查詢效率將大大提升。
舉例說明，如果 SQL 為：
select * from course c left join course_detail cd on c.id = cd.course_id where c.id in (10, 11);
在不配置綁定表關(guān)系時，假設分片鍵 course_id將數(shù)值 10 路由至第 0 片，將數(shù)值 11 路由至第 1 片，那么路由后的 SQL 應該為 4 條，它們呈現(xiàn)為笛卡爾積：
select * from course_1 c left join course_detail_1 cd on c.id = cd.course_id where c.id in (10, 11); select * from course_1 c left join course_detail_2 cd on c.id = cd.course_id where c.id in (10, 11); select * from course_2 c left join course_detail_1 cd on c.id = cd.course_id where c.id in (10, 11); select * from course_2 c left join course_detail_2 cd on c.id = cd.course_id where c.id in (10, 11);
在配置綁定表關(guān)系后，路由的 SQL 應該為 2 條：
select * from course_1 c left join course_detail_1 cd on c.id = cd.course_id where c.id in (10, 11); select * from course_2 c left join course_detail_2 cd on c.id = cd.course_id where c.id in (10, 11);
其中 course 在 FROM 的最左側(cè)，ShardingSphere 將會以它作為整個綁定表的主表。 所有路由計算將會只使用主表的策略，那么 course_detail表的分片計算將會使用 course 的條件。故綁定表之間的分區(qū)鍵要完全相同。
庫1創(chuàng)建course_detail_1、course_detail_2表單
-- ---------------------------- -- Table structure for course_detail_1 -- ---------------------------- DROP TABLE IF EXISTS `course_detail_1`; CREATE TABLE `course_detail_1` ( `id` bigint(20) NOT NULL, `course_id` bigint(20) DEFAULT NULL COMMENT '課程id', `remark` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '備注', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic; -- ---------------------------- -- Table structure for course_detail_2 -- ---------------------------- DROP TABLE IF EXISTS `course_detail_2`; CREATE TABLE `course_detail_2` ( `id` bigint(20) NOT NULL, `course_id` bigint(20) DEFAULT NULL COMMENT '課程id', `remark` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '備注', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
配置廣播表規(guī)則
#水平分表配置
spring:
main:
#允許名稱相同的bean的覆蓋(一個實體類對應多張表)
allow-bean-definition-overriding: true
shardingsphere:
props:
sql:
show: true
datasource:
# 數(shù)據(jù)源名稱，多數(shù)據(jù)源以逗號分隔
names: m1
# names定義的數(shù)據(jù)源名稱作為key（key不能包含下劃線，否則無法識別配置）
m1:
url: jdbc:mysql://182.92.219.202:3306/sharding_db-1?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
username: root
password: xxxx
driver-class-name: com.mysql.cj.jdbc.Driver
# 數(shù)據(jù)庫連接池類名稱 com.alibaba.druid.pool.DruidDataSource com.zaxxer.hikari.HikariDataSource
type: com.alibaba.druid.pool.DruidDataSource
sharding:
tables:
# 表名
course:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
#由數(shù)據(jù)源名 + 表名組成，以小數(shù)點分隔。多個表以逗號分隔，支持inline表達式。
#缺省表示使用已知數(shù)據(jù)源與邏輯表名稱生成數(shù)據(jù)節(jié)點，用于廣播表（即每個庫中都需要一個同樣的表用于關(guān)聯(lián)查詢，多為字典表）或只分庫不分表且所有庫的表結(jié)構(gòu)完全一致的情況
actual-data-nodes: m1.course_$->{1..2}
#分片策略：單分片鍵
table-strategy:
inline:
#分片鍵
sharding-column: id
#數(shù)據(jù)分片規(guī)則
algorithm-expression: course_$->{id % 2 + 1}
course_detail:
key-generator:
column: id
#主鍵生成策略 可選內(nèi)置的 SNOWFLAKE(雪花算法)/UUID
# 也可以自定義(實現(xiàn)ShardingKeyGenerator,并配置META-INF/services/org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator) SIMPLE
type: SNOWFLAKE
#配置 t_order 表規(guī)則 ->{a..b} a必須存在，否則分布式主鍵無法獲取
actual-data-nodes: m1.course_detail_$->{1..2}
table-strategy:
inline:
# 綁定表分片字段要一致（外鍵字段）
sharding-column: course_id
algorithm-expression: course_detail_$->{course_id % 2 + 1}
# 綁定表規(guī)則列表（避免查詢笛卡爾積），多套規(guī)則使用binding-tables[0],binding-tables[1]...
binding-tables: course_detail,course
注意：綁定表的分區(qū)鍵要一致
測試-綁定表查詢（笛卡爾積）
/**
* 綁定表測試(查詢笛卡爾積)
*/
@Test
public void bindingTest(){
List<Long> ids = new ArrayList<>();
for (int i = 0; i < 4; i++) {
Course course = new Course();
course.setName("java" + i);
course.setStatus(1);
course.setCreateTime(new Date());
courseMapper.insert(course);
CourseDetail courseDetail = new CourseDetail();
courseDetail.setCourseId(course.getId());
courseDetail.setRemark("備注" + i);
courseDetailMapper.insert(courseDetail);
ids.add(course.getId());
}
List<Course> res = courseMapper.binding(ids);
log.info("查詢結(jié)果：{}",res.size());
}
首先注釋掉綁定表配置，查看關(guān)聯(lián)查詢笛卡爾積
# 綁定表規(guī)則列表（避免查詢笛卡爾積），多套規(guī)則使用binding-tables[0],binding-tables[1]...
#binding-tables: course_detail,course
然后打開綁定表配置，查看關(guān)聯(lián)查詢是否還有笛卡爾積
# 綁定表規(guī)則列表（避免查詢笛卡爾積），多套規(guī)則使用binding-tables[0],binding-tables[1]...
binding-tables: course_detail,course
3.9 分布式事務XA
默認的 XA 事務管理器為 Atomikos
BASE事務管理器為Seata
配置事務管理器
package com.yss.datamiddle.config;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import org.springframework.transaction.PlatformTransactionManager;
import org.springframework.transaction.annotation.EnableTransactionManagement;
import javax.sql.DataSource;
/**
* @description:
* @author: Han LiDong
* @create: 2021/5/27 11:16
* @update: 2021/5/27 11:16
*/
@Configuration
@EnableTransactionManagement
public class TransactionConfiguration {
@Bean
public PlatformTransactionManager txManager(final DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
@Bean
public JdbcTemplate jdbcTemplate(final DataSource dataSource) {
return new JdbcTemplate(dataSource);
}
}
使用分布式事務
@Test
// @Rollback(value = false)
@Transactional
@ShardingTransactionType(TransactionType.XA) // 支持TransactionType.LOCAL, TransactionType.XA, TransactionType.BASE
public void transactionTest() {
Course course = new Course();
course.setName("java");
int rand = (int)(Math.random() * 10);
course.setStatus(rand % 2);
course.setCreateTime(new Date());
courseMapper.insert(course);
Course course1 = new Course();
course1.setName("java");
int rand1 = (int)(Math.random() * 10);
course1.setStatus(rand1 % 2 + 1);
course1.setCreateTime(new Date());
courseMapper.insert(course1);
int a = 1/0;
}
四、踩坑指南
4.1 項目引入shardingjdbc相關(guān)包，啟動項目報錯required a bean named ‘entityManagerFactory' that could not be found
解決方案：
注釋pom中durid、dynamic-datasource-spring-boot-starter引用
<!-- https://mvnrepository.com/artifact/com.baomidou/dynamic-datasource-spring-boot-starter --> <!-- <dependency>--> <!-- <groupId>com.baomidou</groupId>--> <!-- <artifactId>dynamic-datasource-spring-boot-starter</artifactId>--> <!-- <version>3.1.0</version>--> <!-- </dependency>--> <!-- <dependency>--> <!-- <groupId>com.alibaba</groupId>--> <!-- <artifactId>druid-spring-boot-starter</artifactId>--> <!-- </dependency>-->
4.2 項目啟動報錯
Failed to configure a DataSource: ‘url' attribute is not specified and no embedded datasource could be configured.
問題描述：項目引入shardingjdbc包、配置好分片規(guī)則之后啟動項目報錯找不到數(shù)據(jù)庫配置,但是配置文件中明明按照sharding數(shù)據(jù)源配置規(guī)則配置了數(shù)據(jù)庫鏈接信息。
問題原因：DruidDataSourceAutoConfigure在DynamciDataSourceAutoConfiguration之前，其會注入一個DataSourceWrapper，會在原生的spring.datasource下找url,username,password等。而我們動態(tài)數(shù)據(jù)源的配置路徑是變化的。
解決方案二選一
springboot啟動類增加如下配置
@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class})項目配置文件新增：
# 使用多數(shù)據(jù)源時要有這個配置，要不然會啟動失敗。單數(shù)據(jù)源的時候不要加這個配置。 spring.autoconfigure.exclude = com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure
4.3 項目啟動報錯
org.springframework.dao.InvalidDataAccessApiUsageException: ConnectionCallback; isValid; nested exception is java.sql.SQLFeatureNotSupportedException: isValid
解決方案：
此問題是Spring Boot 2.3.8數(shù)據(jù)源健康檢查sql為null引起。
解決辦法是繼承 DataSourceHealthContributorAutoConfiguration 重寫 createIndicator 方法
package com.yss.datamiddle.config;
import org.springframework.beans.factory.ObjectProvider;
import org.springframework.boot.actuate.autoconfigure.jdbc.DataSourceHealthContributorAutoConfiguration;
import org.springframework.boot.actuate.health.AbstractHealthIndicator;
import org.springframework.boot.actuate.jdbc.DataSourceHealthIndicator;
import org.springframework.boot.jdbc.metadata.DataSourcePoolMetadataProvider;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import org.springframework.util.StringUtils;
import javax.sql.DataSource;
import java.util.Map;
/**
* @description: 重寫健康檢查sql，解決項目啟動健康檢查異常
* @author: Han LiDong
* @create: 2021/5/28 14:40
* @update: 2021/5/28 14:40
*/
@Configuration
public class DataSourceHealthConfig extends DataSourceHealthContributorAutoConfiguration {
private static final String defaultQuery = "select 1";
public DataSourceHealthConfig(Map<String, DataSource> dataSources, ObjectProvider<DataSourcePoolMetadataProvider> metadataProviders) {
super(dataSources, metadataProviders);
}
@Override
protected AbstractHealthIndicator createIndicator(DataSource source) {
DataSourceHealthIndicator indicator = (DataSourceHealthIndicator) super.createIndicator(source);
if (!StringUtils.hasText(indicator.getQuery())) {
indicator.setQuery(defaultQuery);
}
return indicator;
}
}
4.4 分片表新增數(shù)據(jù)，但是分片鍵未賦值導致全表入庫數(shù)據(jù)。
解決方法：分片鍵必須為非空，否則會全表新增數(shù)據(jù)。
4.5 項目啟動報錯
Caused by: org.hibernate.AnnotationException: No identifier specified for entity: com.yss.datamiddle.po.PrometheusAlertRecordSummaryPo
解決方法：ORM實體類必須有主鍵注解 @Id
4.6 Table ‘xxx_sequences' doesn't exist
解決方案：分表字段主鍵生成策略改為：
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
@Column(name = "id")
private Long id;
4.7 Table ‘tablename' doesn't exist
分片表對應ORM映射實體類 去掉表名映射：@TableName(“source”)
4.8 org.springframework.boot.context.properties.source.InvalidConfigurationPropertyNameException: Configuration property name ‘spring.shardingsphere.datasource.monitor_1' is not valid
解決方案：yml配置key不能包含下劃線，調(diào)整monitor_1為monitor-1
4.9 報錯：
Caused by: java.lang.NullPointerException: please config application id within seata.conf file.
原因：使用XA分布式事務，但同時又引入了Base事務相關(guān)包
解決方案：注釋掉Base事務包
<!-- 使用 BASE 事務時，需要引入此模塊 --> <!-- <dependency>--> <!-- <groupId>org.apache.shardingsphere</groupId>--> <!-- <artifactId>sharding-transaction-base-seata-at</artifactId>--> <!-- <version>4.1.1</version>--> <!-- </dependency>--> <!-- <!– https://mvnrepository.com/artifact/io.seata/seata-core –>--> <!-- <dependency>--> <!-- <groupId>io.seata</groupId>--> <!-- <artifactId>seata-core</artifactId>--> <!-- <version>1.4.2</version>--> <!-- </dependency>-->
以上就是springboot整合shardingjdbc實現(xiàn)分庫分表最簡單demo的詳細內(nèi)容，更多關(guān)于springboot整合shardingjdbc分庫分表的資料請關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:
- SpringBoot+MybatisPlus實現(xiàn)sharding-jdbc分庫分表的示例代碼
- SpringBoot+MybatisPlus+Mysql+Sharding-JDBC分庫分表
- SpringBoot?如何使用sharding?jdbc進行分庫分表
- SpringBoot整合sharding-jdbc實現(xiàn)自定義分庫分表的實踐
- SpringBoot整合sharding-jdbc實現(xiàn)分庫分表與讀寫分離的示例
- SpringBoot 2.0 整合sharding-jdbc中間件實現(xiàn)數(shù)據(jù)分庫分表
- SpringBoot集成Sharding-JDBC實現(xiàn)分庫分表方式
相關(guān)文章
這篇文章主要介紹了java多線程編程實例，分享了幾則多線程的實例代碼，具有一定參考價值，加深多線程編程的理解還是很有幫助的，需要的朋友可以參考下2021-07-07
這篇文章主要介紹了SpringMVC多個文件上傳及上傳后立即顯示圖片功能,非常不錯，具有參考借鑒價值功能，需要的朋友可以參考下2017-10-10
本文主要介紹了使用MAVEN3.9.x中301問題及解決方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-01-01
這篇文章主要介紹了Java中的關(guān)鍵字之final詳解,final關(guān)鍵字算是個高頻的java基礎問題了,面試官可能會問說說final,final修飾的抽象類能夠被繼承嗎等等,下面匯總關(guān)于final關(guān)鍵字的知識點,需要的朋友可以參考下2024-01-01
文章主要介紹了FeignClient注解的常用屬性,并通過一個具體的例子說明了為什么某個Feign調(diào)用需要使用url指定路徑才能訪問,最后,文章給出了解決辦法,即使用path屬性指定前綴2024-11-11
這篇文章主要介紹了apache commons工具集代碼詳解，具有一定借鑒價值,需要的朋友可以參考下2017-12-12
Java中notify()和notifyAll()的使用區(qū)別
本文主要介紹了Java中notify()和notifyAll()的使用區(qū)別，文中通過示例代碼介紹的非常詳細，感興趣的小伙伴們可以參考一下2021-06-06
Java中基于Shiro,JWT實現(xiàn)微信小程序登錄完整例子及實現(xiàn)過程
這篇文章主要介紹了Java中基于Shiro,JWT實現(xiàn)微信小程序登錄完整例子 ,實現(xiàn)了小程序的自定義登陸，將自定義登陸態(tài)token返回給小程序作為登陸憑證。需要的朋友可以參考下2018-11-11
Java如何使用ReentrantLock實現(xiàn)長輪詢
這篇文章主要介紹了如何使用ReentrantLock實現(xiàn)長輪詢，對ReentrantLock感興趣的同學，可以參考下2021-04-04
ZooKeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。下面通過本文給大家分享java 中 zookeeper簡單使用，需要的朋友參考下吧2017-09-09