Java中ShardingSphere分库分表实战
⽬录
⼀.项⽬需求
⼆.简介sharding-sphere
三.项⽬实战
四.测试
⼀. 项⽬需求
我们做项⽬的时候，数据量⽐较⼤，单表千万级别的，需要分库分表，于是在⽹上搜索这⽅⾯的开源框架，最常见的就是mycat,sharding-sphere，最终我选择后者,⽤它来做分库分表⽐较容易上⼿。
⼆. 简介sharding-sphere
ShardingSphere是⼀套开源的分布式数据库中间件解决⽅案组成的⽣态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独⽴的产品组成。他们均提供标准化的数据分⽚
、分布式事务和数据库治理功能，可适⽤于如Java同构、异构语⾔、容器、云原⽣等各种多样化的应⽤场景。
ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利⽤关系型数据库的计算和存储能⼒，⽽并⾮实现⼀个全新的关系型数据库。它与NoSQL和NewSQL是并存⽽⾮互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是⾮常值得推荐的。反之，也可以⽤另⼀种思路看待问题，放眼未来，关注不变的东西，进⽽抓住事物本质。关系型数据库当今依然占有巨⼤市场，是各个公司核⼼业务的基⽯，未来也难于撼动，我们⽬前阶段更加关注在原有基础上的增量，⽽⾮颠覆
sharding-jdbc 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使⽤客户端直连数据库，以jar包形式提供服务，⽆需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。
适⽤于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使⽤JDBC。基于任何第三⽅的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。⽀持任意实现JDBC规范的数据库。⽬前⽀持MySQL，Oracle，SQLServer和PostgreSQL
三. 项⽬实战
本项⽬基于 Spring Boot 2.1.5 使⽤sharding-sphere + Mybatis-Plus 实现分库分表
1. l引⼊依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="/POM/4.0.0" xmlns:xsi="/2001/XMLSchema-instance"
xsi:schemaLocation="/POM/4.0.0 /xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.5.RELEASE</version>
<relativePath/>
</parent>
<groupId>com.xd</groupId>
<artifactId>spring-boot-sharding-table</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>spring-boot-sharding-table</name>
<description>基于 Spring Boot 2.1.5 使⽤sharding-sphere + Mybatis-Plus 实现分库分表</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!--mysql-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<!--Mybatis-Plus-->
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.1.1</version>
</dependency>
<!--shardingsphere start-->
<!-- for spring boot -->
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>3.1.0</version>
</dependency>
<!-- for spring namespace -->
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-namespace</artifactId>
<version>3.1.0</version>
</dependency>
<!--shardingsphere end-->
<!--lombok-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.8</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
2. 创建数据库和表
ds0
├── user_0
└── user_1
ds1
├── user_0
└── user_1
既然是分库分表库结构与表结构⼀定是⼀致的
数据库: ds0
CREATE DATABASE IF NOT EXISTS `ds0` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;
USE `ds0`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for user_0 --
----------------------------
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- ----------------------------
-- Table structure for user_1 --
----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;
数据库: ds1
CREATE DATABASE IF NOT EXISTS `ds1` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;
USE `ds1`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for user_0 --
----------------------------
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- ----------------------------
-- Table structure for user_1 --
----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;
3. application.properties (重点)基本是在这个⽂件配置的
# 数据源 ds0,ds1
sharding.jdbc.datasource.names=ds0,ds1
# 第⼀个数据库
sharding.jdbc.pe=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds0.sql.cj.jdbc.Driver
sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8&&serverTimezone=GMT%2B8
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=root
# 第⼆个数据库
sharding.jdbc.pe=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds1.sql.cj.jdbc.Driver
sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8&&serverTimezone=GMT%2B8
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=root
# ⽔平拆分的数据库（表）配置分库 + 分表策略⾏表达式分⽚策略
# 分库策略
fig.sharding.default-database-strategy.inline.sharding-column=id
fig.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}
# 分表策略其中user为逻辑表分表主要取决于age⾏
fig.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..1}
fig.sharding.tables.user.table-strategy.inline.sharding-column=age
# 分⽚算法表达式
fig.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{age % 2}
# 主键 UUID 18位数如果是分布式还要进⾏⼀个设置防⽌主键重复
#fig.sharding.tables.user.key-generator-column-name=id
# 打印执⾏的数据库以及语句
fig.props..sql.show=true
spring.main.allow-bean-definition-overriding=true
我这次使⽤配置⽂件⽅式实现分库以及分表
以上配置说明:
逻辑表 user
⽔平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：⽤户数据根据主键尾数拆分为2张表，分别是user0到user1，他们的逻辑表名为user。
真实表
在分⽚的数据库中真实存在的物理表。即上个⽰例中的user0到user1
分⽚算法:
Hint分⽚算法
对应HintShardingAlgorithm，⽤于处理使⽤Hint⾏分⽚的场景。需要配合HintShardingStrategy使⽤。
分⽚策略:
⾏表达式分⽚策略对应InlineShardingStrategy。使⽤Groovy的表达式，提供对SQL语句中的=和IN的分⽚操作⽀持，只⽀持单分⽚键。对于简单的分⽚算法，可以通过简单的配置使⽤，从⽽避免繁琐的Java
代码开发，如: user$->{id % 2} 表⽰user表根据id模2，⽽分成2张表，表名称为user0到user_1。
⾃增主键⽣成策略
通过在客户端⽣成⾃增主键替换以数据库原⽣⾃增主键的⽅式，做到分布式主键⽆重复。采⽤UUID.randomUUID()的⽅式产⽣分布式主键。或者
SNOWFLAKE
4. 实体类
package com.ity;
import batisplus.annotation.TableName;
import sion.activerecord.Model;
ansform.EqualsAndHashCode;
import lombok.Data;
perimental.Accessors;
/**
* @Classname User
* @Description ⽤户实体类
* @Author 章国⽂ 131********@163
* @Date 2019-06-28 17:24
* @Version 1.0
*/
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@TableName("user")
public class User extends Model<User> {
/**
* 主键Id
*/
private int id;
/**
* 名称
*/
private String name;
/**
* 年龄
*/
private int age;
java连接sqlserver数据库}
5. dao层
package com.zhang.shardingtable.mapper;
import apper.BaseMapper;
import com.ity.User;
/**
* user dao层
* @author lihaodong
*/
public interface UserMapper extends BaseMapper<User> {
}
6. service层以及实现类
UserService
package com.zhang.shardingtable.service;
import sion.service.IService;
import com.ity.User;
import java.util.List;
/**
* @Classname UserService
* @Description ⽤户服务类
* @Author 章国⽂ 131********@163
* @Date 2019-06-28 17:31
* @Version 1.0
*/
public interface UserService extends IService<User> {
/**
* 保存⽤户信息
* @param entity
* @return
*/
@Override
boolean save(User entity);
/**
* 查询全部⽤户信息
* @return
*/
List<User> getUserList();
}
UserServiceImpl
package com.zhang.shardingtable.service.Impl;
import lkit.Wrappers;
import sion.service.impl.ServiceImpl;
import com.ity.User;
import com.zhang.shardingtable.mapper.UserMapper;
import com.zhang.shardingtable.service.UserService;
import org.springframework.stereotype.Service;
import java.util.List;
/**
* @Classname UserServiceImpl
* @Description ⽤户服务实现类
* @Author 章国⽂ 131********@163
* @Date 2019-06-28 17:32
* @Version 1.0
*/
@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService { @Override
public boolean save(User entity) {
return super.save(entity);
}
@Override
public List<User> getUserList() {
return baseMapper.selectList(Wrappers.<User>lambdaQuery());
}
}
7. 控制类
package com.ller;
import com.ity.User;
import com.zhang.shardingtable.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
/**
* @Classname UserController
* @Description ⽤户测试控制类
* @Author 章国⽂ 131********@163
* @Date 2019-06-28 17:36
* @Version 1.0
*/
@RestController
public class UserController {
@Autowired
private UserService userService;
@GetMapping("/select")
public List<User> select() {
UserList();
}
@GetMapping("/insert")
public Boolean insert(User user) {
return userService.save(user);
}
}
四. 测试
启动项⽬
打开浏览器分别访问:
可以在控制台看到如下展⽰，表⽰插⼊成功了
根据分⽚算法和分⽚策略不同的id以及age取模落⼊不同的库表达到了分库分表的结果
发表评论