MatrixCube揭秘102——300行实现的完整分布式存储系统MatrixKV

docker -vdocker-compose -v

git clone https://github.com/matrixorigin/matrixkv

#raft-group的RPC通信地址，节点之间通过这个地址来发送raft message和snapshot。addr-raft = "node0:8081" 
#对客户端开放的地址，客户通过这个端口和cube来交互自定义的业务请求。addr-client = "node0:8082"
#Cube的数据存放目录，每个节点会根据这个目录所在的磁盘统计存储的使用情况，上报给调度节点。dir-data = "/tmp/matrixkv"
[raft]#Cube会对Raft的写请求做batch，会把多个写请求合并到一个Raft-Log，只做一次Raft的Proposal，这个配置指定一个Proposal的大小，这个 #配置取决于应用的具体情况max-entry-bytes = "200MB"
[replication]# 1. 一个raft-group的副本最大的down time，当一个副本的down time超过这个值，调度节点就会认为这个副本用久的故障了，# 然后会在集群中选择一个合适的节点来重新创建这个副本。如果后面这个节点又重新启动了，那么调度节点会通知这个副本# 销毁自己。# 2. 这里的默认设置一般是30分钟，这个时间我们认为是设备一般出现故障可以在30分钟内完成故障处理恢复，如果超过这个时间说明已经无法  # 恢复。在这里我们为了做实验的方便，设置成15秒。max-peer-down-time = "15s"
[prophet]#该Prophet调度节点的名称name = "node0"#该Prophet调度节点对外的RPC地址rpc-addr = "node0:8083"#指定该节点为Prophet节点prophet-node = true
[prophet.schedule]# Cube集群中的所有节点都会定期发送心跳到调度的Leader节点，当一个节点超过一定的时间都没有发送心跳，# 那么调度节点会把这个节点的状态修改为Down，并且会把这个节点上，所有的Shard在集群其他节点来重建，# 当这个节点恢复后，这个节点上的所有Shard都会收到销毁的调度消息。# 这里也是为了实验方便设置成10秒，默认也是30分钟。max-container-down-time = "10s"
#Prophet中内嵌一个ETCD作为存储元数据的组件[prophet.embed-etcd]#Cube的Prophet调度节点会先后启动, 假设我们有node0, node1, node2三个调度节点, 第一个启动的是node0节点, 那么node0节点就会#组成一个只有一个副本的etcd, 对于node0而言, `join`参数不需要填写, 后面的node1, node1启动的时候, `join`设置为node1#的Etcd的Peer addressjoin = ""#内嵌Etcd的client addressclient-urls = "http://0.0.0.0:8084"#内嵌Etcd的advertise client address, 不填写, 默认和`client-urls`一致advertise-client-urls = "http://node0:8084"#内嵌Etcd的peer addresspeer-urls = "http://0.0.0.0:8085"#内嵌Etcd的advertise peer address, 不填写, 默认和`peer-urls`一致advertise-peer-urls = "http://node0:8085"
[prophet.replication]#每个Shard最多多少个副本，当Cube的调度节点周期性巡检的时候，发现Shard的副本个数和这个值不匹配的时候，会执行创建副本或者删除副本的调#度操作。max-replicas = 3

addr-raft = "node3:8081"addr-client = "node3:8082"dir-data = "/tmp/matrixkv"
[raft]max-entry-bytes = "200MB"
[prophet]name = "node3"rpc-addr = "node3:8083"prophet-node = falseexternal-etcd = [    "http://node0:8084",    "http://node1:8084",    "http://node2:8084",]

node0:    image: matrixkv    ports:      - "8080:8080"    volumes:      - ./cfg/node0.toml:/etc/cube.toml      # /data/node0需要修改成用户指定的某个本地目录      - /data/node0:/data/matrixkv    command:       - --addr=node0:8080      - --cfg=/etc/cube.toml      # shard will split after 1024 bytes      - --shard-capacity=1024

#如果是MAC X86架构平台或者Linux，可以直接运行以下命令(make docker)#如果是MAC的ARM版本，则需要将Makefile中的docker build -t matrixkv -f Dockerfile .改成docker buildx build --platform linux/amd64 -t matrixkv -f Dockerfile .
make docker

RUN go env -w GOPROXY=https://goproxy.cn,direct

docker-compose up

curl -X POST  -H 'Content-Type: application/json' -d '{"key":"k1","value":"v1"}' http://127.0.0.1:8080/set

curl http://127.0.0.1:8080/get?key=k1

curl -X POST -H 'Content-Type: application/json' -d '{"key":"k1"}' http://127.0.0.1:8080/delete

//向node0发起写入请求curl -X POST  -H 'Content-Type: application/json' -d '{"key":"k1","value":"v1"}' http://127.0.0.1:8080/set//从node0-node3进行读取curl http://127.0.0.1:8080/get?key=k1curl http://127.0.0.1:8081/get?key=k1curl http://127.0.0.1:8082/get?key=k1curl http://127.0.0.1:8083/get?key=k1

#当前集群中的Shard情况curl http://127.0.0.1:8080/shards#当前节点中的Shard情况curl http://127.0.0.1:8080/shards?local=true

docker -vdocker-compose -v#test.json是测试数据，数据内容需要严格按照Key，Value格式规范，比如{"key":"item0","value":"XXXXXXXXXXX"}curl -X POST  -H 'Content-Type: application/json' -d@test.json http://127.0.0.1:8083/set