Distributed Configuration Management Platform: 分布式配置中心方案

[hhstore]

配置中心使用流程:

• http://www.codedata.cn/hacknews/152066156119427938

• 用键值对的方式来管理配置项 :

Read : curl -X PUT http://ip:8500/v1/kv/键名 -d '值'
         // 键名可以是多级的，例如 aaa 例如 aaa/bbb
         // 插入 和 更新 都是此命令

Write : curl -X GET http://ip:8500/v1/kv/键名 单键查询
         curl -X GET http://ip:8500/v1/kv/键名?recurse 递归查出所有子目录的

Delete : curl -X DELETE http://ip:8500/v1/kv/键名 单键删除
         curl -X DELETE http://ip:8500/v1/kv/键名?recurse 递归删除所有子目录的

• 使用配置中心，需要各业务进行配合 :
  • 各业务启动的时候，将自己本业务的信息（例如自己的地址，端口，密码之类的），写入到consul中，以供其他业务使用。
  • 各业务启动的时候，从consul中读取自己所需要的其他依赖服务的配置，写到自己的内存中，方便使用。

方案说明:

• http://jm.taobao.org/2016/09/28/an-article-about-config-center/

  • 阿里团队经验介绍

• http://zhuanlan.51cto.com/art/201704/537274.htm

• 目前有一些开源方案可以选择，如Zookeeper、Diamond、Disconf、Etcd3、Consul。本文选择了Consul，其支持多数据中心、服务发现、KV存储等特性，而且使用简单，提供了简单的Web UI方便管理，更多介绍可以参考Nginx负载均衡部分。我们借助Consul的KV存储特性来实现配置管理。

[hhstore]

开源选择:

etcd:

• https://github.com/coreos/etcd
• go项目
• CoreOS开源。
• 轻量级分布式key-value数据库，同时为集群环境的服务发现和注册而设计。
• 它提供了数据TTL失效（通过TTL更新来判断机器下线，来避免一定的网络分区问题）、数据改变监视、多值、目录监听、分布式锁原子操作等功能，来管理节点状态。

consul

• https://github.com/hashicorp/consul

apollo

• https://github.com/ctripcorp/apollo

disconf:

• https://github.com/knightliao/disconf
• 百度

企业产品:

hawk:

• https://www.shurenyun.com/product-hawk.html
• 数人云

ref:

• http://vernonzheng.com/2015/02/09/%E5%BC%80%E6%BA%90%E5%88%86%E5%B8%83%E5%BC%8F%E9%85%8D%E7%BD%AE%E4%B8%AD%E5%BF%83%E9%80%89%E5%9E%8B/

[hhstore]

etcd + k8s:

• https://jimmysong.io/posts/kubernetes-etcd-ha-config/

Confd:

• https://github.com/kelseyhightower/confd

ref:

• https://feisky.gitbooks.io/kubernetes/zh/components/etcd.html

• https://jimmysong.io/posts/kubernetes-etcd-ha-config/

• https://t.goodrain.com/t/k8s/269

• Metad

[hhstore]

consul + python libs:

• https://github.com/josegonzalez/awesome-consul
  • 包列表
• https://github.com/cablehead/python-consul/
• https://python-consul.readthedocs.io/en/latest/

pip install python-consul

python:

• https://juejin.im/entry/5b06786651882538ad3f0beb

• https://github.com/python-zk/kazoo

[hhstore]

consul

k-v配置转成 env:

• https://github.com/hashicorp/envconsul
• 转换

安装 & 部署:

• https://github.com/hashicorp/consul/blob/master/demo/docker-compose-cluster/docker-compose.yml

version: '3'

services:

  consul-agent-1: &consul-agent
    image: consul:latest
    networks:
      - consul-demo
    command: "agent -retry-join consul-server-bootstrap -client 0.0.0.0"

  consul-agent-2:
    <<: *consul-agent

  consul-agent-3:
    <<: *consul-agent

  consul-server-1: &consul-server
    <<: *consul-agent
    command: "agent -server -retry-join consul-server-bootstrap -client 0.0.0.0"

  consul-server-2:
    <<: *consul-server

  consul-server-bootstrap:
    <<: *consul-agent
    ports:
      - "8400:8400"
      - "8500:8500"
      - "8600:8600"
    command: "agent -server -bootstrap-expect 3 -ui -client 0.0.0.0"

networks:
    consul-demo:

auth 权限管理:

• https://www.consul.io/docs/guides/acl.html
• 登录/鉴权.

[hhstore]

Vault

• https://yuhao.space/blog/2018/02/vault-introduction/

HashiCorp Vault 的 Slogan 是 A Tool for Managing Secrets，这个口号很好的描述了该产品的定位。大多数软件项目都会不同程度的用到诸如 登录密码/Token/证书/API Key 等私密信息，这些信息用明码保存显然是很不安全的，如果不小心签入到版本控制系统，还会造成重大的安全问题（这方面的事故我们已经听到过很多次了）。

Vault 就是为了解决这一问题而创立的。它提供了这些功能：

集中管理各种私密信息；
为私密信息设置租期（Lease），到期后自动失效；
密钥的动态生成、注销和滚动更新；
动态创建无需保存的一次性登录密钥；
作为数据加密/解密接口；
完整的审计记录；
命令行 以及 RESTful API 访问接口；

ref:

• https://hub.docker.com/_/vault/

• https://github.com/Caiyeon/goldfish

• https://github.com/djenriquez/vault-ui

• https://github.com/tolitius/cault/blob/master/docker-compose.yml

• https://github.com/hashicorp/docker-vault