007-kafka基本保活

保活工具 monit 配置 check process zookeeper with pidfile /export/kafka/zookeeper.pid start program = "/bin/bash -c 'source /etc/profile && cd ...
2019-03-05 消息 > kafka

006-kafka基本监控

采集工具 https://github.com/danielqsj/kafka_exporter 安装 appVersion=1.4.2 mkdir -p /export/src cd /export/src curl "https://github.com/danielqsj/kafka ...
2019-03-04 消息 > kafka

005-kafka基本维护

分区重新分配工具 bin/kafka-reassign-partitions.sh 可以用来调整分区副本的重新分布，包括增加副本，迁移副本等。 此工具有三大选项： –generate：创建分配计划，用户通过指定topic列表和broker列表来生成指定topic列表的【分区重新分配计划】。 –ex ...
2019-03-03 消息 > kafka

004-kafka用户配额

简要 配额可以应用于认证用户（user）、客户端ID（client.id） 配额信息存储在zk中，认证用户的配额信息位于/config/users，客户端ID的配额信息位于/config/clients 主要说下网络限速。 添加配额 producer_byte_rate 生产速率，单位是字节/s ...
2019-03-03 消息 > kafka

003-kafka基本认证

kafka的认证是通过java认证技术JAAS实现。 http://kafka.apache.org/documentation/#security_sasl_plain 服务端 开启用户认证配置 添加超级用户 创建超级用户 # 创建超级用户 bin/kafka-configs.sh --zoo ...
2019-03-03 消息 > kafka

002-kafka基本安装

基本 3节点为例 /etc/hosts添加 10.200.16.51 data01.zyh.cool data01 10.200.16.52 data02.zyh.cool data02 10.200.16.53 data03.zyh.cool data03 每个节点执行 hostnamectl ...
2019-03-03 消息 > kafka

001-kafka基本信息

基本结构 服务端： broker 存储数据，一个kafka实例节点代表一个 broker kafka connect 连接其它系统（包括其它kafka集群），从而导入导出事件流 zookeeper zk集群用来存储kafka中broker和topic的信息 客户端： https://cwiki. ...
2019-03-02 消息 > kafka

mysql☞安装.

https://hub.docker.com/_/mysql?tab=description mkdir -p /export/docker-data-mysql/{config,logs,mysql,mysql-files} docker run --name mysql8 \ ...
2019-02-10 数据库 > mysql

aws☞rds-mysql参数

# 下列是非默认值 character_set_client: utf8 character_set_connection: utf8 character_set_database: utf8 character_set_filesystem: utf8 character_set_results: ...
2018-09-11 公有云 > aws

aws☞EC2国内外之间迁移

基本 aws 国内和国外之间无法直接复制 AMI，所以经咨询 aws 技术人员，就有了这么一道手工饭。。。 步骤 通过国外待迁移的AMI创建一个EC2，并挂载一个新EBS（/dev/xvdb），EBS大小略大于EC2的根分区，如10GB。 登录EC2，并执行下列命令。 mke2fs -t ext ...
2018-09-11 公有云 > aws