搭mongodb+zookeeper+kafka环境
2016-01-26 15:06
477 查看
先说最简单的mongodb
1.解压mongodb的包
2.启动命令为 ./bin/mongod --config ./config/mongod.conf
需要主意的点:修改mongod.conf中的内容与mongodb文件的解压目录(*path)要匹配
然后是稍微复杂的zookeeper
首先要安装java。这里我碰到一个小问题,执行java命令的时候,zookeeper报:no such file or ....,表示找不到javahome,再单独执行java,会发现/lib/ld-linux.so.2: bad ELF interpreter: no such file or directory,其实是系统是64位而jdk是32位的问题,只需要执行一下 yum install glibc.i686 www.2cto.com就可以了。
然后进入zookeeper安装目录下的 conf/ 目录下,将zoo_sample.cfg复制到zoo.cfg,修改里面的内容,我的例子是这样的:
接下来需要分别在每个机器上,往上面指定的 dataDir目录中下如一个叫 myid 的文件,里面的值,跟server. 这个 "." 后面跟的数字要一样,在我这里就是77,76,75。
然后配置就完成了,进入bin,./zkServer.sh start即可启动。
验证启动,可以在bin下,./zkServer.sh status查看,是leader还是follower。
启动了zookeeper之后,kafka就变得很简单了。
进入kafka安装目录下的config/目录,修改server.properties文件:
其中的log.dirs需要自己去mkdir,zk的地址要和自己配置的集群匹配,然后broker.id就是自己这个机器的编号,host.name就是自己的ip。
然后就可以去zk目录下,执行
总的来说都是配一下就OK了,记录一下,以后要用就可以翻一下。
1.解压mongodb的包
2.启动命令为 ./bin/mongod --config ./config/mongod.conf
需要主意的点:修改mongod.conf中的内容与mongodb文件的解压目录(*path)要匹配
systemLog: destination: file path: /home/mongodb/log/mongod.log logAppend: true storage: journal: enabled: true dbPath: /home/mongodb/data/puf_sfap directoryPerDB: true engine: wiredTiger wiredTiger: engineConfig: cacheSizeGB: 10 directoryForIndexes: true net: port: 31017 processManagement: fork: true pidFilePath: /home/mongodb/log/master.pid
然后是稍微复杂的zookeeper
首先要安装java。这里我碰到一个小问题,执行java命令的时候,zookeeper报:no such file or ....,表示找不到javahome,再单独执行java,会发现/lib/ld-linux.so.2: bad ELF interpreter: no such file or directory,其实是系统是64位而jdk是32位的问题,只需要执行一下 yum install glibc.i686 www.2cto.com就可以了。
然后进入zookeeper安装目录下的 conf/ 目录下,将zoo_sample.cfg复制到zoo.cfg,修改里面的内容,我的例子是这样的:
initLimit=10 syncLimit=5 clientPort=2181 tickTime=2000 dataDir=../data zoologdir=../log dataLogDir=../datalog server.77=slave-01:2888:3888 server.76=slave-02:2888:3888 server.75=slave-03:2888:3888其中的slave-01 02 03在/etc/hosts中配置一下即可,格式为:slave-01 xxx.xxx.xxx.xxx,xxx是ip地址。
接下来需要分别在每个机器上,往上面指定的 dataDir目录中下如一个叫 myid 的文件,里面的值,跟server. 这个 "." 后面跟的数字要一样,在我这里就是77,76,75。
然后配置就完成了,进入bin,./zkServer.sh start即可启动。
验证启动,可以在bin下,./zkServer.sh status查看,是leader还是follower。
启动了zookeeper之后,kafka就变得很简单了。
进入kafka安装目录下的config/目录,修改server.properties文件:
port=9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=104857600 socket.receive.buffer.bytes=104857600 socket.request.max.bytes=1048576000 #log.dirs=/wls/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 log.cleaner.enable=false zookeeper.connect=10.20.22.77:2181,10.20.22.76:2181,10.20.22.75:2181 zookeeper.connection.timeout.ms=60000 broker.id=76 host.name=10.20.22.76 log.dirs=/data/kafka-logs76
其中的log.dirs需要自己去mkdir,zk的地址要和自己配置的集群匹配,然后broker.id就是自己这个机器的编号,host.name就是自己的ip。
然后就可以去zk目录下,执行
bin/kafka-server-start.sh config/server.properties还学到一招,这样执行ctrl+c就退出了,要用nuhup xxx & 来启动,后台启动。
总的来说都是配一下就OK了,记录一下,以后要用就可以翻一下。
相关文章推荐
- Windows下MongoDB自启动
- Windows下MongoDB自启动
- MongoDB--Getting Started with Java Driver
- Linux_Ubuntu_安装mongoDB
- php 操作mongodb
- MongoDB Sql语法
- mongodb的NUMA问题
- MongoDB Aggregate Methods(2) MonoDB 的 3 种聚合函数
- Mongodb无法启动:The default storage engine 'wiredTiger' is not available with this build of mongod.
- 结合MongoDB开发LBS应用
- 结合MongoDB开发LBS应用
- 结合MongoDB开发LBS应用
- MongoDB
- mongodb 如何追踪集群数据
- CentOS6.5上源码安装MongoDB3.2.1
- mongodb3.2二进制单机版安装
- MongoDB 2.6配置副本集,支持端口号修改和用户登录认证
- mongodb 数据备份,还原笔记
- MongoDB常用命令
- mongodb 最佳实践