【原】storm源码之mac os x编译twitter storm源码
2013-08-06 11:46
483 查看
twitter storm是由backtype公司创始人nathanmarz一手研发和开源的流计算(实时计算)框架,堪称实时计算领域的hadoop。nathanmarz也是在mac os x环境下开发和编译,因此本文介绍下如何在mac os x上编译twitter storm源码,希望对storm深入进行源码级学习和开发的朋友可以参考,本文以master上的0.9.0-wip21版本为例,其他旧版本大体类似。
1、twitter storm源码获取
storm已在github上开源,代码可通过git或svn客户端下载到本地
1、twitter storm源码获取
storm已在github上开源,代码可通过git或svn客户端下载到本地
git clone git://github.com/nathanmarz/storm.git -b master svn co https://github.com/nathanmarz/storm/trunk[/code]
2、编译工具leiningen
storm源码是clojure和java的混合体,编译构建工具用的是leiningen,leiningen使用maven仓库进行包管理。storm自0.9.0版本开始对代码结构及使用的工具组件进行了重构和更新,其中的一个变化就是编译工具leiningen开始使用2.x版本,下载地址:leiningen on github
注:storm-0.9.x之前采用的是leningen-1.x版本,下载地址:leiningen releases
leiningen的安装可参考其github首页的介绍,相对来说比较简单,本文略过。对storm进行源码编译的leiningen命令如下:cd storm lein deps #获取依赖包 lein compile #编译源码 lein install #安装storm-0.9.0-wip21.jar包到repo
3、依赖组件zeromq&jzmq
由于storm使用了ZeroMQ通信库,编译前要安装ZeroMQ及JZMQ(Java API),安装方法基本可以参考storm源码中的bin/install_zmq.sh
(1) zeromqwget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./autogen.sh ./configure make sudo make install
(2) jzmq##install jzmq (both native and into local maven cache) git clone https://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./configure make sudo make install
注:编译安装jzmq的过程需要pkg-config、autoconf、automake、libtool。Mac下均可通过MacPorts安装sudo port install pkg-config sudo port install autoconf sudo port install automake sudo port install libtool
4、执行storm编译及打包cd storm vim bin/build_release.sh /*增加下述飘黄的两行*/ cp -f target/release/dependency/*.jar $DIR/lib/ cp -f target/release/*.jar $DIR/ sudo sh bin/build_release.sh /*执行打包脚本*/
注:build_release.sh是作者为简化storm打包提供的脚本,截止本文发布时脚本存在一处问题,需要按照上述方法修改。
5、打包后会在storm根目录下生成storm-0.9.0-wip21.zip,解压后即可部署到集群环境运行。
相关文章推荐
- 在Mac OS X 10.10.3下使用源码包编译安装GCC5.1
- Mac OS X下编译Android源码
- Mac OS X 10.6下android源码编译
- [整] Mac OS X 10.6 下 android 源码编译
- MAC OS X 10.10编译android5.0源码 步骤 以及 遇到的问题
- Mac OS X 10.8.3搭建Android工程源码的编译环境(解决找不到GCC、GIT、PYTHON的问题)
- Mac OS X Lion 下编译Android 源码
- 在Mac OS X 64bit系统上编译hadoop 2.2源码
- Android 入门 - 编译源码(MacOSX)
- MacOS X 10.6 下 编译APUE代码清单(apue.2e 第二版源码)
- Android学习——Mac Os X下载和编译android 4.2.2 源码
- Mac OS X 10.8.4下Android4.2.2源码下载与编译
- Mac OS X 10.8.X编译Android4.2.X源码不生成emulator的问题
- Android 源码编译 MacOS X环境
- Mac OS X 10.10.3下android-5.1.1_r9 源码下载与编译
- Mac OS X 下 Android6.0源码的下载与编译
- Mac OS X 10.8.X编译Android4.2.X源码不生成emulator的问题
- Mac OS X 10.8.4下Android4.2.2源码下载与编译
- Mac OS X 下编译android源码