您的位置:首页 > 大数据

常用工具整理

2016-10-24 16:52 204 查看
收集整理一些常用工具,目前只是雏形,后面慢慢扩展与丰富内容

负载均衡:

软负载均衡:LVS

硬负载均衡:F5

网络应用程序开源框架与工具:

java:netty

c++:libevent

通讯协议:TCP、UDP、HTTP和WEBSOCKET

数据协议:MQTT、JSON、SOAP和自定义二进制协议

消息中间件:ZeroMQ、Kafka、RabbitMQ和ActiveMQ

数据存储:HDFS、Hive、HBase、RDBMS和Redis

缓存系统:Redis、memcached

磁盘型kv数据库:Leveldb、RocksDB

流处理系统:Flink、Storm和Spark-streaming

批处理系统:MapReduce、Hive和Spark

监控报警:Ganglia和Nagios

自动化运维工具:Ansible

RPC框架:

侧重服务治理:Dubbo和DubboX

侧重跨语言调用:Thrift、gRPC、Hessian、Hprose

分布式协调:Zookeeper

统一资源调度管理:yarn、mesos、zeus(淘宝开源大数据平台调度系统)

全文检索引擎:Sphinx、Lucene、ElasticSearch、Solr

容器技术:Cgroup、Docker 
LOAP工具:Kylin、Druid

ZooKeeper客户端框架:curator,Curator是Netflix开源的一套ZooKeeper客户端框架. ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  工具 大数据