MySQL不太记得什么的笔记。。。待补充整理

RPC：远程过程调用 

序列化包：从内存序列化到硬盘的过程 类似于java中类

一次写入多次读取：

map

reduce 规约 键值 把相同键的的值整合在一起

/usr   /usr的区别？？？是hodoop还是lINUX

usr是user的缩写，是曾经的HOME目录，然而现在已经被/home取代了，现在usr被称为是Unix System Resource，

即Unix系统资源的缩写。

/usr 是系统核心所在，包含了所有的共享文件。

它是 unix 系统中最重要的目录之一，涵盖了二进制文件，各种文档，各种头文件，还有各种库文件；还有诸多程序，

例如 ftp，telnet 等等。曾经的 /usr 还是用户的家目录，存放着各种用户文件 —— 

现在已经被 /home 取代了（例如 /usr/someone 已经改为 /home/someone）。

现代的 /usr 只专门存放各种程序和数据，用户目录已经转移。

虽然  /usr 名称未改，不过其含义已经从“用户目录”变成了“unix 系统资源”目录。值得注意的是，在一些 unix 系统上，仍然把 /usr/someone 当做用户家目录，如 Minix。

pic 11

NameNode：主节点   不存储实际数据

SecondaryNameNode：不是备注 还是辅助节点

DataNode：子节点   上传的东西都在子节点

pic12

NameNode 知道每个节点的储存空间 生成一个列表传给客户端

客户端上传东西给DataNote 节点间的复制是集群的事 跟客户端木有关系

文件分块跟并行也是有关系的 帮助理解后面hadoop也会有并行

pic13 14 赶紧把内存里的弄出来 以防内存变动后东西丢失

pic15 

public List<Map<String,int>> map(String kv){

     List<Map<String,int>> result = ..

   String[] words=kv.spilt(",")

   for(String word:words){

           result.add(new Hash<String,>)

        

}

：K1，V1  和K2，V2可以是一样的 而且一个K1，V1可以对应多个K2，V2

YARN:另外的资源管理者   达到资源的最大利用

ApplicationMaster:有多少个ApplicationMaster 现在就有多少个任务在集群上运行   如果满足要求 就分配集群 运行程序

应用和ApplicationMaster有关

Container并行的块 把运算（算法）丢给块 让块来运行 数据是块本地的 （把算法丢给块的速度比把数据丢过去的速度快）      运算时是本地化的运算

把资源分成1000块  平均有1000+用户

Hadoop集群规模

spark是在内存里运行的

Flume：管道 把日志从本地传到HDFS

Hive：数据仓库  查询 敏感信息   主要是做查询、分析

Oozie：工作流

HDFS:一次写入 多次读取

HBse ：可以随机修改  查不到实际没删除（有时间间隔在里面）  节省空间？？？间隔时间？？？        有一种机制叫“逻辑删除”