MySQL不太记得什么的笔记。。。待补充整理
来源:互联网 发布:mysql如何使用 编辑:程序博客网 时间:2024/05/01 16:24
RPC:远程过程调用
序列化包:从内存序列化到硬盘的过程 类似于java中类
一次写入多次读取:
map
reduce 规约 键值 把相同键的的值整合在一起
/usr /usr的区别???是hodoop还是lINUX
usr是user的缩写,是曾经的HOME目录,然而现在已经被/home取代了,现在usr被称为是Unix System Resource,
即Unix系统资源的缩写。
/usr 是系统核心所在,包含了所有的共享文件。
它是 unix 系统中最重要的目录之一,涵盖了二进制文件,各种文档,各种头文件,还有各种库文件;还有诸多程序,
例如 ftp,telnet 等等。曾经的 /usr 还是用户的家目录,存放着各种用户文件 ——
现在已经被 /home 取代了(例如 /usr/someone 已经改为 /home/someone)。
现代的 /usr 只专门存放各种程序和数据,用户目录已经转移。
虽然 /usr 名称未改,不过其含义已经从“用户目录”变成了“unix 系统资源”目录。值得注意的是,在一些 unix 系统上,仍然把 /usr/someone 当做用户家目录,如 Minix。
pic 11
NameNode:主节点 不存储实际数据
SecondaryNameNode:不是备注 还是辅助节点
DataNode:子节点 上传的东西都在子节点
pic12
NameNode 知道每个节点的储存空间 生成一个列表传给客户端
客户端上传东西给DataNote 节点间的复制是集群的事 跟客户端木有关系
文件分块跟并行也是有关系的 帮助理解后面hadoop也会有并行
pic13 14 赶紧把内存里的弄出来 以防内存变动后东西丢失
pic15
public List<Map<String,int>> map(String kv){
List<Map<String,int>> result = ..
String[] words=kv.spilt(",")
for(String word:words){
result.add(new Hash<String,>)
}
:K1,V1 和K2,V2可以是一样的 而且一个K1,V1可以对应多个K2,V2
YARN:另外的资源管理者 达到资源的最大利用
ApplicationMaster:有多少个ApplicationMaster 现在就有多少个任务在集群上运行 如果满足要求 就分配集群 运行程序
应用和ApplicationMaster有关
Container并行的块 把运算(算法)丢给块 让块来运行 数据是块本地的 (把算法丢给块的速度比把数据丢过去的速度快) 运算时是本地化的运算
把资源分成1000块 平均有1000+用户
Hadoop集群规模
spark是在内存里运行的
Flume:管道 把日志从本地传到HDFS
Hive:数据仓库 查询 敏感信息 主要是做查询、分析
Oozie:工作流
HDFS:一次写入 多次读取
HBse :可以随机修改 查不到实际没删除(有时间间隔在里面) 节省空间???间隔时间??? 有一种机制叫“逻辑删除”
序列化包:从内存序列化到硬盘的过程 类似于java中类
一次写入多次读取:
map
reduce 规约 键值 把相同键的的值整合在一起
/usr /usr的区别???是hodoop还是lINUX
usr是user的缩写,是曾经的HOME目录,然而现在已经被/home取代了,现在usr被称为是Unix System Resource,
即Unix系统资源的缩写。
/usr 是系统核心所在,包含了所有的共享文件。
它是 unix 系统中最重要的目录之一,涵盖了二进制文件,各种文档,各种头文件,还有各种库文件;还有诸多程序,
例如 ftp,telnet 等等。曾经的 /usr 还是用户的家目录,存放着各种用户文件 ——
现在已经被 /home 取代了(例如 /usr/someone 已经改为 /home/someone)。
现代的 /usr 只专门存放各种程序和数据,用户目录已经转移。
虽然 /usr 名称未改,不过其含义已经从“用户目录”变成了“unix 系统资源”目录。值得注意的是,在一些 unix 系统上,仍然把 /usr/someone 当做用户家目录,如 Minix。
pic 11
NameNode:主节点 不存储实际数据
SecondaryNameNode:不是备注 还是辅助节点
DataNode:子节点 上传的东西都在子节点
pic12
NameNode 知道每个节点的储存空间 生成一个列表传给客户端
客户端上传东西给DataNote 节点间的复制是集群的事 跟客户端木有关系
文件分块跟并行也是有关系的 帮助理解后面hadoop也会有并行
pic13 14 赶紧把内存里的弄出来 以防内存变动后东西丢失
pic15
public List<Map<String,int>> map(String kv){
List<Map<String,int>> result = ..
String[] words=kv.spilt(",")
for(String word:words){
result.add(new Hash<String,>)
}
:K1,V1 和K2,V2可以是一样的 而且一个K1,V1可以对应多个K2,V2
YARN:另外的资源管理者 达到资源的最大利用
ApplicationMaster:有多少个ApplicationMaster 现在就有多少个任务在集群上运行 如果满足要求 就分配集群 运行程序
应用和ApplicationMaster有关
Container并行的块 把运算(算法)丢给块 让块来运行 数据是块本地的 (把算法丢给块的速度比把数据丢过去的速度快) 运算时是本地化的运算
把资源分成1000块 平均有1000+用户
Hadoop集群规模
spark是在内存里运行的
Flume:管道 把日志从本地传到HDFS
Hive:数据仓库 查询 敏感信息 主要是做查询、分析
Oozie:工作流
HDFS:一次写入 多次读取
HBse :可以随机修改 查不到实际没删除(有时间间隔在里面) 节省空间???间隔时间??? 有一种机制叫“逻辑删除”
0 0
- MySQL不太记得什么的笔记。。。待补充整理
- NGINX+Lua 笔记 (陆续补充,待整理)
- [笔记整理]待补充的数据结构
- jQuery(不完整,待后续整理补充)
- mySQL 基本语法-待补充
- mysql优化(待补充版)
- linux命令笔记(待补充)
- Mysql 基础 [待整理]
- C++面试常见问题整理(待补充)
- 微信小程序:wxml组件整理,待补充......
- 笔记待整理
- 笔记:聚类分析(待整理)
- MySQL整理 -补充02
- 5、linux常用不太记得住命令
- 【待补充】BASH学习笔记1
- 二叉树学习笔记(待补充)
- java虚拟机指令笔记(待补充)
- Spring源码阅读笔记(待补充)
- 巧用美女照做微信吸粉,你会做吗?
- Laravel Predis Error while reading line from the server.
- hbase 数据的导入导出
- Matlab与线性代数 -- 稀疏矩阵的图形显示
- C++ 异步读写安全的缓存区
- MySQL不太记得什么的笔记。。。待补充整理
- 应用程序、进程、任务栈的区别
- Vue.js:使用vue-cli快速构建项目
- mysql 5.7 登录,密码修改及忘记密码
- java内存回收
- 用 wait-notify 写一段代码来解决生产者-消费者问题?
- java文件读取写出乱码问题解决
- react native(七) 界面 UI-demo
- 软件测试流程