文章标题
来源:互联网 发布:淘宝助理和店铺不同步 编辑:程序博客网 时间:2024/05/17 03:10
今天自己自学了Hadoop对Hadoop有了一个初步的了解,因此于此记录自己的学习笔记于心得:
Hadoop是适合大数据的分布式存储与计算平台。
- HDFS(Hadoop Distributed File System)为主从结构
- 管理 –>主节点只有一个NameNode:用于接收用户操作请求;维护文件系统的目录结构,管理文件与block之间关系,block与datanode关系。
- 存储–>从节点有多个DataNodes:用于存储文件;文件被分成block存储于磁盘上;为保证数据安全,文件会有多个副本。
- MapReduce
- 主节点–>JobTracker:用于接收客户提交的计算任务;分配任务給Task;监控Task的执行情况
- 从节点–>TaskTrackers执行JobTracker分配 的计算任务
- Hadoop特点:
- 扩容能力
- 成本低
- 效率高
- 可靠性
常用Linux命令
- 相对路径 .代表当前路径 ..代表上一级路径 (例/root/localhost/studyEveryday.java和/root/localhost/insistent.java)若当前在localhost文件夹下则../localhost/insistent.java可以访问到root文件夹下的insistent文件。
- 目录跳转 cd
- 创建文件 touch
- 查看文件 more
- 查看目录 ls
- 创建目录 mkdir
- 复制文件 cp 从一个目录 到另一个目录
- 删除 rm
- 修改文件权限 chmod
- 编辑模式 vi
- 重启 reboot -h now
- 主机名 hostname
- 防火墙状态 service iptables status
- 持续坚持中FirstDay
0 0
- 文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题 文章标题 文章标题 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 文章标题
- 知识点:link和@import
- linux之DMA-BUF API使用指南
- redmine Email delivery error: Net::ReadTimeout
- 一致性哈希--分库分表
- jQuery选择器
- 文章标题
- 数据结构 二叉树的应用算法
- UX入門 - 4
- 哈希表详解
- MacOS下MySql的安装
- 采用AIDL调用远程服务
- 运用ArcGIS对图像进行二值化处理
- thinking in java 第7章练习一答案详解!
- 链表前插,后插,中间插,删除