Hadoop集群迁移合并
来源:互联网 发布:医院数据库 编辑:程序博客网 时间:2024/06/15 05:53
1.安装maven,protobuf,java并配置环境变量
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export M2_HOME=/usr/local/maven
export M2=$M2_HOME/bin
export PATH=$M2:$PATH
export HADOOP_HOME=/usr/local/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export PROTOBUF_HOME=/usr/local/protobuf
export PATH=$PATH:$PROTOBUF_HOME/bin
yum安装:yum -y install svn ncurses-devel gcc*
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
2.编译hadoop
mvn clean package -Pdist,native -DskipTests -Dtar
3.替换配置文件,修改ip
4.集群之间无秘钥登录
5.创建目录
mkdir /data
mkdir /data/hdfs
mkdir /data/hdfs/tmp
mkdir /data/hdfs/dfs
mkdir /data/hdfs/dfs/name
mkdir /data/hdfs/dfs/data
mkdir /data/yarn/
mkdir /data/yarn/local
mkdir /data/yarn/logs
chown -R hadoop.hadoop /data
原有的数据目录不用管,也不要删除
复制旧集群的namesecondary与name
- Hadoop集群迁移合并
- hadoop集群数据迁移
- Hadoop新旧集群迁移
- hadoop集群数据迁移
- Hadoop集群磁盘数据迁移
- hadoop集群之间迁移分区表
- Hadoop集群合并小文件
- hadoop集群间的hbase数据迁移
- Hadoop distcp 跨集群迁移数据
- hadoop集群间迁移数据DataX
- 不同hadoop集群之间迁移hive数据
- hadoop跨集群之间迁移hive数据
- Hadoop集群间HBase数据迁移
- Hadoop 集群迁移历程 心得体会(一)
- hadoop不同版本的集群数据迁移:distcp
- Hadoop集群迁移记录(主要针对Impala)
- 最近搞Hadoop集群迁移踩的坑杂记
- 如何在不影响hadoop集群正常运行的情况下迁移主控节点[namenode]
- java应用程序自定义log4j配置文件位置
- 汇编语言: 试编写一段程序,从键盘接收一个-32768-32767 间的十进制有符号数,并在终端上 显示与它等值的二进制数。
- Nginx gzip压缩
- 如何下载SHP矢量格式的等高线
- Android 与 Kotlin 入门
- Hadoop集群迁移合并
- LINUX中常用操作命令
- Compiler failed executable.exec
- jQuery 中ajax回调函数获得的数据格式问题
- 安卓第1章
- 高新面试之五 集锦
- 汇编语言: 数组删除指定元素
- 23种设计模式之观察者模式
- Android Studio 正式签名打包