scp -r 拷贝文件夹 会忽略 软连接
来源:互联网 发布:oppo wlan 移动数据 编辑:程序博客网 时间:2024/06/06 06:48
今天使用noah上线单上线,将 hadoop客户端 文件夹 批量 拷贝到 线上机器 的 对应目录。
结果在测试运行时,执行hive命令,select * from rcfile格式的表,会报错:
hive> select * from log_bd_show_info where pdate='2014-06-11' and hour='1145' limit 10;
OK
Failed with exception java.io.EOFException:null
Time taken: 3.506 seconds
其他textfile格式的表,一切正常。
怀疑是 压缩lib包的问题,跟踪 hive的log日志: hive-log4j.properties里面指定的日志文件,发现里面 会有详细的java 警告:
WARN util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(52)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
可见 hive 是 找不到 hadoop的 lzo lzma 压缩库。
故 结合很早前 排查过类似问题,定位原因是: 缺乏 软连接 文件导致。 而线下机器 是正常的,如下图所示:
但线上 机器 对应的文件夹下 却没有这些 软连接,岂不怪哉?
我是通过 noah web上线单的 scp -r 命令 将 文件夹 整体 拷贝到 线上机器的。
故问题 就出现在 这里!
scp命令 是 不会拷贝 软连接的。 故 解决方法是 手工在 线上机器 创建 这些软连接,写个shell脚本,通过noah web单 批量 在各台机器执行:
如何想要拷贝 软连接,该如何办呢?
方法1 : 先tar 打包,然后再 scp 文件, 最后解压缩。
方法2 :rsync 加 -l参数可以实现
- scp -r 拷贝文件夹 会忽略 软连接
- scp拷贝文件夹
- scp拷贝文件及文件夹
- 跨机器拷贝文件夹 scp
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- linux scp远程拷贝文件及文件夹
- Linux-scp远程拷贝文件及文件夹
- linux scp 拷贝文件或文件夹的操作方法
- scp远程拷贝文件及文件夹(linux)
- linux命令之远程文件或文件夹拷贝-scp
- SSH远程链接:SCP远程拷贝文件与文件夹
- (转)Unity3d使用心得(2):Unity3d 动态下载动画资源——AnimationClip 的使用 - 斯玛特琦
- OJ2536长方体继承自矩形
- 创建Lua工程脚本
- objcopy和objdump使用教程
- DateUtil时间相关计算源码
- scp -r 拷贝文件夹 会忽略 软连接
- 一、交换机的基本配置
- 关于32位程序在Win7&64位系统中连接Microsoft Excel数据源的问题
- Live555源码分析@njzhujinhua[4]:generateSDPDescription
- OJ2535复数运算符重载
- Tom的runstat
- tolua 一些可以用的函数(测试过)
- 设计模式C++实现——模板方法模式
- Swift 基础部分(一)