spark 判断s3路径是否存在
来源:互联网 发布:双系统平板删掉windows 编辑:程序博客网 时间:2024/05/16 16:13
val sc = new SparkContext(new SparkConf().setAppName("AppName"))sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "ACCESS_KEY")sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SECRET_ACCESS_KEY")
val textFile = sc.textFile("s3n://bucket/source_path")textFile.saveAsTextFile("s3n://bucket/target_path")
FileSystem.get(new URI("s3n://bucket"), sc.hadoopConfiguration).exists(new Path("s3n://bucket/path_to_check"))
1 0
- spark 判断s3路径是否存在
- 判断文件路径是否存在
- 判断某个路径是否存在
- 判断某个路径是否存在
- 判断一个路径是否存在
- linux下判断路径是否存在(文件夹是否存在)
- linux下判断路径是否存在(文件夹是否存在)
- linux下判断路径是否存在(文件夹是否存在)
- linux下判断路径是否存在(文件夹是否存在)
- 判断路径是否存在,文件拷贝
- java判断指定路径文件是否存在
- PHP判断远程路径是否存在
- 判断指定路径下文件是否存在
- 判断路径文件夹是否存在,不存在创建
- C# 判断 文件路径/文件 是否存在
- MapReduce 判断输出路径是否存在问题
- C++判断当前路径是否存在
- python中如何判断路径是否存在
- Codeforces #402 (Div. 2) B. Weird Rounding
- [生存志] 第143节 齐鲁宋卫吴
- Android——SdCard数据存储
- matlab多维核密度估计工具箱的使用
- 算法
- spark 判断s3路径是否存在
- Apache Maven 入门篇(下)
- 服务器ssh_key授权,并禁止密码登陆
- volist标签的下拉列表
- css布局技巧-【文字居中,左右实线】
- My SQL 安装配置
- VS2015使用opencv3.2.0版本,支持X64位编译的配置
- 详细的android通过相册和相机获取图片和路径的方法
- word 文档在左侧显示文档的目录结构的方法