Spark读写S3(AWS亚马逊中国区beijing)
来源:互联网 发布:下载伴奏的软件 编辑:程序博客网 时间:2024/05/22 00:31
Spark读写S3(AWS亚马逊中国区)
因为中国区的region相对于其他国家是隔离的,所以在中国使用亚马逊S3需要单另设置endpoint来指定地区。
首先我们需要引入hadoop-2.7.2的lib中的hadoop-aws-2.7.2.jar,以及aws自己提供的sdk包:aws-java-sdk-1.7.4.jar
使用2.7.2的原因是由于hadoop2.7.2才支持s3。
接下来我们在程序中定义hadoopConfiguration配置option
sc.hadoopConfiguration.set("fs.s3a.access.key", "youraccesskey")sc.hadoopConfiguration.set("fs.s3a.secret.key", "yoursecretkey")sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.cn-north-1.amazonaws.com.cn")val myRdd = sc.textFile("s3a://your_bucket/") //readval myRDD.saveAsTextFile("s3a://your_bucket/test/") //writemyRdd.count
至于s3和s3n格式的支持暂时还不清楚endpoint如何定义,所以没有使用。如果不定义endpoint,则程序回向美国地区请求access,会出现Error 403找不到key记录的错误。
如果找到正确的定义格式会更新。
转载请注明出处:http://blog.csdn.net/utopia_1919
0 0
- Spark读写S3(AWS亚马逊中国区beijing)
- 亚马逊AWS进入中国
- 亚马逊简单云存储服务(AWS S3)
- aws s3 (1)
- 亚马逊AWS之S3与EBS的区别
- 亚马逊 AWS S3 服务出现故障,大量网站受到影响
- 史上最全-第三方应用连接亚马逊云存储AWS S3的研究总结
- 亚马逊AWS中国 VPC 流日志怎么看?
- AWS之S3实践
- AWS S3服务 笔记
- AWS之S3实践
- 一说就懂的 AWS S3
- AWS CLI使用s3
- AWS S3的使用
- aws命令行访问s3
- 亚马逊S3服务介绍
- 亚马逊AWS命令行 aws cli
- AWS S3 API实现文件上传下载(ASP.NET MVC)
- android textView 加载HTML 异步加载网络图片
- 安卓Studio学习笔记---gradle自定义BuildConfig.DEBUG实现在调试输出Log,正式的时候不输出Log
- Leetcode (41) First Missing Positive
- java 23种设计模式
- HTTP协议与HTTPS的区别
- Spark读写S3(AWS亚马逊中国区beijing)
- JavaScript趣题:创建电话号码
- Statement、PreparedStatement、CallableStatement的作用
- Codeforces Round #344 (Div. 2) A. Interview (位运算)
- Oracle 删除表空间错误 提示:ora-02429:无法删除用于强制唯一/主键的索引
- ORA-00922选项缺失或无效
- JS 格式化时间
- 什么函数不能声明为虚函数
- java 开发环境配置