Amazon S3云存储服务器的功能及编程接口

来源：互联网发布：node nginx 编辑：程序博客网时间：2024/04/30 04:21

Amazon S3是一种云上的存储服务器，其功能仅在于存储。和普通的服务器不同，它没有操作界面，连一般的SSH命令登录功能都没有。和它打交道的话，一种办法是用它的管理界面，另一种是借助其编程接口。

1.名词和术语

AWS Account：Amazon Web Service Account, 一般一个公司会申请一个帐户，可以认为管理员帐户。

IAM User：一般AWS只有少数人掌握，为了操作的方式，添加子帐户称为IAM帐户，每个帐户有不同的权限。无论是AWS还是IAM帐户，都有一个Access Key ID和一个Secret Key。在Amazon Web 管理界面上登录时使用帐户名，而用编程接口交互时都用的是Access Key ID和Secret Key，其中ID是16个字符，Secret是40个字节。

Bucket：可以理解为一个很大的磁储硬盘，其容量以T为单位，当然，你肯花的钱越多就可以买到更大容易的S3。一个AWS帐户可以创建N个（N<100）个bucket。bucket的名称作为domain name的一部分，例如，如果bucket名称叫mybucket，则其全称为http://mybucket.s3.amazonaws.com/

Object：Bucket的文件，不过在这里称为资源更好些。在Bucket所有的Object呈Flat状排列，每个Object有一个唯一的Key，可以理解为URI。需要注意的是，Bucket里没有目录树的概念，虽然一个Object Key可能显示为 a/b/c/my.jpg，并不意味着有a, b, c三个目录和一个my.jpg的文件。事实上，只有一个资源，其名称Key就是一个全路径而已。

Object Key: 表示其名称，在bucket内全局唯一，实际就是一个可带斜线/的字符串，如/a/b/c/my.jpg

Object Meta: 描述其大小，ACL等

Object Value: 就是Object的内容，其长度为Meta里长度

Object Version: 默认不带版本支持的，只要显示的设置bucket之后才有Version概念

Access Control：S3上的Object默认是不能public访问的，这意味着，你上传一个Object的Key=a/my.html，并不能直接通过http://mybucket.s3.amazonaws.com/a/my.html直接访问，会提示Access Denied，只要在设置权限(ACL或Policy之后才可以访问)

2.常用操作

S3服务器提供了SOAP/HTTP接口，官方称为REST API。同时为了使用了方便在其上封装了一层SDK，支持Java, PHP, .Net, Ruby接口，可惜的暂时没有C++接口。一般程序员们可以用它的SDK，还是很方便的，满足大部分操作的需求。

先声明一些变量

String accessKeyID = "xxxxxxxxxxxxxx";String secretKey = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyy";String bucketName = "zzzzzzzzzz";AWSCredentials credentials;        AmazonS3 s3Client;        credentials = new BasicAWSCredentials(accessKeyID, secretKey);        s3Client = new AmazonS3Client(credentials);

(1) 查看可用的bucket

只要给定了AWS Account / IAM User的ID和Secret，就可以直接遍例出所有该用户可以访问的bucket。当然，bucket一般是建议由管理员在页面上设置的，一般在程序里不需要对bucket进行操作。

        List<Bucket> buckets = s3Client.listBuckets();        for (Bucket bucket : buckets)         {                System.out.println("Bucket: " + bucket.getName());            }

(2) 查看bucket下所有的object

        ObjectListing objects = s3Client.listObjects(myBucketName);        do         {            for (S3ObjectSummary objectSummary : objects.getObjectSummaries())             {            System.out.println("Object: " + objectSummary.getKey());                        }                                        objects = s3Client.listNextBatchOfObjects(objects);        } while (objects.isTruncated());

实际上，可以按前缀进行list操作，不然要list的东西太多了。

ListObjectsRequest listObjectsRequest = new ListObjectsRequest().withBucketName(bucketName).withPrefix(prefix);ObjectListing objects = s3Client.listObjects(listObjectsRequest);                ...

【补充 1012-08-21】

按目录层次查询：虽然S3服务器上并无目录的概念，但是在List接口上添加了按层次查询的支持，具体就是Prefix和Delimiter的结合，一般Delimiter就是斜线/。具体解释一下，就是如果存在:

china/beijing/a.txt

china/beijing/b.txt

china/anhui/c.txt

china/all.txt

想列出china/下的第一级层次，可以设置prefix="china/", delimiter="/",通过ObjectListing的getCommonprefixes()得到china/beijing/, china/anhui/共两项（子目录），通过getObjectSummaries()得到china/all.txt （叶子节点）。

ListObjectsRequest listObjectsRequest = new ListObjectsRequest().withBucketName(bucketName).withPrefix(prefix).withDelimiter("/");    ObjectListing objects = s3Client.listObjects(listObjectsRequest);    do     {    for(String objKey : objects.getCommonPrefixes())    {    System.out.println("+ " + objKey);    }            for (S3ObjectSummary objectSummary : objects.getObjectSummaries())         {        String objKey = objectSummary.getKey();        //keyList.add(objKey);        System.out.println(objKey);        }              objects = s3Client.listNextBatchOfObjects(objects);    } while (objects.isTruncated());

(3) 上传文件

需要强调的是，本地文件系统有目录的概念，但是在S3上没有目录的概念，其URI只是作为Object的key出现。这里顺便在添加的时候赋予该Object一个Public Read权限，以便可以匿名访问。

        File file = new File(localPath);                        // 默认添加public权限        s3Client.putObject(new PutObjectRequest(bucketName, s3Path, file)        .withCannedAcl(CannedAccessControlList.PublicRead));

(4) 多线程上传

在文件比较大的时候，有必要用多线程上传。

        TransferManager tm = new TransferManager(s3Client);        TransferManagerConfiguration conf = tm.getConfiguration();        int threshold = 4 * 1024 * 1024;        conf.setMultipartUploadThreshold(threshold);        tm.setConfiguration(conf);                Upload upload = tm.upload(bucketName, s3Path, new File(localPath));        TransferProgress p = upload.getProgress();                while (upload.isDone() == false)        {                    int percent =  (int)(p.getPercentTransfered());            System.out.print("\r" + localPath + " - " + "[ " + percent + "% ] "             + p.getBytesTransfered() + " / " + p.getTotalBytesToTransfer() );            // Do work while we wait for our upload to complete...            Thread.sleep(500);        }        System.out.print("\r" + localPath + " - " + "[ 100% ] "         + p.getBytesTransfered() + " / " + p.getTotalBytesToTransfer() );                // 默认添加public权限        s3Client.setObjectAcl(bucketName, s3Path, CannedAccessControlList.PublicRead);

(5) 删除Object

DeleteObjectRequest request = new DeleteObjectRequest(bucketName, s3Path);s3Client.deleteObject(request);

(6) 重命名Object

没有直接的命名接口，而是借用copy接口来实现。

重命名分为2步：(1) 调用copy接口，作一个拷贝
(2) 调用delete接口，删除原来的Object

System.out.println(s3PathOld + " -> " + s3PathNew);S3Object obj = s3Client.getObject(new GetObjectRequest(bucketName, s3PathOld));        s3Client.copyObject(bucketName, s3PathOld,        bucketName, s3PathNew);        deleteFile(s3PathOld);

3.Access Control权限设置

上面有个简单的ACL设置，一般也够用了。如果此篇受大家欢迎的话，我再补上更详细的说明。