Android-多媒体编程

多媒体编程是指对文字、图片、音频、视频的程序设计编程。
这里做简单了解。

图片

-> 图片的一些基础知识

1）计算机中图片大小的计算
图片大小 = 图片的总像素 * 每个像素占用的大小

依据每个像素可表示的颜色种类，分为：
* 单色位图：只能表示2种颜色
* 使用两个数字：0和1
* 使用一个长度为1的二进制数字就可以表示了
* 每个像素占用1/8个字节
* 16色位图：能表示16种颜色
* 需要16个数字：0-15，0000 - 1111
* 使用一个长度为4的二进制数组就可以表示了
* 每个像素占用1/2个字节
* 256色位图：能表示256种颜色
* 需要256个数字：0 - 255,0000 0000 - 1111 1111
* 使用一个长度为8的二进制数字
* 每个像素占用1个字节
* 24位位图：
* 每个像素占用24位，也就是3个字节，所在叫24位位图
* R：0-255,需要一个长度为8的二进制数字，占用1个字节
* G：0-255,需要一个长度为8的二进制数字，占用1个字节
* B：0-255,需要一个长度为8的二进制数字，占用1个字节

加载（大）图片

平常我们在android应用中显示图片时，可能直接将图片资源设置进ImageView或在xml文件中配置就行了。
但是这样是有问题的， 对于小图片的加载时可以的，不过对于大图片的加载，手机可能会受不了，（当然，现在的手机肯定是OK的）
特别是在模拟器中，如果模拟器的内存小的话，会直接崩掉。
综上所述，对于大图片的加载，若果直接加载而不作处理的话，可能会非常耗费内存。

为什么会如此耗费内存呢？一般一个图片最大也就MB级别吧？这里以加载24位位图图片为例
这是因为在android中是以ARGB表示每个像素，每个像素占用4个字节，所以占用内存资源挺大的。（A表示透明度）

对于大图片的加载，我们一般会先进行缩放，这里我们以屏幕的尺寸为标尺来进行图片的缩放。
下面是一段简单的图片加载代码：

        Options opt = new Options();       //Options对象主要用来封装解析图片时图片的参数，        opt.inJustDecodeBounds = true;     //由于先进行图片的缩放， 所以先不为像素申请内存，只为获取图片宽高        BitmapFactory.decodeFile("sdcard/dog.jpg", opt);  //解析图片        //拿到图片宽高        int imageWidth = opt.outWidth;        int imageHeight = opt.outHeight;        Display dp = getWindowManager().getDefaultDisplay();   //Display代表手机屏幕对象        //拿到屏幕宽高        int screenWidth = dp.getWidth();        int screenHeight = dp.getHeight();        //计算缩放比例        int scale = 1;        int scaleWidth = imageWidth / screenWidth;          int scaleHeight = imageHeight / screenHeight;        if(scaleWidth >= scaleHeight && scaleWidth >= 1){   //，为了适应屏幕显示， 取较大值作为图片的缩放比例            scale = scaleWidth;        }        else if(scaleWidth < scaleHeight && scaleHeight >= 1){            scale = scaleHeight;        }        //设置缩放比例        opt.inSampleSize = scale;      //设置解析参数：缩放比例        opt.inJustDecodeBounds = false;        Bitmap bm = BitmapFactory.decodeFile("sdcard/dog.jpg", opt);   //按缩放比例解析图片        ImageView iv = (ImageView) findViewById(R.id.iv);        iv.setImageBitmap(bm);

对图片内容做修改

这里的内容修改指的是对图片的简单处理，比如旋转、平移、镜面等。
既然是对图片的绘制， 这里要用到对象有Paint、Canvas（画板）

在内存中创建图片的副本

直接加载的Bitmap对象是只读的，无法修改，要修改图片只能在内存中创建出一个一模一样的bitmap副本，然后修改副本。

    //加载原图        Bitmap srcBm = BitmapFactory.decodeFile("sdcard/photo3.jpg");        //创建与原图大小一致的空白bitmap        Bitmap copyBm = Bitmap.createBitmap(srcBm.getWidth(), srcBm.getHeight(), srcBm.getConfig());        //定义画笔        Paint paint = new Paint();        //把纸铺在画版上        Canvas canvas = new Canvas(copyBm);        //把srcBm的内容绘制在copyBm上        canvas.drawBitmap(srcBm, new Matrix(), paint);    //矩阵对象俺的传入        iv_copy.setImageBitmap(copyBm);   

简单的图片特效处理

对图片进行特效处理，依赖的是Matrix(还记不记得大学中学过的线性代数， 恶魔)。
哎，不过，对矩阵不熟悉也没关系，google已经考虑到了这一点，已经将一些简单图片矩阵处理的方法封装在了Matrix中。
所以，对图片简单特效的处理，只需调用这些已经封装好的方法就可以了。

• 首先定义一个矩阵对象

  Matrix mt = new Matrix();

• 缩放效果

  //x轴缩放1倍，y轴缩放0.5倍mt.setScale(1, 0.5f);

• 旋转效果

  //以copyBm.getWidth() / 2, copyBm.getHeight() / 2点为轴点，顺时旋转30度mt.setRotate(30, copyBm.getWidth() / 2, copyBm.getHeight() / 2);

• 平移

  //x轴坐标+10，y轴坐标+20mt.setTranslate(10, 20);

• 镜面

  //把X坐标都变成负数mt.setScale(-1, 1);//图片整体向右移mt.postTranslate(copyBm.getWidth(), 0);

• 倒影

  //把Y坐标都变成负数mt.setScale(1, -1);//图片整体向下移mt.postTranslate(0, copyBm.getHeight());

简单的图片应用

1）画画板
画画板的的实现，其实就是在一张空白的图片上，按照用户的指示进行简单的绘制。

核心思想：
* 给ImageView设置触摸侦听，得到用户的触摸事件，并获知用户触摸ImageView的坐标
记录用户触摸事件的XY坐标，绘制直线

    iv.setOnTouchListener(new OnTouchListener() {            @Override            public boolean onTouch(View v, MotionEvent event) {                // TODO Auto-generated method stub                switch (event.getAction()) {                //触摸屏幕                case MotionEvent.ACTION_DOWN:                    //得到触摸屏幕时手指的坐标                    startX = (int) event.getX();                    startY = (int) event.getY();                    break;                //在屏幕上滑动                case MotionEvent.ACTION_MOVE:                    //用户滑动手指，坐标不断的改变，获取最新坐标                    int newX = (int) event.getX();                    int newY = (int) event.getY();                    //用上次onTouch方法得到的坐标和本次得到的坐标绘制直线                    canvas.drawLine(startX, startY, newX, newY, paint);                    iv.setImageBitmap(copyBm);                    startX = newX;                    startY = newY;                    break;                }                return true;            }        });

• 刷子效果，加粗画笔
  paint.setStrokeWidth(8);
• 调色板，改变画笔颜色
  paint.setColor(Color.GREEN);
• 保存图片至SD卡

    FileOutputStream fos = null;        try {            fos = new FileOutputStream(new File("sdcard/simple.png"));        } catch (FileNotFoundException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }        //保存图片        copyBm.compress(CompressFormat.PNG, 100, fos);

在这里我们将图片保存后，并不能在图库中直接看到我们的图片， 这是因为：
系统每次收到SD卡就绪广播时，都会去遍历sd卡的所有文件和文件夹，把遍历到的所有多媒体文件都在MediaStore数据库保存一个索引，这个索引包含多媒体文件的文件名、路径、大小
图库每次打开时，并不会去遍历sd卡获取图片，而是通过内容提供者从MediaStore数据库中获取图片的信息，然后读取该图片。

为了让我们的图片在保存之后，能够直接在图库中看到。我们可以手动发送sd卡就绪广播， 从而让系统去遍历sd卡，从而把我们新绘制的图片索引保存到MediaStore数据库中。

        Intent intent = new Intent();        intent.setAction(Intent.ACTION_MEDIA_MOUNTED);        intent.setData(Uri.fromFile(Environment.getExternalStorageDirectory()));        sendBroadcast(intent);

2）撕衣服
曾经有个很火的撕衣服应用，你懂得。那么它的原理是什么呢？
其实就是准备两张图片，一张是穿衣服的，一张是没穿的。两张图片重叠显示。
用户滑动屏幕时，触摸的是外衣照，把手指经过的像素都置为透明，内衣照就显示出来了。

核心代码：

     iv.setOnTouchListener(new OnTouchListener() {                  @Override            public boolean onTouch(View v, MotionEvent event) {                switch (event.getAction()) {                case MotionEvent.ACTION_MOVE:                    int newX = (int) event.getX();                    int newY = (int) event.getY();                    //把指定的像素变成透明                    copyBm.setPixel(newX, newY, Color.TRANSPARENT);                    iv.setImageBitmap(copyBm);                    break;                }                return true;            }        });

当然，每次设置一个像素点为透明色，似乎不够刺激。
* 以触摸的像素为圆心，半径为5画圆，圆内的像素全部置为透明

    for (int i = -5; i < 6; i++) {            for (int j = -5; j < 6; j++) {                if(Math.sqrt(i * i + j * j) <= 5)                    copyBm.setPixel(newX + i, newY + j, Color.TRANSPARENT);            }        }

NT： 注意像素点的设置不要超出图片范围，不然程序会崩掉的。

音频播放

Android中对于音乐、视频的处理相关的对象是MediaPlayer。

MediaPlayer的简单使用：

   MediaPlayer mp = new MediaPlayer();      mp.reset();        mp.setDataSource(PATH_TO_FILE);       mp.prepare();       mp.start();

Android文档中指出， 我们new出来的这个MediaPlayer可能为空，所以我们应该在使用前检查一下是否为空。

音乐播放的几个点：
1）文件路径不仅可以设置为本地文件， 还可以是网络文件
2）mp.prepare()这个方法，一般是不调用的，因为同步准备就意味着，可能要让应用没反应，用户体验不好，
一般应使用异步准备，并设置准备监听：

  player.prepareAsync();   player.setOnPreparedListener(new OnPreparedListener() {        //准备完毕时，此方法调用        @Override        public void onPrepared(MediaPlayer mp) {            player.start();            //addTimer()；        }    });  

3）当MediaPlayer不使用时，我们应该释放其占用的资源（Java不会释放，因为这是个对象是底层调用C来操作硬件的， 而c语言的资源是需手动释放的）。
mp.release();
mp = null;
4）MediaPlayer一般在使用前都要先reset一下。

简单音乐播放器的实现

参考市面上的一些音乐播放器。 音乐播放的代码应该写在服务中，这样才能保证当应用切换到后台后仍然能够继续播放。

基本步骤：
1）写一个音乐播放服务，里面含有音乐播放的基本方法
2）将供外部调用播放方法暴露成接口，并提供中间人对象（访问服务方法的对象）。

    public IBinder onBind(Intent intent) {        // TODO Auto-generated method stub        return new MusicController();    //MusicController调用了音乐服务的音乐相关方法    }

3）在主activity中，启动服务，拿到中间人对象，并根据用户需求调用播放音乐的方法。

    intent = new Intent(this, MusicService.class);        startService(intent);     //不与activity共生死，即保证后台调用        conn = new MyserviceConn();           bindService(intent, conn, BIND_AUTO_CREATE);  //为了访问服务的方法

给音乐播放器添加进度条

进度条采用SeekBar, 至于进度的改变我们采用定时器来实现
查看上面的 player.setOnPreparedListener()方法， 我们在音乐开始播放时，启动了定时器。
下面是定时器的具体代码。

    public void addTimer(){            if(timer == null){                timer = new Timer();                timer.schedule(new TimerTask() {                    @Override                    public void run() {                        //获取歌曲总时长                        int duration = player.getDuration();                        //获取歌曲当前播放进度                        int currentPosition= player.getCurrentPosition();                        //去主线程中刷新UI                        Message msg = MainActivity.handler.obtainMessage();                        //把进度封装至消息对象中                        Bundle bundle = new Bundle();                        bundle.putInt("duration", duration);                        bundle.putInt("currentPosition", currentPosition);                        msg.setData(bundle);                        MainActivity.handler.sendMessage(msg);                    }                    //开始计时任务后的5毫秒，第一次执行run方法，以后每500毫秒执行一次                }, 5, 500);            }

定时器实际是开辟子线程来运行的，因此在run方法中我们是不可以刷新UI， 必须在主线程中刷新UI。

    static Handler handler = new Handler(){        public void handleMessage(android.os.Message msg) {            Bundle bundle = msg.getData();            int duration = bundle.getInt("duration");            int currentPostition = bundle.getInt("currentPosition");            //刷新进度条的进度            sb.setMax(duration);            sb.setProgress(currentPostition);        }    };

拖动进度条，改变音乐播放进度

很简单，其实，就是设置一个进度条的监听，并调用MediaPlayer.seekTo()方法就OK了。

    sb.setOnSeekBarChangeListener(new OnSeekBarChangeListener() {            @Override            public void onStopTrackingTouch(SeekBar seekBar) {                //根据拖动的进度改变音乐播放进度                int progress = seekBar.getProgress();                //改变播放进度                mi.seekTo(progress);            }    }    然后在服务中MediaPlayer.seekTo(progress);

视频播放

SurfaceView

就像使用ImageView显示图片一样，播放视频也得有个容器吧， 这个容器就是SurfaceView。

SurfaceView的特点：
1）它采用双缓冲技术，可以满足那些，对视频流畅、实时更新要求较高的场合。
2）SurfaceView是重量级组件，因此Android是不会轻易去创建它的，只有在可见是才会去创建它。
3）SurfaceView一旦不可见，就会被销毁，一旦可见，就会被创建

简单的讲，双缓冲技术，就是在播放视频时，内存中有两个画布，A画布显示至屏幕，B画布在内存中绘制下一帧画面，
绘制完毕后B显示至屏幕，A在内存中继续绘制下一帧画面

简单视频播放器

当然， 播放视频也是使用的MedaiPlayer（看名字，就知道）。
与音乐的播放相比，特别之处就在于，要设置视频显示的地方（当然是SurfaceView啦）

    player = new MediaPlayer();    player.reset();    player.setDataSource("sdcard/2.3gp");    player.setDisplay(sh);    player.prepare();    player.start();

结合SurfaceView特点，我们这款简单音乐播放器应该
1）每次SurfaceView创建时才去播放视频，销毁时，暂停播放视频。
2）依据1， 所以我们要监听SurfaceView的状态。

final SurfaceHolder sh = sv.getHolder();    sh.addCallback(new Callback() {            //surfaceView销毁时调用            @Override            public void surfaceDestroyed(SurfaceHolder holder) {                //每次surfaceview销毁时，同时停止播放视频                if(player != null){                    currentPosition = player.getCurrentPosition();                    player.stop();                    player.release();                    player = null;                }            }            //surfaceView创建时调用            @Override            public void surfaceCreated(SurfaceHolder holder) {                //每次surfaceView创建时才去播放视频                if(player == null){                    player = new MediaPlayer();                    player.reset();                    try {                        player.setDataSource("sdcard/2.3gp");                        player.setDisplay(sh);                        player.prepare();                        player.start();                        player.seekTo(currentPosition);                    } catch (Exception e) {                        // TODO Auto-generated catch block                        e.printStackTrace();                    }                 }            }            //surfaceView结构改变时调用            @Override            public void surfaceChanged(SurfaceHolder holder, int format, int width,                    int height) {                // TODO Auto-generated method stub            }        });    }

VideoView

VodeoView是Android封装好的视频框架，使用它开发者可以不用自己控制播放与暂停。
即把视频丢给他其他一切，他自己搞定。
VideoView = MediaPlayer + SurfaceView
使用步骤：
1）在界面布局文件中定义VideoView组件，或在程序中创建VideoView组件
2）调用VideoView的如下两个方法来加载指定的视频
setVidePath(String path)：加载path文件代表的视频
setVideoURI(Uri uri)：加载uri所对应的视频
3）将视频控制交给MediaController

代码范例：

 protected void onCreate(Bundle savedInstanceState) {          super.onCreate(savedInstanceState);          setContentView(R.layout.activity_main);          video1=(VideoView)findViewById(R.id.video1);          mediaco=new MediaController(this);          File file=new File("/mnt/sdcard/通话录音/1.mp4");          if(file.exists()){              //VideoView与MediaController进行关联              video1.setVideoPath(file.getAbsolutePath());              video1.setMediaController(mediaco);              mediaco.setMediaPlayer(video1);              //让VideiView获取焦点              video1.requestFocus();          }      }  

Vitamio

MediaPlayer在播放视频方面是十分差劲的，支持的视频格式非常少（3gp、Base64编码的mp4）。
我们在播放视频时，可以使用Vitamio来代替MediaPlayer.它是封装了FFMPEG的视频播放框架，
并且他提供的API全部是javaAPI，且类似于VideoView的API.
Vitamio使用很方便， 并且支持的格式很多。

关于Vitamio使用的几点注意：
1）Vitamio的源码是以eclipse的项目方式提供的，因此，我们使用的话，要关联这个项目
2）在使用之前，应先检测硬件是否支持
3）其他类似的框架，还有百度媒体云等
4）应使用Vitamio提供的控件

使用Vitamio提供的控件

    <io.vov.vitamio.widget.VideoView        android:id="@+id/vv"        android:layout_width="match_parent"        android:layout_height="match_parent"        />

简单使用：

protected void onCreate(Bundle savedInstanceState) {        super.onCreate(savedInstanceState);        setContentView(R.layout.activity_main);        //检测是否支持vitamio        if (!LibsChecker.checkVitamioLibs(this)) {return;}        VideoView vv = (VideoView) findViewById(R.id.vv);        vv.setVideoPath("sdcard/4.rmvb");        vv.start();        vv.setMediaController(new MediaController(this));    }

摄像头

• 启动系统提供的拍照程序

    //隐式启动系统提供的拍照Activity        Intent intent = new Intent(MediaStore.ACTION_IMAGE_CAPTURE);        //设置照片的保存路径        File file = new File(Environment.getExternalStorageDirectory(), "haha.jpg");         intent.putExtra(MediaStore.EXTRA_OUTPUT, Uri.fromFile(file));         startActivityForResult(intent, 0);

• 启动系统提供的摄像程序

    Intent intent = new Intent(MediaStore.ACTION_VIDEO_CAPTURE);        File file = new File(Environment.getExternalStorageDirectory(), "haha.3gp");         intent.putExtra(MediaStore.EXTRA_OUTPUT, Uri.fromFile(file));         //设置保存视频文件的质量        intent.putExtra(MediaStore.EXTRA_VIDEO_QUALITY, 1);        startActivityForResult(intent, 0);