sqlite存储大数据量数据之浅见

来源:互联网 发布:python 归一化 编辑:程序博客网 时间:2024/05/20 23:02
   老猫最近刚开始学习android,android中对于数据存储的方式有好几种,经过两天的学习,对于sqlite存储数据的性能和用法做一浅显的说明:
     老猫从j2me开发一路走来,对于sqlite真是喜忧参半,囍的是在一个单机PDA环境下内嵌sqlite可以利用关系型数据库对数据进行操作,开发人员无须为以文本文件形式存储的数据进行查询,修改(定位而头疼),想当初三万条数据在j2me弱弱的文本操作环境下我用了将近60个文件进行存储并进行定位查询,修改操作,想当然速度不会很快,一条数据的查询时间将近3到4秒。忧的是:sqlite毕竟是个内嵌的关系型数据库,它存储数据是有限的,在j2me环境下老猫曾测试存储一万条数据就开始内存溢出了,闹心呀
   从j2me转向android,可以看到API中对sqlite专门提供了操作的接口,于是我在考虑android环境下我如果给了它足够大的存储空间,他是否还会对我视而不见,(老猫一直认为sqlite存储较大量数据还是可以实现的,至于制约他的因素可能就是存储空间)。
  这里我抛开真机或模拟器自带的内存,通过sd卡大容量的空间来存放我们的sqlite数据库。
    第一:模拟器环境下:
        去网站下载SQLite Expert Professiona工具,此工具是一个可视化创建sqlite数据库的工具很好用,下载地址:
       安装完成后,界面如下图所示:
   
         1、创建数据库:
              在工具条栏选择File---new database,此时会弹出数据库添加界面,这里我们添加data file为dictionary,给database alias(sqlite是文本数据库)添加为c:\ dictionary     添加完成后点击 Ok 按钮,此时在左侧的列表中会看到你刚刚新创建的数据库dictionary。
      2、创建表
           选中dictionary右键可以看到NEW TABLE,点击它,这里我们创建的表名为:t_wods,方式和你创建mysql表一样,填写字段,类型,字段大小等等,这里我们创建两个字段:english,chinese,都为varchar类型长度为20。
      3.录入信息,为了测试方便,我直接将两万条的数据导入到该表中,现在dictionary文件的大小为5M.
        此时我们的数据库就创建完成。对于c盘下的dictionary文件,我们先放下,下面开始给模拟器创建sd卡镜像。
   3、(sd卡镜像文件的创建转载于别处,谢谢原作者)
               创建一个SD卡镜像文件。
              打开cmd,输入如下命令:mksdcard 1024M sdcard.img

           该命令会在当前目录下生成一个sdcard.img文件,该文件就是Android模拟器的SD卡镜像文件。1024M表示1024兆,即该SD卡有1G的容量,也可用K做单位(1M=1024K),K,M必须大写。目前Android支持8M~128GSD

运行带有SD卡的模拟器
      创建了SD卡镜像文件,只是创建了一个文件,还不能在模拟器中直接用,要在模拟器中可看到该SD卡,方法有两种,如下:


◆在cmd中,命令如下:emulator -sdcard e:sdcard.img

         ◆在Eclipse中,在Run->Run Configurations...菜单里面的Target标签页里面,输入启动参数



   以上工作完成,我们可以开始写代码了:


  为了测试,我只写了一个小demo,大家能看懂即可:
   public class Dictionary extends Activity  implements OnClickListener, TextWatcher{
private final String DATABASE_PATH = android.os.Environment
   .getExternalStorageDirectory().getAbsolutePath()
   + "/dictionary";
private final String DATABASE_FILENAME = "dictionary.db3";
SQLiteDatabase database;
Button btnSelectWord;
AutoCompleteTextView actvWord;
@Override
public void onCreate(Bundle savedInstanceState) {
  super.onCreate(savedInstanceState);
  setContentView(R.layout.main);
     // 打开数据库,database是在Main类中定义的一个SQLiteDatabase类型的变量
  database = openDatabase();
  // 下面的代码装载了相关组件,并设置了相应的事件
  btnSelectWord = (Button) findViewById(R.id.btnSelectWord);
  actvWord = (AutoCompleteTextView) findViewById(R.id.actvWord);
  btnSelectWord.setOnClickListener(this);
  actvWord.addTextChangedListener(this);
}
public void onClick(View view)
{
  String sql = "select chinese from t_words where english=?";
    Cursor cursor = database.rawQuery(sql, new String[]
  { actvWord.getText().toString() });
  String result = "未找到该信息.";
  //  如果查找english信息,显示其chinese信息
  if (cursor.getCount() > 0)
  {
   //  必须使用moveToFirst方法将记录指针移动到第1条记录的位置
   cursor.moveToFirst();
   result = cursor.getString(cursor.getColumnIndex("chinese"));
   Log.i("tran", "success"+result);
  }
  //  显示查询结果对话框
  new AlertDialog.Builder(this).setTitle("查询结果").setMessage(result)
    .setPositiveButton("关闭", null).show();

}
private SQLiteDatabase openDatabase() {
  try {
   // 获得dictionary.db文件的绝对路径
   String databaseFilename = DATABASE_PATH + "/" + DATABASE_FILENAME;
   File dir = new File(DATABASE_PATH);
   // 如果/sdcard/dictionary目录中存在,创建这个目录
   if (!dir.exists())
    dir.mkdir();
   // 如果在/sdcard/dictionary目录中不存在
   // dictionary.db文件,则从res\raw目录中复制这个文件到
   // SD卡的目录(/sdcard/dictionary)
   if (!(new File(databaseFilename)).exists()) {
    // 获得封装dictionary.db文件的InputStream对象
    InputStream is = getResources().openRawResource(
      R.raw.dictionary);
    FileOutputStream fos = new FileOutputStream(databaseFilename);
    byte[] buffer = new byte[8192];
    int count = 0;
    // 开始复制dictionary.db文件
    while ((count = is.read(buffer)) > 0) {
     fos.write(buffer, 0, count);
    }

    fos.close();
    is.close();
   }
   // 打开/sdcard/dictionary目录中的dictionary.db文件
   SQLiteDatabase database = SQLiteDatabase.openOrCreateDatabase(
     databaseFilename, null);
   return database;
  } catch (Exception e) {
  }
  return null;
}
@Override
public void afterTextChanged(Editable s) {
  
}
@Override
public void beforeTextChanged(CharSequence s, int start, int count,
   int after) {
  
}
@Override
public void onTextChanged(CharSequence s, int start, int before, int count) {
  
}

}
运行程序效果如下(该数据在库中的第20004条):

示例二(该数据在19259行)


第二、真机环境下


模拟器上测试通过,下面在真机上进行测试:
首先将,本人用的是 华为c8500 真机sd卡下新建dictionary文件夹,然后将dictionary文件拷贝到里面,从项目目录bin文件夹下降dictionary.apk文件也拷贝到sd卡下,安装测试,由于不好切图,就不上了,总之数据也能够正常查询出来。

以上过程只是个人对中型数据量的数据做的测试观点,当然如果硬是要存储几十万上百万的数据,估计够呛,对于上面的过程有想法的朋友可以留言交流,老猫也是新手一个,谢谢大家。



原创粉丝点击