python对文件加载到内存进行索引缓存

来源：互联网发布：淘宝会员名取不了编辑：程序博客网时间：2024/04/28 05:13

前几天写了一个函数，加载文件到内存里进行查找（扔到数据库里有点慢，不想那么搞）。

数据是格式规范的数据，用'|'分隔，按列进行索引：

比如，我们对以下数据进行索引：

1|2|3

#comment

a|bc

可以选择使用第一列索引：

>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep, '/' , 0)
{'1': ['1', '2', '3'], 'a': ['a', 'b', 'c']}

使用第一列和第三列作为索引：
>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep, '/' , 0,2)
{'a/c': ['a', 'b', 'c'], '1/3': ['1', '2', '3']}

唯一的问题是索引和数据是绑定在一起的，遇上需要对某个文件建多个索引时，会有多个数据副本。不过，这也可以很容易修改。

在github上查看源代码

写这个函数还遇上了一个问题：在list作为dict的key,使用dict的keys()方法时，in操作符居然是线性查找。StackOverflow的问题解释在这里：

http://stackoverflow.com/questions/10205969/why-in-operator-with-tuple-as-a-key-in-python-so-slow