Python Pandas读取中文格式CSV文件遇到的问题(UTF-8与UTF-8 BOM)

来源:互联网 发布:暗黑之光骑兵进阶数据 编辑:程序博客网 时间:2024/06/18 10:21

Python Pandas读取中文格式CSV文件遇到的问题

在使用pandas进行文件读取的过程中遇到了一些匪夷所思的问题,经过摸索发现处在文件编码的格式上。
最开始的时候文件由xlsx文件转换成csv,excel默认格式为gb2312,在notepad++中转化成了UTF-8,但是在读取文件的时候总是出现第一列的列名“not in index”的错误,百思不得解。

UTF-8和 UTF-8 BOM 的区别就是有没有 BOM。即文件开头有没有 U+FEFF。具体的BOM解释请参阅 https://en.wikipedia.org/wiki/Byte_order_mark

错误原因:
notepad++转换的UTF-8格式默认是UTF-8 with BOM,pandas在去读带有BOM的文件的时候将文件开头的标签当成了第一列列名的一部分,因此,在后续使用到第一列列名的过程中,会出现“not in index”的报错。
解决方法:
使用notepad++转换成UTF-8无BOM格式就ok了
tips:如果想要判断一个列名在不在columns中可以使用

print('name' in table.columns)

进行判断,’name’ in table.columns会返回True or False。

0 0