【Excel】CSVファイルのエンコードって？？　UTF-8 【Python】

Encode

これまであんまりはまったことなかったんだけど。。

ファイルにはCodecってのがあります（笑）

codecs — Codec registry and base classes

Source code: Lib/codecs.py This module defines base classes for standard Python codecs (encoders and decoders) and provides access to the internal Python codec ...

docs.python.org

計測器から吐き出すCSVファイルって、エンコードなしとかだったりするのね。

---------------------------------------------------------------------------
 UnicodeDecodeError Traceback (most recent call last) Cell In[3], line 4 1 import numpy as np 3 with open('data/50OHM.CSV') as f:
 ----> 4 print(f.read()) 

File :322, in decode(self, input, final) 

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 11: invalid start byte

Pythonでそのまま読もうとすると。。こういうエラーがでて、

encode=’shift-jis’ でも読めなかったりしました。。メモ帳でみると’ANSI’てなってるので、

指定しても読めない。。

手当たりしだいやるか？　って言っても。。こんなにあるんですよね（笑）

Chardet

Chardet: The Universal Character Encoding Detector

chardet

Universal encoding detector for Python 3

pypi.org

で。。解明する！　ってやってみたけど。。ダメだった。

import chardet

filepath = "data/SSP4 L1.CSV"
with open(filepath, 'rb') as f:
  c = f.read()
  result = chardet.detect(c)
print(result)

とすると。。

{'encoding': None, 'confidence': 0.0, 'language': None}

ということで。。

ExcelでUTF-8で書き出せるのね！

簡単なのは、Excelで読めるなら。。ExcelでCSVで保存すると。。UTF-8コンマ区切りってあるんですね！知らんかった。。

これ簡単ｗ

ちなみに、chardetで見てみると。。

{'encoding': 'UTF-8-SIG', 'confidence': 1.0, 'language': ''}

Excelとかとのやり取りの場合は、UTF-8-SIG が正解なのかもしれない。

その他参考

pandasで作ったCSVファイルをExcelで読みたい - ITips

Share this for your friends.         pandasのto_csvメソッドで作ったCS ...

itips.krsw.biz