python pandas讀取CSV問題

luobingyin

由于需要對產(chǎn)品測試數(shù)據(jù)進行分析，想到了用Python的pandas進行數(shù)據(jù)分析，數(shù)據(jù)源是csv格式的，想到了用read_csv來讀取dataframe。
但是數(shù)據(jù)源的格式很煩人，上半部分是測試的一些Summary，只有一列內(nèi)容，而測試數(shù)據(jù)是逗號分隔符的標準csv格式如下圖所示：

在pandas讀入csv的時候總是會提示：pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 146, saw 126
感覺應該是兩塊數(shù)據(jù)區(qū)域的分隔符不同導致pandas無法讀取。自己嘗試將兩個數(shù)據(jù)域分成兩個csv文件均可以正常讀取。

但是考慮到要批量處理，人工分數(shù)據(jù)域工作量太大，想通過腳本自動執(zhí)行。
數(shù)據(jù)源中有一個特殊的字符SITE_NUM，初步想法是查找SITE_NUM所在行，
將SITE_NUM所在行前面的數(shù)據(jù)存為一個CSV文件，將SITE_NUM所在行后面的數(shù)據(jù)存為另一個CSV文件，再通過pandas進行處理。

在網(wǎng)上查找了很多方法，都不太好實現(xiàn)，想請教一下有什么比較好的處理方法。
最好是python直接處理，因為后續(xù)數(shù)據(jù)分析還想要用python。

附件是數(shù)據(jù)源，謝謝大家~
rawData.zip (152.59 KB, 下載次數(shù): 11)

2020-03-15 21:15 上傳

點擊文件名下載附件
數(shù)據(jù)源

cfwyy

首先源格式因為前半部分存在就不是嚴格的csv，如果用awk或sed先分成兩個csv再處理也可以，不過其實你只需知道真正的數(shù)據(jù)行是哪行開始的，即找到 ”SITE_NUM“ 所在的行號就可以了。
那最直接的就是先文本先讀進來，再找目標行：

1. with open("1.csv","r") as f:
   
2.      for i,line in enumerate(f,start=1):
   
3.          if "SITE_NUM" in line:
   
4.              print("數(shù)據(jù)開始行號",i)
   
5.              break

復制代碼

開始行號知道了，你后面pandas就好處理了吧。

luobingyin

回復 2# cfwyy

了解，謝謝~