目錄
- 簡單版
- 使用filter
- 讀取utf-8帶bom的文件
- 多文件清洗
- 清洗數(shù)據(jù)同時(shí)記錄訂單號(hào)并排序
- 清洗sql文件，將數(shù)據(jù)表名放入excel中
- 總結(jié)
簡單版
直接打開日志文件，往另外一個(gè)文件中按照要過濾的要求進(jìn)行過濾
import io;
with open('a.txt', 'w') as f:
for line in open('c:/201509.txt'):
if line.find('更改項(xiàng)目')>0 and line.find('500')>0:
f.write(line+"\n");
print("輸出完成");
注意.find返回的是字符串在目標(biāo)的第幾位，要和0作比較 另外使用and而不是作為"和"，使用or而不是||作為"或" w是寫，r是讀，a是追加
使用filter
import io;
def isData(s):
return s.find('更改項(xiàng)目')>0 and s.find('500')>0;
with open('a.txt', 'w') as f:
list1=list(filter(isData,open('c:/201509.txt')));
for (offset,item) in enumerate(list1):
f.write(str(offset)+":"+item);
讀取utf-8帶bom的文件
微軟會(huì)在在 UTF-8 文件中放置 BOM頭（順便提一下：把帶有 BOM 的小端序 UTF-16 稱作「Unicode」而又不詳細(xì)說明，這也是微軟的習(xí)慣。不含BOM的UTF-8才是標(biāo)準(zhǔn)形式，UTF-8不需要BOM，帶BOM的UTF-8文件的開頭會(huì)有U+FEFF，所以Windows新建的空文件會(huì)有3字節(jié)的大小。
import codecs
with codecs.open('c:/20160907205.log', encoding='utf_8_sig') as f:
for line in f:
print(line)
注意編碼格式是utf_8_sig
多文件清洗
對(duì)多個(gè)文件進(jìn)行過濾，可以借助其名稱的規(guī)律，遍歷文件之后
import codecs
with codecs.open('a.txt','a', encoding='utf_8_sig') as f:
for i in range(205,210):
f.write(str(i)+"\r\n");
print(str(i));
for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'):
if line.find('url為')>=0 :
print(line);
f.write(line+"\r\n");
print("輸出完成");
清洗數(shù)據(jù)同時(shí)記錄訂單號(hào)并排序
import codecs
a=0;
List=[];
with codecs.open('a.txt','a', encoding='utf_8_sig') as f:
for i in range(205,210):
for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'):
if line.find('url為')>=0 :
ind=line.find("XFLucky");
if ind>=0:
nums=line[ind:ind+22];
print(nums);
List.append(nums);
a=a+1;
print(line);
f.write(str(i)+line+"\r\n");
List.sort();
for item in List:
print(item);
print("輸出完成"+str(a));
清洗sql文件，將數(shù)據(jù)表名放入excel中
安裝openpyxl
安裝之后就可以進(jìn)行sql建表語句的過濾了，將所有的表名和注釋寫入我們的excel文件中。
import re
import openpyxl
data = []
temp = []
wb = openpyxl.load_workbook('data.xlsx')
ws2 = wb.create_sheet(index=2, title='addSheet_test')
for line in open('wlzcool.sql', encoding='utf-8'):
if line.find('CREATE TABLE') >= 0:
matchObj1 = re.search('`(.*?)`', line, re.M | re.I)
if matchObj1:
# print("matchObj.group(1) : ", matchObj1.group(1))
print(matchObj1.group(1))
temp.append(matchObj1.group(1))
if line.find('ROW_FORMAT = Dynamic') >= 0:
matchObj2 = re.search('\'(.*?)'', line, re.M | re.I)
if matchObj2:
# print("matchObj.group(1) : ", matchObj2.group(1))
print(matchObj2.group(1))
temp.append(matchObj2.group(1))
else:
print("no comment")
temp.append("no comment")
data.append(temp)
temp = []
for row in data:
ws2.append(row)
wb.save('data.xlsx')
print("輸出完成")
總結(jié)
人生苦短，我用 Python，在強(qiáng)大的第三方庫幫助下，我們只需很少的代碼就可以實(shí)現(xiàn)很大數(shù)據(jù)量的文件的清洗。
以上就是如何用python清洗文件中的數(shù)據(jù)的詳細(xì)內(nèi)容，更多關(guān)于python清洗文件中的數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:- Python數(shù)據(jù)清洗工具之Numpy的基本操作
- python 利用已有Ner模型進(jìn)行數(shù)據(jù)清洗合并代碼
- python實(shí)現(xiàn)數(shù)據(jù)清洗(缺失值與異常值處理)
- python3常用的數(shù)據(jù)清洗方法(小結(jié))
- 用Python實(shí)現(xiàn)網(wǎng)易云音樂的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和可視化分析
