pandas學(xué)習(xí)之txt與sql文件的基本操作指南

前言

Pandas是python的一個(gè)數(shù)據(jù)分析包，是基于NumPy的一種工具提供了大量數(shù)據(jù)結(jié)構(gòu)和函數(shù)，可以很方便的處理結(jié)構(gòu)化數(shù)據(jù)，常見(jiàn)數(shù)據(jù)結(jié)構(gòu)有：

Series：一維數(shù)組，與Numpy中的一維array類(lèi)似。

DataFrame：二維的表格型數(shù)據(jù)結(jié)構(gòu)，可以將DataFrame理解為Series的容器

Time- Series：以時(shí)間為索引的Series

Panel ：三維的數(shù)組，可以理解為DataFrame的容器

1.導(dǎo)入txt文件

本文所使用到的test.txt的內(nèi)容如下：

使用read_table()方法導(dǎo)入txt文件

import pandas as pd

df = pd.read_table(r'C:\Users\admin\Desktop\test.txt')
print(df)

result:

  我是李華。 今天本來(lái)留下班里十幾個(gè)人做大掃除結(jié)果他們都跑了，只留下了我一個(gè)人干完了所有活。 回家的路上真不巧又下了雨，
0  雨太大把我自行車(chē)前輪胎上的輻條都沖走了，我非常生氣。 為了報(bào)復(fù)今天發(fā)生的一切，我騎著鋼圈回到...        
1                                     并把教室里的椅子都扔了出去。

該方法是將利用分隔符分開(kāi)的文件導(dǎo)入DataFrame的通用函數(shù)。不僅可以導(dǎo)入.txt文件，也可以導(dǎo)入.csv文件。

df = pd.read_table(r'C:\Users\admin\Desktop\中文\數(shù)據(jù)分析測(cè)試表.csv')
print(df)

result:

   區(qū)域,省份,城市
0  東北,遼寧,大連
1  西北,陜西,西安
2  華南,廣東,深圳
3  華北,北京,北京
4  華中,湖北,武漢

read_table()方法的其他參數(shù)用法和read_csv()方法基本一致，再此不再贅述。

2.導(dǎo)入sql文件

2.1 安裝依賴(lài)庫(kù)pymysql

python連接MySQL要用到pymysql，需要手動(dòng)進(jìn)行安裝。

import pandas as pd
import pymysql

con = pymysql.connect(host='127.0.0.1',  # 數(shù)據(jù)庫(kù)地址，本機(jī)為127.0.0.1或localhost
                      user='root',  # 用戶(hù)名
                      password='123456',  # 密碼
                      db='test',  # 數(shù)據(jù)庫(kù)名
                      charset='utf-8')  # 數(shù)據(jù)庫(kù)編碼，一般為utf-8
sql = "select * from employees"
df = pd.read_sql(sql, con)
print(df)

此時(shí)報(bào)錯(cuò)

修改charset='utf8'后錯(cuò)誤解決：

con = pymysql.connect(host='127.0.0.1',  # 數(shù)據(jù)庫(kù)地址，本機(jī)為127.0.0.1或localhost
                      user='root',  # 用戶(hù)名
                      password='123456',  # 密碼
                      db='test',  # 數(shù)據(jù)庫(kù)名
                      charset='utf8')  # 數(shù)據(jù)庫(kù)編碼，一般為utf-8
sql = "select * from employees"
df = pd.read_sql(sql, con)
print(df)

result:

   eID NAME sex       birth jobs      firJob    hiredate
0    1   張三   男  1990-06-21   教師  2005-06-20  2009-08-26
1    2  魯懷德   男  2004-06-29   工人  2018-08-01  2021-01-06
2    3  趙燕妮   女  1994-07-06  售貨員  2004-09-21  2019-05-23

這里提供數(shù)據(jù)庫(kù)查詢(xún)結(jié)果作為比對(duì)：

注:python使用pymysql與MySQL交互時(shí)，編碼方式只能寫(xiě)成utf8,不要習(xí)慣性地寫(xiě)成utf-8

3.小結(jié)

導(dǎo)入數(shù)據(jù)主要用到pandas里的read_x()方法，x表示待導(dǎo)入文件的格式

除了之前介紹的導(dǎo)入.xlsx文件的read_excel(),導(dǎo)入.csv文件的read_csv(),導(dǎo)入txt的read_table(),導(dǎo)入sql文件的read_sql()之外，

還有一些其他方法在此列出。這些使用到的不多，在此不做深入說(shuō)明,。后面如有使用到再進(jìn)行更新。

pd.read_xml()
pd.read_html()
pd.read_json()
pd.read_clipboard()
pd.read_feather()
pd.read_fwf()
pd.read_gbq()
pd.read_orc()

總結(jié)

到此這篇關(guān)于pandas學(xué)習(xí)之txt與sql文件基本操作的文章就介紹到這了,更多相關(guān)pandas之txt與sql文件操作內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！