前言
csv是我接觸的比較早的一種文件，比較好的是這種文件既能夠以電子表格的形式查看又能夠以文本的形式查看。
先引入pandas庫
import pandas as pd
方法一：
1、我構造了一個cont_list，結構為列表嵌套字典，字典是每一個樣本，類似于我們爬蟲爬下來的數(shù)據(jù)的結構
2、利用pd.DataFrame方法先將數(shù)據(jù)轉(zhuǎn)換成一個二維結構數(shù)據(jù)，如下方打印的內(nèi)容所示，cloumns指定列表，列表必須是列表
3、to_csv方法可以直接保存csv文件，index=False表示csv文件不加行序號
保存csv結果
應用到我們的爬蟲代碼，傳入的con_list就是[{},{},{}****]這樣的額數(shù)據(jù)結構，encoding="utf_8_sig"，encoding="gb18030”,我這邊解決中文編碼問題
是不是很方便就，2行代碼即可搞定保存，是不是比上次講的方法簡單好多，其實很多方法，還有python的優(yōu)秀庫，都使python這門語言在數(shù)據(jù)分析領域有極大的優(yōu)勢
方法二：
流程：模擬登錄→獲取Html頁面→正則解析所有符合條件的行→逐一將符合條件的行的所有列存入到CSVData[]臨時變量中→寫入到CSV文件中
核心代碼：
####寫入csv文件中
with open(self.CsvFileName, 'wb') as csvfile:
spamwriter = csv.writer(csvfile, dialect='excel')
#設置標題
spamwriter.writerow(["游戲賬號","用戶類型","游戲名稱","渠道","充值類型","充值金額","返利金額","單號","日期"])
#將CsvData中的數(shù)據(jù)循環(huán)寫入到CsvFileName文件中
for item in self.CsvData:
spamwriter.writerow(item)
完整代碼：
# coding=utf-8
import urllib
import urllib2
import cookielib
import re
import csv
import sys
class Pyw():
#初始化數(shù)據(jù)
def __init__(self):
#登錄的Url地址
self.LoginUrl="http://v.pyw.cn/login/check"
#所要獲取的Url地址
self.PageUrl="http://v.pyw.cn/Data/accountdetail/%s"
# 傳輸?shù)臄?shù)據(jù)：用戶名、密碼、是否記住用戶名
self.PostData = urllib.urlencode({
"username": "15880xxxxxx",
"password": "a123456",
"remember": "1"
})
#第幾筆記錄
self.PageIndex=0;
#循環(huán)獲取共4頁內(nèi)容
self.PageTotal=1
#正則解析出tr
self.TrExp=re.compile("(?isu)tr[^>]*>(.*?)/tr>")
#正則解析出td
self.TdExp = re.compile("(?isu)td[^>]*>(.*?)/td>")
#創(chuàng)建cookie
self.cookie = cookielib.CookieJar()
#構建opener
self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie))
#解析頁面總頁數(shù)
self.Total=4
#####設置csv文件
self.CsvFileName="Pyw.csv"
#####存儲Csv數(shù)據(jù)
self.CsvData=[]
#解析網(wǎng)頁中的內(nèi)容
def GetPageItem(self,PageHtml):
#循環(huán)取出Table中的所有行
for row in self.TrExp.findall(PageHtml):
#取出當前行的所有列
coloumn=self.TdExp.findall(row)
#判斷符合的記錄
if len(coloumn) == 9:
# print "游戲賬號:%s" % coloumn[0].strip()
# print "用戶類型:%s" % coloumn[1].strip()
# print "游戲名稱:%s" % coloumn[2].strip()
# print "渠道:%s" % coloumn[3].strip()
# print "充值類型:%s" % coloumn[4].strip()
# print "充值金額:%s" % coloumn[5].strip().replace("￥", "")
# print "返利金額:%s" % coloumn[6].strip().replace("￥", "")
# print "單號:%s" % coloumn[7].strip()
# print "日期:%s" % coloumn[8].strip()
#拼湊行數(shù)據(jù)
d=[coloumn[0].strip(),
coloumn[1].strip(),
coloumn[2].strip(),
coloumn[3].strip(),
coloumn[4].strip(),
coloumn[5].strip().replace("￥", ""),
coloumn[6].strip().replace("￥", ""),
coloumn[7].strip(),
coloumn[8].strip()]
self.CsvData.append(d)
#模擬登錄并獲取頁面數(shù)據(jù)
def GetPageHtml(self):
try:
#模擬登錄
request=urllib2.Request(url=self.LoginUrl,data=self.PostData)
ResultHtml=self.opener.open(request)
#開始執(zhí)行獲取頁面數(shù)據(jù)
while self.PageTotal=self.Total:
#動態(tài)拼湊所要解析的Url
m_PageUrl = self.PageUrl % self.PageTotal
#計算當期第幾頁
self.PageTotal = self.PageTotal + 1
#獲取當前解析頁面的所有內(nèi)容
ResultHtml=self.opener.open(m_PageUrl)
#解析網(wǎng)頁中的內(nèi)容
self.GetPageItem(ResultHtml.read())
####寫入Csv文件中
with open(self.CsvFileName, 'wb') as csvfile:
spamwriter = csv.writer(csvfile, dialect='excel')
#設置標題
spamwriter.writerow(["游戲賬號","用戶類型","游戲名稱","渠道","充值類型","充值金額","返利金額","單號","日期"])
#將CsvData中的數(shù)據(jù)循環(huán)寫入到CsvFileName文件中
for item in self.CsvData:
spamwriter.writerow(item)
print "成功導出CSV文件！"
except Exception,e:
print "404 error!%s" % e
#實例化類
p=Pyw()
#執(zhí)行方法
p.GetPageHtml()
導出結果
讀取CSV
import pandas as pd
data = pd.read_table('地址', sep=",")['網(wǎng)址'].values
print(data[1])
總結
到此這篇關于使用pandas生成/讀取csv文件的文章就介紹到這了,更多相關pandas生成讀取csv文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- 使用pandas讀取csv文件的指定列方法
- Python Pandas批量讀取csv文件到dataframe的方法
- 使用實現(xiàn)pandas讀取csv文件指定的前幾行
- 解決pandas使用read_csv()讀取文件遇到的問題
- pandas讀取CSV文件時查看修改各列的數(shù)據(jù)類型格式
- 利用Pandas讀取文件路徑或文件名稱包含中文的csv文件方法
- pandas讀取csv文件,分隔符參數(shù)sep的實例
- 解決Python中pandas讀取*.csv文件出現(xiàn)編碼問題
- python pandas讀取csv后,獲取列標簽的方法
- Pandas讀寫CSV文件的方法示例
