成人性生交大片免费看视频r_亚洲综合极品香蕉久久网_在线视频免费观看一区_亚洲精品亚洲人成人网在线播放_国产精品毛片av_久久久久国产精品www_亚洲国产一区二区三区在线播_日韩一区二区三区四区区区_亚洲精品国产无套在线观_国产免费www

主頁 > 知識庫 > 用好anyproxy提高公眾號文章采集效率

用好anyproxy提高公眾號文章采集效率

熱門標(biāo)簽:福建高頻外呼防封系統(tǒng)哪家好 周口網(wǎng)絡(luò)回撥外呼系統(tǒng) 全國各省地圖標(biāo)注點 商丘外呼系統(tǒng)好處 隨州銷售電銷機器人公司 外呼系統(tǒng)人工客服 400電話申請辦理 百度地圖標(biāo)注類型是酒店 網(wǎng)絡(luò)電話400申請

影響因素主要會有以下幾點:

1、網(wǎng)絡(luò)環(huán)境不佳;

2、手機或模擬器中微信客戶端崩潰;

3、其它一些網(wǎng)絡(luò)傳輸錯誤;

因為我比較看重采集系統(tǒng)的運行成本,這個成本包括硬件投入,運算力投入和占用的人工精力。所以必須提高運行的穩(wěn)定性。因此如果采集中斷,必然增加人工精力的成本。所以針對這一點我對anyproxy做了一些進階的改造,并且借助了其它一些工具提高了運行效率。以下就是具體的解決方法:

一、代碼升級

1)微信瀏覽器白屏

解決方法:修改文件requestHandler.js,還是在rule_default.js同級目錄下,(mac系統(tǒng)/usr/local/lib/node_modules/anyproxy/lib/;win系統(tǒng)評論區(qū)網(wǎng)友cnbattle提供C:\Users\Administrator\AppData\Roaming\npm\node_modules\anyproxy\lib)

在代碼中找到proxyReq.on("error",function(e){這個函數(shù),并修改內(nèi)容

//userRes.end();//把這一行注釋掉
userRes.end('script>setTimeout(function(){window.location.reload();},2000);/script>');//插入這一行

這樣當(dāng)發(fā)生錯誤時,會返回一個刷新當(dāng)前頁面的js;這樣程序就能繼續(xù)下去了

2)替換所有圖片,減輕瀏覽器負擔(dān)

首先需要制作一張非常小的圖片,我做的是1x1像素,png透明圖;放到任意文件夾里。然后修改文件rule_default.js的代碼:

在文件開頭有許多var的位置加入以下代碼

var fs = require("fs"),
 img = fs.readFileSync("/Library/WebServer/Documents/space.png");//代碼絕對路徑替換成自己的

在下面的代碼中找到shouldUseLocalResponse : function(req,reqBody){函數(shù),在函數(shù)內(nèi)插入代碼:

if(/mmbiz\.qpic\.cn/i.test(req.url)){
 req.replaceLocalFile = true;
 return true;
}else{
 return false;
}

繼續(xù)在下面的代碼中找到dealLocalResponse : function(req,reqBody,callback){函數(shù),在函數(shù)內(nèi)插入代碼:

if(req.replaceLocalFile){
 callback(200, {"content-type":"image/png"},img );
}

這三段代碼就會將公眾號里面的所有圖片替換成本地圖片,減輕網(wǎng)絡(luò)傳輸壓力和瀏覽器占用的內(nèi)存,有效的提高運行效率;

3)禁止手機或模擬器訪問一些無用的和會導(dǎo)致錯誤的網(wǎng)址

同樣在rule_default.js里找到代碼replaceRequestOption : function(req,option){函數(shù),在函數(shù)內(nèi)部插入代碼:

var newOption = option;
if(/google|btrace/i.test(newOption.headers.host)){//這里面的正則可以替換成自己不希望訪問的網(wǎng)址特征字符串,這里面的btrace是一個騰訊視頻的域名,經(jīng)過實踐發(fā)現(xiàn)特別容易導(dǎo)致瀏覽器崩潰,所以加在里面了,繼續(xù)添加可以使用|分割。
 newOption.hostname = "127.0.0.1";//這個ip也可以替換成其他的
 newOption.port  = "80";
}
return newOption;

這個修改之前的文章也提到過了,在這里重新再詳細介紹一下。他的用途很多,不同的手機和模擬器都有可能訪問一些無用的地址導(dǎo)致設(shè)備變慢,通過這個代碼就可以阻止訪問。

二、使用pm2管理anyproxy進程

pm2 是一個帶有負載均衡功能的Node應(yīng)用的進程管理器.

當(dāng)你要把你的獨立代碼利用全部的服務(wù)器上的所有CPU,并保證進程永遠都活著,0秒的重載, PM2是完美的。它非常適合IaaS結(jié)構(gòu),但不要把它用于PaaS方案(隨后將開發(fā)Paas的解決方案).

主要特性:

內(nèi)建負載均衡(使用Node cluster 集群模塊)

后臺運行

0秒停機重載,我理解大概意思是維護升級的時候不需要停機.

具有Ubuntu和CentOS 的啟動腳本

停止不穩(wěn)定的進程(避免無限循環(huán))

控制臺檢測

提供 HTTP API

遠程控制和實時的接口API ( Nodejs 模塊,允許和PM2進程管理器交互 )

測試過Nodejs v0.11 v0.10 v0.8版本,兼容CoffeeScript,基于Linux 和MacOS.

首先安裝pm2

sudo npm install -g pm2

在pm2環(huán)境下運行anyproxy

sudo pm2 start anyproxy -x -- -i

現(xiàn)在anyproxy就在pm2的環(huán)境中運行了

之后還有幾個pm2的命令可以幫助管理和監(jiān)控anyproxy

//查看運行日志
sudo pm2 logs anyproxy [--lines 10]
//關(guān)閉anyproxy
sudo pm2 delete anyproxy
//重啟anyproxy
sudo pm2 restart anyproxy
//監(jiān)控內(nèi)存占用
sudo pm2 monit
//監(jiān)控運行狀態(tài)
sudo pm2 list

特別提示:pm2運行后,終端窗口是可以關(guān)閉的。

使用pm2管理anyproxy進程,最重要的目的是:anyproxy因為錯誤而退出程序之后,pm2可以另anyproxy自動重啟。

三、取消sudo密碼,并使pm2開機自啟

以下內(nèi)容是在mac環(huán)境下的方法,windows也應(yīng)該有類似的方法,如果了解的網(wǎng)友可以私信發(fā)給我。

1)首先取消sudo的密碼

運行命令:

sudo visudo

找到代碼:

%admin   ALL = (ALL) ALL

修改為:

%admin   ALL = (ALL) NOPASSWD: ALL

這樣sudo的密碼就取消掉了,然后就可以將pm2加入到開機自啟動中了

2)設(shè)置開機自啟

在終端中輸入命令:

cd
touch autoexec.sh
vim autoexec.sh

然后進入編輯模式,按鍵盤字母i開始編輯,粘貼代碼:

#!/bin/sh 
sudo pm2 start anyproxy -x -- -i
sudo pm2 monit

編輯完之后,按esc,再鍵入命令wq保存退出編輯模式。

再執(zhí)行命令:

chmod 755 autoexec.sh

這樣一個可執(zhí)行文件就建立好了

然后打開mac系統(tǒng)的“系統(tǒng)偏好設(shè)置”,找到“用戶與群組”,在左側(cè)選擇當(dāng)前用戶,右側(cè)選擇登錄項;然后點擊+號,找到當(dāng)前用戶的根目錄(可以按shift+command+h快捷鍵),選擇autoexec.sh文件,添加到登錄項中,就可以開機自啟動了。

經(jīng)過以上的幾項設(shè)置之后,anyproxy系統(tǒng)就會比原來更加穩(wěn)定,其實主要原因是模擬器或手機的不穩(wěn)定導(dǎo)致的anyproxy發(fā)生的錯誤。經(jīng)過實際測試,anyproxy目前可以長時間運行不崩潰。而微信客戶端還是在運行大約6個小時之后崩潰,以2秒翻一頁的速度,采集總數(shù)大約1萬個頁面。如果不采集閱讀量,就可以是1萬個公眾號的歷史消息頁。

微信客戶端的崩潰現(xiàn)象是退出微信瀏覽器,停留在查看公眾號資料頁面。所以如果希望再進一步提高自動化,也可以使用觸動精靈之作自動化腳本,定時推出微信瀏覽器,再點擊歷史消息頁。這樣應(yīng)該就可以實現(xiàn)長時間自動化采集了。

標(biāo)簽:佛山 定西 海南 十堰 迪慶 樂山 南寧 六安

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《用好anyproxy提高公眾號文章采集效率》,本文關(guān)鍵詞  用好,anyproxy,提高,公眾,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《用好anyproxy提高公眾號文章采集效率》相關(guān)的同類信息!
  • 本頁收集關(guān)于用好anyproxy提高公眾號文章采集效率的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    国精产品一区二区| 久久精品亚洲一区二区三区浴池| 欧美性在线视频| 一区二区三区欧美激情| 精品午夜av| 日本精品一区二区三区不卡无字幕| 国产成人视屏| 国产精品免费免费| www.av片| 成人性视频免费看| 又大又硬又爽免费视频| 成人av在线资源网| 成人免费在线观看av| 超碰高清在线| 中文字幕久久久| 一道精品视频一区二区三区图片| 精品视频在线视频| 伊人激情综合| 久久人人88| 在线观看黄网址| 一区二区三区在线观看免费视频| 国产**成人网毛片九色| www国产亚洲精品久久网站| 成人午夜亚洲| 亚洲超碰在线| 精品成人乱色一区二区| 亚洲激情国产| 欧美一区二区二区| 亚洲国产精品精华液网站| 国产精品视频在线播放| 久草网在线观看| 国产成人精品视频| 欧美人在线视频| xxxxx99| 久久午夜精品视频| 国产美女在线一区| 欧美理论片在线| 亚洲精选一区| 黄网在线免费| 精品在线播放| 久久成人免费日本黄色| www 成人av com| 天天综合日日夜夜精品| 精品卡一卡卡2卡3网站| 成人av在线不卡| 久久 天天综合| 色综合免费视频| 国产精品一区二区在线免费观看| 乱小说综合网站| 成年在线观看免费人视频| 一插菊花综合| 性折磨bdsm欧美激情另类| 天堂在线中文| 国产免费a∨片在线观看不卡| а√天堂8资源中文在线| 欧美调教视频| 奇米影视首页 狠狠色丁香婷婷久久综合| 一个人www视频在线免费观看| 欧美精品一区二区三区高清aⅴ| 天堂在线www天堂中文在线| 91丨porny丨蝌蚪视频| 国产精品一区二区视频| 日本视频中文字幕一区二区三区| 97人人澡人人爽人人模亚洲| 91精品午夜视频| 亚洲日本在线观看视频| 91九色偷拍| 日韩在线一二三| 四虎国产精品免费久久| 一本大道久久a久久精二百| 99精品国产99久久久久久福利| 欧美亚洲日本在线| 午夜天堂影视香蕉久久| 天天干天天爽天天操| 不许穿内裤随时挨c调教h苏绵| 国产精品日韩在线播放| 久久成人小视频| 国产成人精品免费视频大全软件| 一二三四视频在线中文| 国产精品拍拍拍| 色偷偷中文字幕| 在线国产福利| 国产成人午夜电影网| 日本高清一区二区视频| 久本草在线中文字幕亚洲| 亚洲黄色av一区| 狠狠狠色丁香婷婷综合久久五月| 精品在线视频免费| 少妇极品熟妇人妻无码| 国产精品污www在线观看| 自拍亚洲色图| 日韩高清在线不卡| 欧美三级在线免费观看| 欧美日在线观看| 精品亚洲一区二区三区四区五区高| 欧美h版在线| 黑人巨大40厘米重口ysn| 波多野结衣久久精品| 成人精品亚洲人成在线| 成人亚洲欧美日韩在线观看| 在线视频这里只有精品| 在线亚洲一区二区| 在线免费激情视频| 国产精品入口麻豆免费| 国产精品成久久久久三级| 蜜桃av在线| 国产综合视频一区二区三区免费| 国产91久久精品一区二区| 国产精品一区二区视频| 粉嫩蜜臀av国产精品网站| 亚洲精品成人区在线观看| 欧美性猛交ⅹxxx乱大交免费| 日本在线成人一区二区| 一区二区三区在线|网站| 五月婷婷欧美视频| 亚洲精品456在线播放狼人| 亚洲桃色在线一区| 香港三级日本三级a视频| 国产精品1024久久| 国产一区你懂的| 日本高清在线观看| 国产福利亚洲| 欧美一区二区三区观看| aa片在线观看视频在线播放| 亚洲在线观看视频网站| 精品一区二区三区四区五区| 国产乱对白刺激视频不卡| 欧美精品自拍| 日韩欧美国产视频| 免费毛片在线不卡| 区一区二日本| 黄色www在线观看| 欧美日韩在线播放一区| 国产综合视频在线| 精品美女被调教视频大全网站| 欧美日一区二区在线观看| mm1313亚洲国产精品美女| 91成人在线观看喷潮| 日韩一区二区在线观看视频播放| 亚洲91av视频| 日韩精品视频免费看| 成年女人毛片| 经典三级一区二区三区视频| 欧美日韩在线亚洲一区蜜芽| 午夜精品久久久| 久久亚洲精品一区二区| 精品久久久久久久久中文字幕| 欧美hdsex| 国产人成网在线播放va免费| 超碰97人人干| 国产裸体美女永久免费无遮挡| 精品视频久久久久久| 97视频在线观看成人| 国偷自产av一区二区三区| 日韩高清免费观看| 国产野外作爱视频播放| 国产裸体无遮挡| 免费在线观看污网站| 欧美精品国产精品久久久| 91精品国产乱码久久久竹菊| 色呦呦网站一区| 午夜成年人在线免费视频| 五月天一区二区三区| 天堂av中文在线观看| 欧美黄色高清视频| 国产精品亚洲片夜色在线| 国产精品久久久久久影视| 日韩亚洲视频在线观看| 国内精品伊人久久久久av影院| 在线免费精品视频| 久久精品国产电影| 国产精品视频一区二区久久| 看黄的a网站| 久久精品国产美女| 亚洲自拍偷拍一区| 国产精品10p综合二区| 亚洲一区和二区| 97国产一区二区| 成人av午夜影院| 成人午夜毛片| 一个人在线视频免费观看www| 午夜在线免费视频| 91在线观看免费高清完整版在线观看| 国产va在线视频| 国产精品入口麻豆免费观看| 亚州欧美在线| 国产一区二区三区四区视频| 九色视频成人自拍| 亚洲手机视频| 精品卡一卡二| 午夜国产一区二区三区| 一区二区三区波多野结衣在线观看| 欧美视频精品在线观看| 日本aⅴ大伊香蕉精品视频| 天堂网在线播放| 国语自产精品视频在免费| 国产 高清 精品 在线 a| 伊人久久综合一区二区| 999精品视频在线| www国产成人免费观看视频 深夜成人网| 欧美精品一区二区三区在线播放| 精品三级久久久久久久电影聊斋| 99久久免费国产精品| 九九久久精品视频| 日韩成人av网站| 国产成人福利av| 91禁男男在线观看| 日韩av日韩在线观看| 欧美一级电影免费在线观看| 91网免费观看| 麻豆中文字幕在线观看| 国产伦理一区| 在线观看xxx| 国产女人18毛片水18精| 91麻豆成人精品国产免费网站| 黄瓜视频在线观看| 亚洲一区高清| 成人中文字幕av| 一女三黑人理论片在线| 一区二区三区四区视频在线观看| 成人激情av| 精品国产乱码久久久久久蜜臀| 国产三级精品三级在线观看| 国产95亚洲| 一区二区三区四区精品视频| 久久精品亚洲无码| 国产精一区二区| 国产成人三级在线播放| www.日韩不卡电影av| 8x海外华人永久免费日韩内陆视频| 日韩簧片在线观看| 欧美—级高清免费播放| 日本三级在线视频| 国产精品一区二区美女视频免费看| 国产精品99久| 81精品国产乱码久久久久久| 亚洲欧美制服丝袜| 欧美福利在线播放网址导航| 97视频热人人精品| 97在线资源站| 欧美高清在线视频| 丰满少妇中文字幕| 久久看人人摘| 色噜噜色狠狠狠狠狠综合色一| 最新国产の精品合集bt伙计| 最近更新在线中文字幕一页| 在线播放 亚洲| 美女福利视频一区二区| 黄色手机在线视频| 免费黄色网址在线观看| 黄色污在线观看| 欧美在线观看视频免费| 国产黄色大片在线观看| 最近2019年手机中文字幕| av无码久久久久久不卡网站| 一本到三区不卡视频| 污污网站在线| 日本道在线观看一区二区| 午夜一区二区三区四区| 欧美一级黄色录像| 精品久久香蕉国产线看观看亚洲| 亚洲婷婷综合网| 国产视频自拍一区| 久久久国产精品午夜一区ai换脸| 亚洲精品日韩成人| 精品国产一区二区三区久久久蜜月| 精品国产乱码久久久久久夜甘婷婷| 欧美三级在线视频| 欧美最猛性xxxx| av在线播放中文字幕| 一区二区三区四区视频在线| 中文字幕一区二区三区在线观看| 亚洲黄色片网站| 国产精品21p| 国产精品亚洲欧美在线播放| 亚洲网一区二区三区| 九七影院97影院理论片免费| 色偷偷噜噜噜亚洲男人的天堂| 91久久精品一区二区三区| 一区二区免费视频| 日韩欧美精品一区二区三区经典| 日韩黄色在线| 亚洲第一视频区| 欧美一卡2卡三卡4卡5免费| 久久久精品视频成人| 欧美天天综合网| 日韩欧美三级一区二区| 欧美在线一级| 一区二区三区小视频| 中文字幕+乱码+中文字幕一区| 无码人妻精品一区二区三区99v| 国产精品视频最多的网站| 永久免费毛片在线播放不卡| 黄色亚洲精品| 国产精品久久久久久久久晋中| 国产黄片一区二区三区| 精品少妇人妻av一区二区| 爱情岛论坛亚洲自拍| 中文字幕丰满乱码| 欧美日韩一区二区欧美激情| 亚洲欧美日韩综合在线| 日本tube24xxxxx| 性色av一区二区| 日韩欧美在线一区二区| 免费毛片视频网站| 99久久精品一区| 日韩欧美1区| 天堂中文8资源在线8| 国外亚洲成av人片在线观看| 日本理论片午伦夜理片在线观看| 欧洲精品久久久| 99re热视频| 色国产在线视频| 亚洲伦理在线精品| 国产精品国产对白熟妇| 免费视频91蜜桃| 91中文字幕在线观看| 精品久久ai| 久久人人爽亚洲精品天堂| 日韩欧美成人免费视频| 中文文字幕一区二区三三| 日韩欧美三级视频| 欧美精品日韩在线| 欧美日韩国产中文| 国产亚洲精品熟女国产成人| 无套白嫩进入乌克兰美女| 日韩久久久久久久久久久久| 国产伦精品一区三区精东|