如何访问被屏蔽网站（方法一：代理）

evil0x00(43)

Published in

#cn

Words

556

Reading

3 min

Listen

Play

如何访问被屏蔽网站?

前言:提供一些访问被屏蔽网站的办法

1.使用代理

国内免费的代理我常用的是西刺代理 because 有python脚本，顺便把脚本也贴出来吧

url:http://www.xicidaili.com/nn/

#encoding = utf8 import urllib2 from bs4 import BeautifulSoup import urllib import socket

User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agent

'''
获取所有代理IP地址
'''
def getProxyIp():
proxy = []
for i in range(1,2):
try:
url = 'http://www.xicidaili.com/nn/'+str(i)
req = urllib2.Request(url,headers=header)
res = urllib2.urlopen(req).read()
soup = BeautifulSoup(res)
ips = soup.findAll('tr')
for x in range(1,len(ips)):
ip = ips[x]
tds = ip.findAll("td")
ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]
proxy.append(ip_temp)
except:
continue
return proxy

'''
验证获得的代理IP地址是否可用
'''
def validateIp(proxy):
url = "http://ip.chinaz.com/getip.aspx"
f = open("E:\ip.txt","w")
socket.setdefaulttimeout(3)
for i in range(0,len(proxy)):
try:
ip = proxy[i].strip().split("\t")
proxy_host = "http://"+ip[0]+":"+ip[1]
proxy_temp = {"http":proxy_host}
res = urllib.urlopen(url,proxies=proxy_temp).read()
f.write(proxy[i]+'\n')
print proxy[i]
except Exception,e:
continue
f.close()

if name == 'main':
proxy = getProxyIp()
validateIp(proxy)

原理很简单 getProxyIp()爬取免费代理 validateIp()验证代理的是否能用

再提供一些代理网址后续可以留言继续添加

https://proxy.mimvp.com/free.php
http://www.66ip.cn/

分享一些一体化的项目：

项目一

https://gitee.com/virjar/proxyipcenter

项目：DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。 server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务简单来说：server是一个代理IP爬虫，同时负责简单的数据清洗。client本质是一个代理IP池，获取数据源之后，基于需要代理访问的网站在本地维护一个代理IP池供爬虫使用。