StudyNotes

标签: 默认

1 Proxy的设置

urllib2默认会使用环境变量http_proxy来设置HTTP Proxy。如果想在程序中明确控制Proxy而不受环境变量的影响，可以使用下面的方式

import urllib2

enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http":'http://some-proxy.com:8080'})
null_proxy_hander = urllib2.ProxyHandler({})

if enable_proxy:
   opener = urllib2.build_opener(proxy_handler)
else:
   opener = urllib2.build_opener(null_proxy_handler)

urllib2.install_opener(opener)

这里要注意的一个细节，使用urllib2.install_opener()会设置urllib2的全局opener。这样后面的使用会很方便，但不能做到更细粒度的控制，比如想在程序中使用两个不同的Proxy设置等。比较好的做法是不使用install_opener 去更改全局的设置，而只是直接调用opener的open方法代替全局的urlopen方法

2 Timeout设置

import urllib2 
response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在HTTP Request中加入特定的Header

要加入header,需要使用Request对象:

import urllib2

request = urllib2.Request(url)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

对有些header要特别留意,服务器会针对这些header做检查

User-Agent:有些服务器或Proxy会通过该值来判断是否是浏览器发出的请求
Content-Type: 在使用REST借口时，服务器会检查该值，来确定HTTP Body中的内容该怎么解析。常见的取值有:

application/xml: 在XML PRC, 如RESTful/SOAP调用时使用
application/json: 在JSON RPC 调用时使用
application/x-www-form-urlencoded: 浏览器提交Web表单时使用

在使用服务器提供的RESTful或SOAP服务时,Content-Type设置错误会导致服务器拒绝服务

4 Redirect

urllib2默认情况下会针对HTTP 3XX返回码自动进行redirect动作,无需人工配置。要检测是否发生了redirect动作，只要检查一下Response的URL和Request的URL是否一致就可以了。

import urllib2
response = urllib2.urlopen('http://www.google.cn')
redirect = response.geturl() == 'http://www.google.cn'

如果不想自动redirect,除了使用更低层次的httplib库之外，还可以自定义HTTPRedirectHandler类。

import urllib2

class RedirectHandler(urllib2.HTTPRedirectHandler):
  def http_error_301(self, req, fp, code, msg, headers):
    pass
  def http_error_302(self, req, fp, code, msg, headers):
    pass

opener = urllib.build_opener(RedirectHandler)
opener.open('http://www.google.cn')

5 Cookie

urllib2对Cookie的处理也是自动的。如果需要得到某个Cookie项的值，可以这么做:

import urllib2
import cookielib

cookie = cookielib.Cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open('http://www.google.com')
for item in cookie:
    if item.name == 'some_cookie_item_name':
        print item.value

6 使用HTTP的PUT和DELETE方法

urllib2只支持HTTP的GET和POST方法,如果要使用HTTP PUT和DELETE,只能使用比较低层的httplib库。虽然如此，我们还是能通过下面的方式,使urllib2能够发出PUT和DELETE的请求:

import urllib2

request = urllib2.Request(url, data=data)
request.get_method = lambda:'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

这种做法虽然属于Hack的方式，但实际使用起来也没什么问题。

7 得到HTTP的返回码

对于200 OK来说,只要使用urlopen返回的response对象的getcode()方法就可以得到HTTP的返回码。但对其它返回码， urlopen会抛出异常。这时候,就要检查异常对象的code属性了:

import urllib2
try:
  response = urllib2.urlopen('http://restrict.web.com')
except urllib2.HTTPError, e:
  print e.code

8 Debug Log

使用urllib2时,可以通过下面的方法把debug Log打开，这样收发包的内容就会在屏幕上打印出来，方便调试,有时候可以省去抓包的工作

import urllib2

httpHandler = urllib2.HTTPHandler(debuglevel!=1)
httpHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler,httpsHandler)

urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.google.com')

from http://zhuoqiang.me/python-urllib2-usage.html

Python标准库urllib2的使用细节

目录