python3 中使用urllib问题以及urllib详解

import urllib
import urllib.parse
import urllib.request

import urllib
import urllib.parse

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

import urllib
import urllib.parse

urllib.parse.unquote(string, encoding='utf-8', errors='replace')

# 创建一个 HTTP GET 请求，输出响应上下文
from urllib.request import urlopen
response = urlopen("http://www.python.org")
print(response.read())

# 创建一个 HTTP POST 请求，输出响应上下文
from urllib.request import urlopen
from urllib.parse import urlencode
data = {'kw' : 'python'}
data = bytes(urlencode(data), encoding = 'utf-8')
response = urlopen("https://fanyi.baidu.com/sug", data)
print(response.read().decode('unicode_escape'))

# 采用 HTTP GET 请求的方法模拟谷歌浏览器访问网站，输出响应上下文
from urllib import request,parse
url = 'http://www.python.org'
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
req = request.Request(url, headers = headers, method = 'GET')
response = request.urlopen(req)
print(response.read())

# 在请求连接时候捕获网址错误引发的异常
from urllib import request, error
try: response = request.urlopen('https://www,baidu,com')
except error.URLError as e: print(e.reason)

# 返回401未授权错误
from urllib import request,error
try: response=request.urlopen('http://pythonscraping.com/pages/auth/login.php') print(response.getcode())
except error.HTTPError as e: print('1.错误原因：\n%s\n2.状态码：\n%s\n3.响应头信息：\n%s' %(e.reason, e.code, e.headers))
except error.URLError as e: print(e.reason)

# 解析并输出 url 中每个字段的字符串
import urllib
url = 'http://www.baidu.com/urllib.parse.html;python"htmlcode">

# 通过 data 列表或元组构造一个 url 并输出
import urllib
dataList = ['http', 'www.baidu.com', '/urllib.parse.html', 'python', 'kw=urllib.parse', 'modul-urllib'] # 六个字符串都必须填写，否则会出现 ValueError 错误，如果某一字符串不存在则填入空字符
dataTuple = ('http', 'www.baidu.com', '/urllib.parse.html', '', 'kw=urllib.parse', 'modul-urllib') # 六个字符串都必须填写，否则会出现 ValueError 错误，如果某一字符串不存在则填入空字符
urlList = urllib.parse.urlunparse(dataList)
urlTuple = urllib.parse.urlunparse(dataTuple)
print('1.urlList:%s\n2.urlTuple:%s' % (urlList, urlTuple))


urllib.parse.urlsplit(urlstring, scheme='', allow_fragments=True)
与 urlparse 函数类似，但它只返回 url 字符串的5个字段，把 params 合并到 path 中。
urlsplit 应用举例




# 解析并输出 url 中每个字段的字符串，params 会合并到 path 中。
import urllib
url = 'http://www.baidu.com/urllib.parse.html;python"htmlcode">

# 通过 data 列表或元组构造一个 url 并输出
import urllib
dataList = ['http', 'www.baidu.com', '/urllib.parse.html;python', 'kw=urllib.parse', 'modul-urllib'] # 五个字符串都必须填写，否则会出现 ValueError 错误，如果某一字符串不存在则填入空字符
dataTuple = ('http', 'www.baidu.com', '/urllib.parse.html;python', 'kw=urllib.parse', 'modul-urllib') # 五个字符串都必须填写，否则会出现 ValueError 错误，如果某一字符串不存在则填入空字符
urlList = urllib.parse.urlunsplit(dataList)
urlTuple = urllib.parse.urlunsplit(dataTuple)
print('1.urlList:%s\n2.urlTuple:%s' % (urlList, urlTuple))


urllib.parse.quote(string, safe='/', encoding=None, errors=None)
使用 %xx 转义字符替换字符串中的特殊字符，比如汉字。字母、数字和‘_.-~'字符不会被替换。
quote 函数中参数定义

  
string，可以是 str 字符串或 bytes 类型。
  
safe，可选参数，默认是'/'，指明不应该被替换的附加 ASCII 字符。
  
encoding 和 errors，可选参数，用来定义如何处理 non-ASCII 字符。一般默认设置编码方法为 encoding='utf-8'，errors='strict'，这意味着编码错误将引发 UnicodeError。如果 string 是 bytes 类型，不能设置 encoding 和 errors，否则将引发 TypeError。

quote 函数的返回类型
quote 函数返回一个编码后的字符串。
应用举例




# 采用 quote 对 url 中的汉字进行编码，输出编码后的结果
import urllib
url = 'http://www.baidu.com/爬虫'
result = urllib.parse.quote(url)
print(result)
url = 'http://www.baidu.com/+爬虫'
result = urllib.parse.quote(url, '+') # 更改 safe 参数
print(result)



urllib.parse.unquote(string, encoding='utf-8', errors='replace')
与 quote 函数相反，把 %xx 转义字符替换成字符。

  
unquote 函数的参数定义

  
  
string，必须是 str 字符串。
  
encoding 和 errors，可选参数，定义如何将 %xx 转义字符解码为 Unicode 字符。encoding 默认为 ‘utf-8'，errors 默认为 ‘replace'，表示无效的转义字符将会用占位符替换。

unquote 函数的返回类型
unquote 函数返回一个解码后的字符串。
应用举例




# 解码经过 quote 函数处理后的 url，输出解码后的结果。
import urllib
url = 'http://www.baidu.com/爬虫'
result = urllib.parse.quote(url)
print(result)
result = urllib.parse.unquote(url)
print(result)



urllib.parse.urljoin(base, url, allow_fragments=True)
该函数用来将基本 url 与另一个 url 组合，更新基本 url 字符串。它会使用 url 对基本 url 中缺失的部分进行补充，比如 scheme (协议)、netloc (域名)和 path (路径)。即根据 url 字符串中带有的字段，对基本 url 中没有的字段进行补充，已存在的字段进行替换。

  
urljoin 函数中参数定义
  
base，是一个基本 url。
  
url，将 scheme (协议)、netloc (域名)或 path (路径)字段组合进基本 url 的 url。
  
allow_fragments，是否忽略锚点，设置为 False 即 fragment 部分会被忽略，反之不会忽略。

urljoin 函数返回类型
返回组合成功的 url 字符串。
应用举例




# 基于 url 对 base_url 进行重新组合，并输出组合结果。
import urllib
base_url = 'http://www.baidu.com'
url = 'https://www.google.com/urllib.parse.html;python"htmlcode">

# 创建 GET 请求
import urllib
params = {'username':'xxx','password':'123'}
base_url='http://www.baidu.com'
url=base_url + '?' + urllib.parse.urlencode(params)
print(url)
params = {'username':['xxx', 'yyy'], 'password':'123'} # username 键对应多个值
base_url='http://www.baidu.com'
url=base_url + '?' + urllib.parse.urlencode(params) # doseq 设置为 False，会解析成乱码
print(url)
url=base_url + '?' + urllib.parse.urlencode(params, True) # doseq 设置为 True
print(url)


 urllib.robotparse 模块
rebotparser 模块提供了一个 RobotFileParser 类，主要用来解析网站上发布的 robots.txt，然后根据解析内容判断爬虫是否有权限来爬取这个网页。
robots.txt 文件
robots.txt，存放于网站根目录下，采用 ASCII 编码的文本文件，记录此网站中的哪些内容是不应被爬虫获取的，哪些是可以被爬虫获取的。
robots.txt 文件内容举例
User-agent: * Disallow: / Allow: /public/

  
User-agent，爬虫的名称，将其设置为 * 代表协议对任何爬虫有效，如果设置为 Baiduspider 则代表协议仅对百度爬虫有效，要是有多条则对多个爬虫有效，至少需要指定一条。
  
Disallow，网页中不允许抓取的目录，上述例子中设置的 / 代表不允许抓取所有的页面。
  
Allow，一般和 Disallow 一起使用，用来排除单独的某些限制，上述例子中设置为 /public/ 表示所有页面不允许抓取，但可以抓取 public 目录。

urllib.robotparser.RobotFileParser(url='') 类及其常用方法

  
set_url(url)，设置引用 robots.txt 文件的 url，如果在创建 RobotFileParser 对象时传入了 url，那么就不需要使用这个方法设置 url。
  
read()，读取 robots.txt 文件并将其提供给解析器，不返回任何内容。
  
parse(lines)，用来解析 robots.txt 某些行的内容，并安装语法规则来分析内容。
  
can_fetch(useragent, url)，传入两个参数，用户代理以及要爬取的网站，返回的内容是该用户代理否可以抓取这个网站，结果为 True 或 False。

  


            
           
            上一篇：python时间序列数据转为timestamp格式的方法

            下一篇：Python3基于plotly模块保存图片表格