2022年 11月 3日

python 数据抓取三种方法

三种数据抓取的方法
正则表达式（re库）
BeautifulSoup（bs4）
lxml
*利用之前构建的下载网页函数，获取目标网页的html，我们以

  1. https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/为例，获取html。
  2.  
  3. from get_html import download
  4.  
  5. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  6. page_content = download(url)

*假设我们需要爬取该网页中的国家名称和概况，我们依次使用这三种数据抓取的方法实现数据抓取。
1.正则表达式

  1. from get_html import download
  2. import re
  3.  
  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  5. page_content = download(url)
  6. country = re.findall('class="h2dabiaoti">(.*?)</h2>', page_content) #注意返回的是list
  7. survey_data = re.findall('<tr><td bgcolor="#FFFFFF" id="wzneirong">(.*?)</td></tr>', page_content)
  8. survey_info_list = re.findall('<p>　　(.*?)</p>', survey_data[0])
  9. survey_info = ''.join(survey_info_list)
  10. print(country[0],survey_info)

2.BeautifulSoup（bs4）

  1. from get_html import download
  2. from bs4 import BeautifulSoup
  3.  
  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  5. html = download(url)
  6. #创建 beautifulsoup 对象
  7. soup = BeautifulSoup(html,"html.parser")
  8. #搜索
  9. country = soup.find(attrs={'class':'h2dabiaoti'}).text
  10. survey_info = soup.find(attrs={'id':'wzneirong'}).text
  11. print(country,survey_info)

3.lxml

  1. from get_html import download
  2. from lxml import etree #解析树
  3.  
  4. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  5. page_content = download(url)
  6. selector = etree.HTML(page_content)#可进行xpath解析
  7. country_select = selector.xpath('//*[@id="main_content"]/h2') #返回列表
  8. for country in country_select:
  9.     print(country.text)
  10. survey_select = selector.xpath('//*[@id="wzneirong"]/p')
  11. for survey_content in survey_select:
  12.     print(survey_content.text,end='')

运行结果：

  在这里插入图片描述

 

最后，引用《用python写网络爬虫》中对三种方法的性能对比，如下图：

在这里插入图片描述

 

仅供参考。