2022年 11月 13日

python 抓取招标信息

 
  1.         url="http://www.xxx.cn/nowlist"    
  2.         r=requests.get(url)
  3.         soup=BeautifulSoup(r.text,"html.parser")
  4.         divlist=soup.find("div",class_="list")
  5.         ahrefs=divlist.find_all("a",class_='item')
  6.         for ah in ahrefs:
  7.             ahurl="http://www.xxx.cn"+ah.get('href')
  8.             r2=requests.get(ahurl)
  9.             soup2=BeautifulSoup(r2.text,"html.parser")
  10.             f_PName=str(soup2.find('div',class_='pd-top-title').get_text())
  11.             city=soup2.find("div",class_="city").get_text()
  12.             f_tp1="拟在建项目"
  13.             f_tp2=self.getType2FromTit(f_PName)
  14.             cityr=city.split(" ")
  15.             f_ProvinceName="全国"
  16.             f_city="全国"
  17.             if(len(cityr)>1):           
  18.                 f_ProvinceName=cityr[0]
  19.                 f_city=cityr[1]
  20.             f_CreateTime=soup2.find("div",class_="top-date-left").get_text()
  21.             f_CreateTime=re.search(r"\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}",f_CreateTime).group()
  22.             f_detils=(soup2.find("div",class_="pd-contact"))
  23.             del_e= f_detils.find("div",class_="pd-bottm")
  24.             del_e.decompose()
  25.             #print(f_tp1,f_tp2,f_ProvinceName,f_city,f_PName,f_CreateTime)
  26.             #self.main_upload_Interface(f_tp1,f_tp2,f_ProvinceName,f_city,f_PName,str(f_detils),f_CreateTime)