Python爬虫程序设计KC26.pptx

1、2.6.1 项目简介项目简介2.6.1 项目简介项目简介在中国天气网(http:/)中输入一个城市的名称，例如输入深圳，那么会转到地址http:/ HTML代码分析代码分析2.6.2 HTML代码分析代码分析用Chrome浏览器浏览网站，鼠标指向7天天气预报的今天位置，点击右键弹出菜单，选择“检查”就可以打开这个位置对应的HTML代码，如图2-6-3所示。选择元素，点击右键弹出菜单选择Edit as HTML，就可以进入编辑状态，复制整个HTML，结果如下：5日（今天）多云32/28微风6日（明天）多云32/27微风7日（后天）多云32/27微风8日（周四）多云32/27微风9日（周五）多云3

2、3/27微风10日（周六）多云33/27微风11日（周日）多云转小雨33/26微风2.6.3 爬取天气预报数据爬取天气预报数据2.6.3 爬取天气预报数据爬取天气预报数据通过分析HTML代码，我们可以编写爬取的程序爬取深圳7天的天气预报数据：from bs4 import BeautifulSoupfrom bs4 import UnicodeDammitimport urllib.request url=http:/ NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072421 Minefield/3.0.2pre req=urllib.request.Reques

3、t(url,headers=headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,utf-8,gbk)data=dammit.unicode_markup soup=BeautifulSoup(data,lxml)lis=soup.select(ulclass=t clearfix li)for li in lis:try:date=li.select(h1)0.text weather=li.select(pclass=wea)0.text temp=li.select(pclass

4、=tem span)0.text+/+li.select(pclass=tem i)0.text print(date,weather,temp)except Exception as err:print(err)except Exception as err:print(err)程序爬取结果：5日（今天）多云 32/286日（明天）多云 32/277日（后天）多云 32/278日（周四）多云 32/279日（周五）多云 33/2710日（周六）多云 33/2711日（周日）多云转小雨 33/26由此可见爬取的数据与我们直接从网站看到的是一样的。2.6.4 爬取与存储天气预报数据爬取与存储天气

5、预报数据2.6.4 爬取与存储天气预报数据爬取与存储天气预报数据我们可以获取北京、上海、广州、深圳等城市的代码，爬取这些城市的天气预报数据，并存储到sqllite数据库weathers.db中，存储的数据表weathers是：create table weathers(wCity varchar(16),wDate varchar(16),wWeather varchar(64),wTemp varchar(32),constraint pk_weather primary key(wCity,wDate)编写程序依次爬取各个城市的天气预报数据存储在数据库中，程序如下：from bs4 imp

6、ort BeautifulSoupfrom bs4 import UnicodeDammitimport urllib.requestimport sqlite3 class WeatherDB:def openDB(self):self.con=sqlite3.connect(weathers.db)self.cursor=self.con.cursor()try:self.cursor.execute(create table weathers(wCity varchar(16),wDate varchar(16),wWeather varchar(64),wTemp varchar(32

7、),constraint pk_weather primary key(wCity,wDate)except:self.cursor.execute(delete from weathers)def closeDB(self):mit()self.con.close()def insert(self,city,date,weather,temp):try:self.cursor.execute(insert into weathers(wCity,wDate,wWeather,wTemp)values(?,?,?,?),(city,date,weather,temp)except Except

8、ion as err:print(err)def show(self):self.cursor.execute(select*from weathers)rows=self.cursor.fetchall()print(%-16s%-16s%-32s%-16s%(city,date,weather,temp)for row in rows:print(%-16s%-16s%-32s%-16s%(row0,row1,row2,row3)class WeatherForecast:def _init_(self):self.headers=User-Agent:Mozilla/5.0(Window

9、s;U;Windows NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072421 Minefield/3.0.2pre self.cityCode=北京:101010100,上海:101020100,广州:101280101,深圳:101280601def forecastCity(self,city):if city not in self.cityCode.keys():print(city+code cannot be found)return url=http:/ try:req=urllib.request.Request(url,headers=sel

10、f.headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,utf-8,gbk)data=dammit.unicode_markup soup=BeautifulSoup(data,lxml)lis=soup.select(ulclass=t clearfix li)for li in lis:try:date=li.select(h1)0.text weather=li.select(pclass=wea)0.text temp=li.select(pclass=tem span)0.

11、text+/+li.select(pclass=tem i)0.text print(city,date,weather,temp)self.db.insert(city,date,weather,temp)except Exception as err:print(err)except Exception as err:print(err)def process(self,cities):self.db=WeatherDB()self.db.openDB()for city in cities:self.forecastCity(city)#self.db.show()self.db.clo

12、seDB()ws=WeatherForecast()ws.process(北京,上海,广州,深圳)print(completed)北京 7日（今天）晴间多云，北部山区有阵雨或雷阵雨转晴转多云 31/17北京 8日（明天）多云转晴，北部地区有分散阵雨或雷阵雨转晴 34/20北京 9日（后天）晴转多云 36/22北京 10日（周六）阴转阵雨 30/19北京 11日（周日）阵雨 27/18北京 12日（周一）阴转晴 28/20北京 13日（周二）晴 32/21上海 7日（今天）多云 30/21上海 8日（明天）多云转阴 32/23上海 9日（后天）阵雨 32/24上海 10日（周六）中雨 27/22

13、上海 11日（周日）小雨转多云 29/22上海 12日（周一）多云 30/22上海 13日（周二）多云转阴 30/21广州 7日（今天）多云 35/27广州 8日（明天）多云 35/28广州 9日（后天）多云 35/28广州 10日（周六）多云 35/28广州 11日（周日）多云 35/28广州 12日（周一）雷阵雨 35/27广州 13日（周二）雷阵雨转大雨 33/24深圳 7日（今天）阵雨转多云 34/28深圳 8日（明天）晴 34/28深圳 9日（后天）晴 34/28深圳 10日（周六）晴转阵雨 34/28深圳 11日（周日）阵雨 33/27深圳 12日（周一）阵雨 32/27深圳 13日（周二）阵雨转中雨 32/25