前言

实验数据来源自某看房网站，通过爬虫一共爬取了一千六百多条数据。能力有限，实验结果仅供参考。
该网站几乎没有什么反爬虫措施，原理很简单，所以关键就是定位自己想要的信息。

工具

1、爬虫工具：request（爬虫包）、xpath（定位指定信息）
2、分析工具、pandas（数据分析工具）、tableau（可视化）

数据爬取

本次实验一共获取了以上三种数据：地址、单价和标签。先尝试了正则表达式过滤数据，发现正则表达式用起来比较麻烦，最后换成xpath的方法，简单粗暴。

def getHTMLText(url):try:header = {'User-Agent':'User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/**********}r = requests.get(url,timeout=20,headers=header) #设置超时# 正则表达式匹配#measures = re.findall('<span>建筑面积：(.*?)㎡</span>',r.text)# areas = re.findall('<span class="list-map" target="_blank">\[&nbsp;(.*?)&nbsp;(.*?)&nbsp;]&nbsp;', r.text)#unit_price1 = re.findall('<span>(\d+)</span>', r.text)# print(len(areas))#通过Xpath定位(#<span>27000</span>，单价信息无法通过正则表达式定位)html = etree.HTML(r.text)infos = html.xpath('//*[@id="container"]/div[2]/div[1]/div[3]/*')  # 通过xpath定位到指定位置#print(len(infos))for info in infos:try:tag = info.xpath('./div/a[4]/div/span/text()')[0].strip()tags.append(tag)except:tags.append(np.nan)try:area = info.xpath('./div/a[2]/span/text()')[0].strip()#print(area)areas.append(area)except:areas.append(np.nan)try:unit = info.xpath('./a[2]/p/text()')[1].strip()if ('元' in unit):units.append(unit)else:unit = info.xpath('./a[2]/p[2]/text()')[1].strip()units.append(unit)except:units.append(np.nan)# unit = info.xpath('./a[2]/p/text()')[2].strip()# units.append(unit)try:unit_price = info.xpath('./a[2]/p/span/text()')[0].strip()unit_prices.append(unit_price)except:unit_prices.append(np.nan)continueexcept Exception as e: #异常处理print(e)return "产生异常"

获得的数据如下：

数据预处理及可视化

首先，从地址属性中提取房源所在区域的信息。首先来看一下最贵的房子，以为自己眼瞎了！！！！

赶紧到网站上求证一下：

原来如此。

fun = lambda x:x.split()[1]
dt['所在区'] = dt['地址'].map(fun)

从数量上来看，可以看出浦东的新房源最多。我们再来看看各个地方的均价，做个排序，结果如下：

暂时就简单的看看这些内容，以后有时间再继续深入分析。