《Python数据分析与挖掘实战》的实战部分的第12章的数据——《电子商务网站用户行为分析及服务推荐》。

用一种方法解决问题，然后再结合别人的分析思路，优化自己的解决方案。（sql数据可能导入不全）

旨在补充原文中的细节代码，并给出文中涉及到的内容的完整代码。

在作者所给代码的基础上增加的内容包括：

1）原书中所分析的内容中缺少的代码

2）实现了协同过滤推荐结果展示；

3）实现了按照流行度推荐以及随机推荐；

1 背景与目标分析

• 目标
  分析某网站的用户访问记录，然后分析网页相关主题，分析用户网上访问行为；借助用户的访问记录，发现用户的访问习惯，对不同用户进行相关服务页面的推荐。

• 实质：推荐算法。

2.数据探索分析

• 读取数据

import pandas as pd
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:@localhost/wangye?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)
'''
用create_engine建立连接，连接地址的意思依次为“数据库格式（mysql）+程序名（pymysql）+账号密码@地址端口/数据库名（test）”，最后指定编码为utf8；
all_gzdata是表名，engine是连接数据的引擎，chunksize指定每次读取1万条记录。这时候sql是一个容器，未真正读取数据。
'''

2.1 网页类型分析

2.1.1 统计各个网页类型所占的比例

• 统计fullURLId的数量

counts = [ i['fullURLId'].value_counts() for i in sql] #按次10000存取，逐块统计counts = pd.concat(counts).groupby(level=0).sum() #合并统计结果，把相同的统计项合并（即按index分组并求和）
counts = counts.reset_index() #重新设置index，将原来的index作为counts的一列。
counts.columns = ['index', 'num'] #重新设置列名，主要是第二列，默认为0
counts

• 提取前3个数字做网页类别

counts['type'] = counts['index'].str.extract('(\d{3})') #提取前三个数字作为类别id
counts

• 按类别合并

counts_ = counts[['type', 'num']].groupby('type').sum() #按类别合并
counts_.sort_values('num', ascending = False) #降序排列
counts_['percentage'] = (counts_['num']/counts_['num'].sum())*100
counts_.to_excel('./tmp/1_1_3type_counts.xlsx')
counts_

• 各网页类型中小类别占比

# 每个大类别下面小类别占比
a = counts.set_index(['type'])
b = counts.groupby('type').sum()
print(b)
c = pd.merge(a,b,left_index=True,right_index=True)
print(c)

添加网页类型百分比

c['persentage'] = (c['num_x']/c['num_y'])*100
del c['num_y']
c.rename(columns={'num_x':'num'},inplace=True)
c

2.1.2 网页107类型中的内部统计

• 统计各类型的数量

import pandas as pd
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:@localhost/wangye?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)#统计107类别的情况
def count107(i): #自定义统计函数j = i[['fullURL']][i['fullURLId'].str.contains('107')].copy() #找出类别包含107的网址j['type'] = None #添加空列j['type'][j['fullURL'].str.contains('info/.+?/')] = u'知识首页' #info以/结尾j['type'][j['fullURL'].str.contains('info/.+?/.+?')] = u'知识列表页'j['type'][j['fullURL'].str.contains('/\d+?_*\d+?\.html')] = u'知识内容页'return j['type'].value_counts()counts2 = [count107(i) for i in sql] #逐块统计
counts2 = pd.concat(counts2).groupby(level=0).sum() #合并统计结果counts2.to_excel('./tmp/1_4type107.xlsx')
print(counts2)

• 百分比

#计算各个部分的占比
res107 = pd.DataFrame(counts2)
# res107.reset_index(inplace=True)
res107.index.name= u'107类型'
res107.rename(columns={'type':'num'},inplace=True)
res107[u'百分比'] = (res107['num']/res107['num'].sum())*100
res107.reset_index(inplace = True)
#保存的表名命名格式为“1_1_k+此表功能名称”，此表表示生成的第3张表格，功能为type107，计算知识类型各个小类型所占比例
res107.to_excel('1_1_3type107.xlsx')
res107

2.1.3 统计带"?"问号网址类型统计

2.1.4 统计199类型中的具体类型占比

2.1.5 统计瞎逛用户中各个类型占比

2.2 点击次数分析

目标：点击次数分析：统计分析原始数据用户浏览网页次数（以“真实IP”区分）的情况

2.2.1 统计点击次数

import pandas as pd
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:@localhost/wangye?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)#统计点击次数
c = [i['realIP'].value_counts() for i in sql] #分块统计各个IP的出现次数
count3 = pd.concat(c).groupby(level = 0).sum() #合并统计结果，level=0表示按index分组
count_df = pd.DataFrame(count3) #Series转为DataFrame
count3=count_df
count3[1]=1 # 添加1列全为1
print(count3.head())

2.2.2 点击次数与用户数量关系

realIP_sum=count3['realIP'].sum()
print(realIP_sum)count3= count3.groupby('realIP').sum()##统计各个“不同点击次数”分别出现的次数# 也可以使用counts1_['realIP'].value_counts()功能print(count3.head())count3.columns=[u'用户数']
count3.index.name = u'点击次数'print(count3.head())

• 用户点击次数所占百分比

count3[u'用户百分比'] = count3[u'用户数']/count3[u'用户数'].sum()*100
count3[u'点击记录百分比'] = count3[u'用户数']*count3.index/realIP_sum*100
count3.sort_index(inplace = True)
c=count3.iloc[:7,]
c=c.T
c

2.2.3 统计1~7次数及7次以上的点击数

c.insert(0,u'总计',[count3[u'用户数'].sum(),100,100])
c[u'7次以上'] = c.iloc[:,0]- c.iloc[:,1:].sum(1)c.to_excel('./tmp/2_2_2clickTimes.xlsx')
c

• 转置表格，并将所有输出保留两位小数

d = c.T
format = lambda x: '%.2f' % x  # 也可以使用d.round(4)
d = d.applymap(format)
d.T

从上表中可以看出大约80%的用户(不超过3次)只提供了大约30%的浏览量(几乎满足二八定律)。在数据中，点击次数最大值为23861次，对其进行分析，发现是律师的浏览信息(通过律师助手进行判断)。下表是对浏览次数达到7次以上的情况进行的分析，可以从中看出大部分用户浏览8到100次。

• 分析浏览次数7次以上的用户

# 分析浏览次数7次以上的数据
times = counts1_.index[7:]
bins = [7,100,1000,50000]
cats = pd.cut(times,bins,right=True,labels=['8~100','101~1000','1000以上'])
e = cats.value_counts()
e = DataFrame(e, columns =[u'用户数'])
e.index.name = u'点击次数'e[u'用户数'] = np.nan
e.ix[u'8~100',u'用户数'] = a.loc[8:100,:][u'用户数'].sum()
e.ix['101~1000',u'用户数'] = a.loc[101:1000,:][u'用户数'].sum()
e.ix['1000以上',u'用户数'] = a.loc[1001:,:][u'用户数'].sum()
e.sort_values(by=u'用户数',ascending=False,inplace = True)
e.reset_index(inplace=True) 
e

2.2.4 浏览一次的用户行为分析

# 获取浏览一次的所有数据
f = count_df[count_df['realIP']==1] # [i['realIP'].value_counts() for i in sql]
del f[1]
f.columns = [u'点击次数']
f.index.name 

import pandas as pd
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:@localhost/wangye?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)
# g = [pd.merge(f,i[['fullURLId','fullURL','realIP']],right_on = 'realIP',left_index=True,how ='left') for i in sql]
g = [i[['fullURLId','fullURL','realIP']] for i in sql]
g = pd.concat(g)
h = pd.merge(f,g,right_on = 'realIP',left_index=True,how ='left')
h.head()

• 浏览一次的用户的网页类型ID分析

# 浏览一次的用户的网页类型ID分析
i = h['fullURLId'].value_counts()
i = pd.DataFrame(i)
print(i)
i.rename(columns={'fullURLId':u'个数'},inplace=True)
i.index.name = u'网页类型ID'
i[u'百分比'] = i[u'个数']/i[u'个数'].sum()*100#保存的表名命名格式为“1_2_k此表功能名称”，此表表示生成的第2张表格，功能为typeID：浏览一次的用户的网页类型ID分析
i.to_excel('./tmp/2_3_4typeID.xlsx')

• 提取个数大一百的类型

j=i[i[u'个数']>100]j.loc[u'其他',u'个数'] = i[i[u'个数']<=100][u'个数'].sum()
j.loc[u'其他',u'百分比'] = i[i[u'个数']<100][u'百分比'].sum()
j# 浏览一次的用户中浏览的网页类型ID

针对浏览次数为一次的用户进行分析，其结果如上图所示。其中，问题咨询页占比74%,知识页占比16%,而且这些记录基本上全是通过搜索引擎进人的。
由此可以猜测两种可能:

1. 用户为流失用户，在问题咨询与知识页面上没有找到相关的需要。
2. 用户找到其需要的信息，因此直接退出。综合这些情况，可以将这些点击一次的用户行为定义为网页的跳出率。为了降低网页的跳出率，需要对这些网页进行针对用户的个性化推荐，帮助用户发现其感兴趣或者需要的网页。

• 用户点击1次所浏览网页统计(点击数大于100次的）

#　点击1次用户浏览网页统计(点击数大于100次的)
k = pd.DataFrame(h['fullURL'].value_counts())
k.index.name = u'网址'
k.columns = [u'点击数']
m = k[k[u'点击数'] > 100]
m.loc[u'其他',u'点击数'] = k[k[u'点击数']<=100][u'点击数'].sum()
m[u'百分比'] = m[u'点击数']/k[u'点击数'].sum()
#保存的表名命名格式为“1_2_k此表功能名称”，此表表示生成的第3张表格，功能为lookMorethan100：点击1次用户浏览网页统计(点击数大于100次的)
m.to_excel('./tmp/2_3_5lookMorethan100.xlsx')
m

结论：排名靠前的都是知识与咨询页面，因此可以猜测大量用户的关注都在知识或咨询页面上。

2.3 网页排名

2.3.1 网页点击率排名表

import pandas as pd
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:@localhost/wangye?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)
# g = [pd.merge(f,i[['fullURLId','fullURL','realIP']],right_on = 'realIP',left_index=True,how ='left') for i in sql]def clickfreq(i): #自定义统计函数j = i[['fullURL','fullURLId','realIP']][i['fullURL'].str.contains('\.html')]return jcounts1 = [clickfreq(i) for i in sql] #
counts1 = pd.concat(counts1)counts1_ = counts1['fullURL'].value_counts()
counts1_ = pd.DataFrame(counts1_)counts1_.columns = [u'点击次数']
counts1_.index.name = u'网址'
a = counts1_.sort_values(u'点击次数',ascending=False).iloc[:20,:]
a

2.3.2 获取网页点击排名数筛选出点击次数>50的有html结尾的网址

b = counts1_.reset_index()
c = b[b[u'点击次数']>50][b[u'网址'].str.contains('/\d+?_*\d+?\.html')]
c.set_index(u'网址',inplace=True)
c.sort_index(inplace = True)
# savetosql(c, 'count355')# 并保存到数据库中
c

2.3.3 翻页网页统计，对浏览网页翻页的情况进行统计

• 获取网址中以http://与.html中间的主体部分,即去掉翻页的内容

# 获取网址中以http://与.html中间的主体部分,即去掉翻页的内容，即去掉尾部"_d"
import re
import numpy as np
pattern = re.compile('http://(.*\d+?)_\w+_\w+\.html$|http://(.*\d+?)_\w+\.html$|http://(.*\w+?).html$',re.S)
c['websitemain'] = np.nan
for i in range(len(c)):items = re.findall(pattern, c.index[i])if len(items)== 0:temp = np.nanelse:for j in items[0]:if j !='':temp = jc.iloc[i,1] = temp
c

• 获取所有网页主体的网页数

d = c['websitemain'].value_counts()
d = pd.DataFrame(d)
d

• 统计网页主体出现次数为不少于二次的，即存在翻页的网址

# 统计网页主体出现次数为不少于二次的，即存在翻页的网址
e = d[d['websitemain']>=2]
e.columns=['Times']#记录某网页及子网页出现的次数
e.index.name='websitemain'# 主网页e['num'] = np.arange(1,len(e)+1) 
f = pd.merge(c,e,left_on='websitemain',right_index=True,how='right')
f.sort_index(inplace=True)
f['per'] = np.nan
f# 相同num的网页是拥有同一网页主体

• 统计翻子页的点击率与上一页网页点击率的比重

# 统计翻子页的点击率与上一页网页点击率的比重（注意：用此处这个方法对网页翻页后序号有10页及以上的合适
def getper(x):x.sort_index(inplace=True) #必须先排序将网页xfor i in range(len(x)-1):x.iloc[i+1,-1] = x.iloc[i+1,0]/x.iloc[i,0]return x    result = pd.DataFrame([]) # 用一个空表格记录值
for i in range(1,f['num'].max()+1):#count36['num'].max()+1k= getper(f[f['num'] == i])result = pd.concat([result,k])# 每次进行一次操作时

f['Times'].value_counts() # 由统计结果看，只有一个主网址出现过10次及以上，该数据采用上述方法会出问题，因此，在结果中将其剔除后观察剩余数据

flipPageResult = result[result['Times']<10]
#保存的表名命名格式为“1_3_k此表功能名称”，是此小节生成的第1张表格，功能为flipPageResult：统计翻子页的点击率与上一页网页点击率的比重
flipPageResult.to_excel('./tmp/3_flipPageResult.xlsx')
flipPageResult