hive 的数据案例 统计网站的数据信息

news/2024/5/19 0:08:15/文章来源:https://blog.csdn.net/weixin_34342992/article/details/93099638

  • 根据hive的案例一增加需求

一: 增加案例需求:

统计 pv , uv , 登录人数 , 游客人数 , 平均访问时长 , 二跳率 , 独立IP 
用一张表去处理

1.1 查看track_log的分区

show partitions track_log ;

image_1akacgkv21q8015ugmrq1l1fpea9.png-7.2kB

1.2 建立一张会话信息表(session):

create table session_info(
session_id string,
guid string,
trackerU string,
landing_url string,
landing_url_ref string,
user_id string,
pv string,
stay_time string,
min_trackTime string,
ip string,
provinceId string
)
partitioned by (date string)
row format delimited fields terminated by '\t' ;

image_1akaflsmn1pca1ll4kcu107hp021g.png-23.6kB

1.3 创建临时表 session_info_tmp1

create table session_info_tmp1 as select 
sessionId session_id,
max(guid) guid,
--trackerU string,
--landing_url string,
--landing_url_ref string,
max(endUserId) user_id,
count(url) pv,
(max(unix_timestamp(trackTime)) - min(unix_timestamp(trackTime)))  stay_time,
min(trackTime) min_trackTime ,
max(ip) ip,
max(provinceId) provinceId
from track_log where date='20150828'
group by sessionId ;

image_1akafgfel12phthja53a4f14kvm.png-36.6kB

1.4 创建临时表session_info_tmp2

create table session_info_tmp2 as select
sessionId session_id,
trackTime trackTime,
trackeru trackerU,
url landing_url,
referer landing_url_ref
from track_log where date='20150828' ;

image_1akafk8g1tpr18ap4bp1h32cn913.png-60.8kB

1.5 导入数据处理:

insert overwrite table session_info partition (date='20150828')
select
a.session_id,
a.guid,
b.trackerU,
b.landing_url,
b.landing_url_ref,
a.user_id,
a.pv,
a.stay_time,
a.min_trackTime,
a.ip,
a.provinceId
from session_info_tmp1 a  join session_info_tmp2 b
on a.session_id=b.session_id 
and a.min_trackTime=b.trackTime ;

image_1akafs6ipugb1p5o1vogvhpnoo1t.png-46.3kB

1.6 生成最后所需的表:

create table vistor_users_info as
select
date,
count(distinct guid) UV,
sum(pv) PV,
count(case when user_id != '' then user_id else null end) login_users,
count(case when user_id = '' then user_id else null end) vistor_users,
avg(stay_time) avg_stay_time,
count(case when pv>=2 then session_id else null end)/count(session_id) sec_ratio,
count(distinct ip) ip
from session_info where date='20150828'
group by date ;

image_1akag6l92upa17uf1ba11aii4ak2a.png-41.3kB

1.7 查询结果:

select * from vistor_users_info;

image_1akag8pme1dspe58uli1ejvh602n.png-19.8kB

转载于:https://blog.51cto.com/flyfish225/2097296

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_742367.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

django搭建一个小型的服务器运维网站-最简单的实践之修改服务器时间

目录 项目介绍和源码; 拿来即用的bootstrap模板; 服务器SSH服务配置与python中paramiko的使用; 用户登陆与session;最简单的实践之修改服务器时间; 查看和修改服务器配置与数据库的路由; 基于websocket的实时日志实现&…

网站漏洞修复方案防止SQL注入攻击漏洞

SQL注入漏洞在网站漏洞里面属于高危漏洞,排列在前三,受影响范围较广,像asp、.net、PHP、java、等程序语言编写的代码,都存在着sql注入漏洞,那么如何检测网站存在sql注入漏洞? SQL注入漏洞测试方法 在程序代…

phpcms ajax加载列表,phpcms v9建站 ajax列表分页加载更多word文档教程

最新文章https: open weixin qq com 有这个的账号,给客户开通微信小程序不需要认证费直...https: open weixin qq com 有这个的账号,给客户开通微信小程序不需要认证费直...相关内容phpcms调用随机栏目 随机调用SQL语句,可以使用PHPCMS的get标…

谷歌运维新书《网站可靠性工作手册,SRE最佳实践》

为什么80%的码农都做不了架构师?>>> 最近谷歌发布了一本关于运维新书《The Site Reliability Workbook — Practical Ways to Implement SRE》(网站可靠性工作手册,SRE最佳实践)。这是继《Site Reliability Engineeri…

讲讲自己亲身经历网站备案的前前后后

终于是有了自己的个人备案,之前网站一直是挂在公司的服务器上,后来在阿里云买了一台虚拟主机,然后就把网站搬家了。其实在这次备案之前,我也只是对网站备案方面有个大概的了解,真正的还没有自己实际操作过,…

【转】高扩展性网站的50条原则

《高扩展性网站的50条原则》,利用一天半的时间快速浏览总结的电子书,对网站的建设有一个原则性的把握,书中提到的大部分原则现在已成为互联网行业的共识,但并不妨碍我们重新整理分类,从全局层面把控高扩展性网站的建设…

centos7云主机nginx+WordPress完整建站(博客)流程记录

一、安装nginx1、安装依赖#安装gccyum install gcc-c#安装 pcre-develyum install -y pcre pcre-devel#安装zlib yum install -y zlib zlib-devel#安装OpenSSL yum install -y openssl openssl-devel2、安装nginx#创建nginx.repo文件vi /etc/yum.repos.d/nginx.repo #然后写…

centos7服务器网站不能登录,centos7无法联网_网站服务器运行维护

linux怎么启动docker服务_网站服务器运行维护linux启动docker服务的方法:1、使用sudo yum install 命令安装Docker。2、使用“sudo systemctl start docker”命令启动docker服务。1、修改配置文件使用 vi 编辑器修改 /etc/sysconfig/network-scripts/ifcfg-eth0进入…

HTML CSS设计与构建网站

《HTML & CSS设计与构建网站》基本信息原书名: HTML and CSS: Design and Build Websites原出版社: Wiley作者: (美)Jon Duckett [作译者介绍]译者: 刘涛 陈学敏出版社:清华大学出版社ISBN:97873023110…

网站开发必备-快速浏览Asp.Net网站绿色小工具

< DOCTYPE html PUBLIC -WCDTD XHTML TransitionalEN httpwwwworgTRxhtmlDTDxhtml-transitionaldtd> 选择此工具的理由&#xff1a;1.快速浏览Asp.Net网站 2.小巧 3.绿色 点击下载 前提&#xff0c;系统必须安装 .NET Framework 方法一. 将此程序放在网站根目录&#xff…

18个使用 jQuery 制作的创意网站欣赏

jQuery 是一个非常优秀的 Javascript 框架&#xff0c;在现在的 Web 开发项目中扮演着重要角色&#xff0c;借助 jQuery 可以让网站有更好的可用性和用户体验&#xff0c;让访问者对网站留下非常好的印象。今天这篇文章与大家分享18个使用 jQuery 制作的创意网站&#xff0c;一…

Thinkphp5开发电脑网站支付宝支付详细流程(线上测试篇)

为什么80%的码农都做不了架构师&#xff1f;>>> 在沙箱测试篇讲过的我在这里就不再做重复&#xff0c;详情请见上一篇PHP开发电脑网站支付宝支付详细流程&#xff08;沙箱测试篇&#xff09; 在沙箱测试的时候使用的是沙箱环境中的配置&#xff0c;现在进行线上测试…

SEO思维:如何运用数据分析论坛签名和外链在百度新算法中的效果

2012年08月22日通过站长平台发布官方公告&#xff0c;为了提高用户体验、清除低质采集的垃圾内容&#xff0c;百度将在6月底反作弊算法的基础上再度升级&#xff0c;对大量低质量、无内容的站点进行清除。并打击胡乱采集、超链接作弊、堆积关键词、冒充官网,等严重影响用户体验…

网站转接支付宝解决方案

大型网上购物系统除了能让会员选择货到付款结账方式外&#xff0c;还应该提供一些更方便快捷的网上支付方式。如果网上商店没有足够的实力提供会员直接在网站中建立现金账户的功能&#xff0c;就可以将订单信息转接到支付宝&#xff0c;让会员从支付宝付款。当然就算会员可以在…

Python3代码实现《机器学习实战》k近邻算法改进约会网站配对效果中出现的问题

报错1&#xff1a;No module named ‘kNN’ 解决&#xff1a; 转而在Spyder中&#xff0c;先保存在自己的学习目录中&#xff0c;然后在命令提示符完成操作&#xff0c;保证目录要一致&#xff0c;也就是下面图中打马赛克的4个。 报错&#xff1a; name ‘reload’ is not def…

网站的高性能架构

原文地址&#xff1a;http://www.uml.org.cn/zjjs/201312192.asp 瞬时响应&#xff1a;网站的高性能架构作者 李智慧&#xff0c;火龙果软件 发布于&#xff1a;2013-12-19什么叫高性能的网站&#xff1f; 两个网站性能架构设计方案&#xff1a;A方案和B方案&#xff0c;A方案…

VS.NET2013发布网站的时候去掉.cs文件(预编译)(转)

在要发布的网站上右键&#xff0c;选择"发布网站"。在发布窗口中&#xff0c;会让你选择一个发布配置文件&#xff0c;没有的话点击下拉菜单在里面选择新建一个。NEXT.好&#xff0c;现在发布一下网站。发布出来的文件没有包含*.cs文件。打开bin目录&#xff0c;会发…

大型网站架构演变和知识体系

转自&#xff1a;http://www.blogjava.net/BlueDavy/archive/2008/09/03/226749.html 之前也有一些介绍大型网站架构演变的文章&#xff0c;例如LiveJournal的、ebay的&#xff0c;都是非常值得参考的&#xff0c;不过感觉他们讲的更多的是每次演变的结果&#xff0c;而没有很详…

Linux部署集群.NET网站

一、Linux下面安装需要软件 我们这里需要安装的软件有&#xff1a;1) Mono 3.2.8 : C#跨平台编译器&#xff0c;能使.Net运行与Linux下&#xff0c;目前.net 4.0可以完美运行在该平台下2) nginx/1.4.6 &#xff1a;web服务器, 支持方向代理3) fastcgi-mono-server4 &#xff1a…

在mvc4中多语言建站的实例

环境&#xff1a;vs2012 asp.net mvc4. 实现方式&#xff1a;resource 资源文件&#xff0c;根据路由规则中Lang参数来判断载入哪种语言方式 在网上找到了相关资料&#xff0c;顺便自己做了个练习&#xff0c;新建工程之类的步骤就免了&#xff0c;该注意的地方说明下&#xff…