2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…

news/2024/5/21 4:08:49/文章来源:https://blog.csdn.net/whwzzc/article/details/136370917

2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…
武汉唯众智创科技有限公司
2024 年 2 月
联系人：辜渝傧13037102709

题号：试题01

模块三：业务分析与可视化

（一）任务一：数据可视化

1．子任务一：数据分析
（1）在 comm 数 据 库 下 创 建 一 个 名 为
dws_behavior_log的外部表，如果表已存在，则先删除；分区字段为dt，即根据日期进行分区；另外，要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录，存储文件类型为“orc”，文件的压缩类型为“snappy”；字段类型如下表所示；
表6 字段类型表
在这里插入图片描述
答：

DROP TABLE IF EXISTS dws_behavior_log;
create external table comm.dws_behavior_log(client_ip string,device_type string,type string,device string,url string,province string,city string) partitioned by (dt string) STORED AS orc location '/behavior/dws/dws_behavior_log' tblproperties ("orc.compress"="SNAPPY");

（2）启动Hive的动态分区功能，并将Hive设置为非严格模式；
答：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;

（3）使用insert overwrite … select …子句将dwd_behavior_log表中数据插入分区表dws_behavior_log中，并实现根据dt进行动态分区；
答：insert overwrite table dws_behavior_log PARTITION (dt) select * from dwd_behavior_log;
（4）查看dws_behavior_log表的所有现有分区、前3行数据，并统计统计表数据总行数；
答：

SHOW PARTITIONS dws_behavior_log;
SELECT * FROM dwd_behavior_log LIMIT 3;
SELECT count(*) FROM dws_behavior_log;

（5）在comm数据库下创建一个名为dim_date的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录，字段分隔符为 “\t” ， 建 表 时 添 加 TBLPROPERTIES
(‘skip.header.line.count’=‘1’) 语句让Hive读取外表数据时跳过文件行首（表头）；字段类型如下表所示；
表7 字段类型表
在这里插入图片描述
答：

DROP TABLE IF EXISTS comm.dim_date;
create external table comm.dim_date(date_id string,week_id string,week_day string,day string,month string,quarter string,year string,is_workday string,holiday string) row format delimited fields terminated by '\t' location '/behavior/dim/dim_date' TBLPROPERTIES ('skip.header.line.count'='1');

（6）在comm数据库下创建一个名为dim_area的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_area目录，字段分隔符为
“\t”；字段类型如下表所示；
表8 字段类型表
在这里插入图片描述
答：

drop table if exists comm.dim_area;
create external table comm.dim_area(city string,province string,area string) row format delimited fields terminated by '\t' location '/behavior/dim/dim_area';

（7）使用load data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中；
答：

load data local inpath '/root/eduhq/data/dim_date_2023.txt' into table comm.dim_date;
load data local inpath '/root/eduhq/data/dim_area.txt' into table comm.dim_area;

（8）分别查看外部表dim_date和dim_area的前3行数据；
答：

select * from comm.dim_date  limit 3;
select * from comm.dim_area  limit 3;

（9）分别统计外部表dim_date和dim_area数据总行数；
答：

select count(*) from comm.dim_date;
select count(*) from comm.dim_area;

（10）统计不同省份用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下，并指定列的分隔符为逗号（特别注意：因为省份是随机获取的，所以结果会有所差异）；

insert overwrite local directory '/root/eduhq/result/ads_user_pro' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select province,count(*) from comm.dim_area group by province;

（11）统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_user_hour' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select *,DATE_FORMAT(time, 'yyyy-MM-dd HH') AS hour from comm.xxx group by hour;
（12）不同网站访客的设备类型统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_visit_mode' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,device_type from comm.xxx group by device_type;
（13）不同网站的上网模式统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_online_type' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,type from comm.xxx group by type;
2．子任务二：数据可视化
（1）使用Pyecharts库绘制中国地图，以直观展示不同省份用户访问量分布情况；
⚫文件名：ads_user_pro.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_pro目录
⚫背景地址：/root/eduhq/images/img_1.png
⚫图表名称：不同省份用户访问量分布图.html
⚫图表存放地址：/root/eduhq/html/
（2）使用Pyecharts库绘制一个带时间轴的柱形图，以直观展示不同经济大区用户的访问量统计情况；
⚫文件名：ads_user_region.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：
/root/eduhq/result/ads_user_region目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：不同经济大区用户访问量统计柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（3）使用Pyecharts绘制网页浏览量统计折线图，直观展示不同时间段内的访问量变化趋势；
⚫文件名：ads_user_hour.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_hour目录
⚫背景地址：/root/eduhq/images/img_3.png
⚫图表名称：不同时间段网页浏览量统计曲线图.html
⚫图表存放地址：/root/eduhq/html/
（4）使用Pyecharts绘制网页浏览量统计折线图，直
观展示节假日和工作日不同时间段内的访问量变化趋势；
⚫文件名：ads_hol_work_user.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：
/root/eduhq/result/ads_hol_work_user目录
⚫背景地址：/root/eduhq/images/img_3.png
⚫图表名称：节假日和工作日各时间段网页浏览量统计曲线图.html
⚫图表存放地址：/root/eduhq/html/
（5）使用Pyecharts绘制堆积柱形图，直观地展示访客在不同设备类型上的访问次数情况；
⚫文件名：ads_visit_mode.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_visit_mode

目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：网站访客设备类型统计堆积柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（6）使用Pyecharts绘制堆积柱形图，直观地展示访客在不同上网模式下的访问次数情况；
⚫文件名：ads_online_type.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/
ads_online_type目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：网站访客上网模式统计堆积柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（7）使用Pyecharts绘制词云图，直观地展示不同域名用户访问情况；
⚫文件名：ads_user_domain.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_domain
目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：不同域名用户访问统计词云.html
⚫图表存放地址：/root/eduhq/html/

（二）任务二：业务分析

（1）统计每天不同经济大区用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_region目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_user_region' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select day,area from table_name group by area;
（2）统计节假日和工作日的浏览量差异；将统计结果导出到本地文件系统的/root/eduhq/result/ads_hol_work_user目录下，并指定列的分隔符为逗号；
答：

insert overwrite local directory '/root/eduhq/result/ads_hol_work_user' ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT  CASE  WHEN is_workday = 1 THEN '工作日'  ELSE '节假日'  END AS day_type,  SUM(url) AS total_views  
FROM  page_views  
GROUP BY  day_type;

（3）统计不同域名的用户访问量；将统计结果导出到本地文件系统的
/root/eduhq/result/ads_user_domain目录下，并指定列的分隔符为逗号；
答：

CREATE TABLE user_visits (  user_id STRING,  visit_date STRING,  domain STRING,  visit_count INT  
)  
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '\t';
insert overwrite local directory '/root/eduhq/result/ads_user_domain' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT user_id, DATE_FORMAT(REGEXP_REPLACE(visit_date, '/', '-'), 'yyyy-MM-dd') AS visit_date, domain, visit_count FROM user_visits;

更多内容请联系
武汉唯众智创科技有限公司
欲了解更多信息，欢迎登录www.whwzzc.com,咨询电话13037102709
*本资料产品图片及技术数据仅供参考，如有更新恕不另行通知，具体内容解释权归唯众所有。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.luyixian.cn/news_show_988124.aspx

如若内容造成侵权/违法违规/事实不符，请联系dt猫网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于springboot+vue的党员教育和管理系统

基于springboot+vue的党员教育和管理系统

博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战，欢迎高校老师\讲师\同行交流合作 ​主要内容：毕业设计(Javaweb项目|小程序|Pyt…
阅读更多...
SOLIDWORKS参数化设计之工程图更新 慧德敏学

SOLIDWORKS参数化设计之工程图更新 慧德敏学

SOLIDWORKS参数化设计不仅仅包括三维模型的参数化设计，还包括工程图的自动更新，由于自动出图仍然存在一定的局限性，不能完美的实现视图的布局及尺寸的标注，因此，现阶段采用的最多的仍然是图纸的更新，也就是…
阅读更多...
创作纪念日【第1024天】的感触与期待

创作纪念日【第1024天】的感触与期待

我的创作纪念日 1.机缘2.日常3.成就4.收获5.憧憬 1.机缘 2021年的04月份进入新行业了，公司不让用自己的电脑进行办公，也不能带自己的设备，之前记录的笔记查看不太方便，所以想着弄个博客，也尝试过云笔记，最…
阅读更多...
Java根据excel模版导出Excel（easyexcel、poi）——含项目测试例子拿来即用

Java根据excel模版导出Excel（easyexcel、poi）——含项目测试例子拿来即用

Java根据excel模版导出Excel（easyexcel、poi）——含项目测试例子拿来即用 1. 前言1.1 关于Excel的一般导出2.2 关于easyexcel的根据模版导出 2. 先看效果2.1 模版2.2 效果 3. 代码实现（核心代码）3.1 项目代码结构3.2 静态填充例子…
阅读更多...
Springboot项目中定时任务的四种实现方式

Springboot项目中定时任务的四种实现方式

文章目录 1. 使用Scheduled注解1.1 时间间隔执行1.2 固定时间点执行 2. 使用EnableScheduling注解启用定时任务3. 实现SchedulingConfigurer接口4. 使用Quartz框架4.1 配置QuartzScheduler4.2 定义Job类和Trigger类 5. 总结 在开发现代应用时，定时任务是一个非常常见…
阅读更多...
Peter算法小课堂—动态规划

Peter算法小课堂—动态规划

Peter来啦，好久没有更新了呢 今天，我们来讨论讨论提高组的动态规划。 动态规划 动态规划有好多经典的题，有什么背包问题、正整数拆分、杨辉三角……但是，如果考到陌生的题，怎么办呢？比如说2000年提高组的…
阅读更多...
压缩视频大小的软件有哪些？5款软件推荐

压缩视频大小的软件有哪些？5款软件推荐

压缩视频大小的软件有哪些？随着高清摄像设备的普及和网络速度的不断提升，视频文件变得越来越庞大，动辄数百兆甚至数GB的大小常常让用户在分享和存储时感到头疼。幸运的是，市面上有许多优秀的视频压缩软件可以帮助我们轻松应对这一…
阅读更多...
国产服务器操作系统

国产服务器操作系统

为何记录 最近的开发工作经常接触到国产服务器操作系统的业务，经常被x86、arm、龙芯、鲲鹏、欧拉...搞得一脸懵逼，遂记之！ 操作系统 这里按照应用场景分： 桌面操作系统：主要用于pc，如Windows、macOS、Li…
阅读更多...
SpringMVC01、回顾MVC

SpringMVC01、回顾MVC

1、回顾MVC 1.1、什么是MVC MVC是模型(Model)、视图(View)、控制器(Controller)的简写，是一种软件设计规范。是将业务逻辑、数据、显示分离的方法来组织代码。MVC主要作用是降低了视图与业务逻辑间的双向偶合。MVC不是一种设计模式，MVC是一种架构模式。…
阅读更多...
ETL数据仓库的使用方式

ETL数据仓库的使用方式

一、ETL的过程 在 ETL 过程中，数据从源系统中抽取（Extract），经过各种转换（Transform）操作，最后加载（Load）到目标数据仓库中。以下是 ETL 数仓流程的基本步骤&#xff1a…
阅读更多...
【物联网应用案例】智能农业的 9 个技术用例

【物联网应用案例】智能农业的 9 个技术用例

一、农业中的物联网用例 一般而言，农业物联网传感器以及农业物联网应用有多种类型： 1. 气候条件监测 气象站无疑是当今智能农业领域最受欢迎的设备。这款设备集成了多种智能农业传感器，能够在现场对各类数据进行收集，然后迅速将…
阅读更多...
动态规划--（算法竞赛、蓝桥杯）--二维费用背包

动态规划--（算法竞赛、蓝桥杯）--二维费用背包

1、B站视频链接&#xff1a;E15 背包DP 二维费用背包_哔哩哔哩_bilibili #include <bits/stdc.h> using namespace std; int f[101][101]; //f[j][k]第i件物品&#xff0c;体积<j,重量<k的最大价值int main(){int n,V,W;//物品、容量、承重int v,w,val;//体积、重…
阅读更多...
搜索算法（算法竞赛、蓝桥杯）--DFS迭代加深

搜索算法（算法竞赛、蓝桥杯）--DFS迭代加深

1、B站视频链接&#xff1a;B25 迭代加深 Addition Chains_哔哩哔哩_bilibili 题目链接&#xff1a;Addition Chains - 洛谷 #include <bits/stdc.h> using namespace std; int n,d;//d为搜索的深度 int a[10005];//存储加成的序列bool dfs(int u){//搜索第u层 if(ud)r…
阅读更多...
应急响应-常规处置办法

应急响应-常规处置办法

网站中被植入Webshell&#xff0c;通常代表着网站中存在可利用的高危漏洞&#xff0c;攻击者利用这些漏洞&#xff0c;将Webshell写入网站&#xff0c;从而获取网站的控制权。一旦在网站中发现webshell文件&#xff0c;可采取以下步骤进行临时处置。 入侵确定时间 通过在网站…
阅读更多...
frp 内网穿透 linux部署版

frp 内网穿透 linux部署版

frp 内网穿透 linux部署版 前提安装 frp阿里云服务器配置测试服务器配置访问公网 前提 使用 frp&#xff0c;您可以安全、便捷地将内网服务暴露到公网&#xff0c;通过访问公网 IP 直接可以访问到内网的测试环境。准备如下&#xff1a; 公网 IP已部署好的测试服务 IP:端口号阿…
阅读更多...
浅谈排序算法（冒泡，插入，归并）

浅谈排序算法（冒泡，插入，归并）

对于数据的排序&#xff0c;有多种方法&#xff0c;对应这不同的时间复杂度&#xff08;效率不同&#xff09;。 ​一、冒泡排序&#xff08;Bubble Sort&#xff09; 冒泡排序&#xff08;Bubble Sort&#xff09;是一种简单的排序算法。 算法思路&#xff1a; 1. 从第一对相…
阅读更多...
3月5日济南，2024生物发酵展全新起航！助力打造生物产业经济新时代

3月5日济南，2024生物发酵展全新起航！助力打造生物产业经济新时代

生物发酵是生物产业的重要组成部分&#xff0c;近年来&#xff0c;我国生物产业发展迅猛&#xff0c;也已广泛应用于食品、农业、医药、饲料、日化、材料等领域&#xff0c;市场前景广阔。2022年5月&#xff0c;国家发改委发布的《“十四五”生物经济发展规划》明确着力做大做强…
阅读更多...
“图像处理新篇章，轻松切割纵向长图，每张都精彩！

“图像处理新篇章，轻松切割纵向长图，每张都精彩！

在数字化时代&#xff0c;图像处理技术日新月异&#xff0c;人们对图片质量的要求也越来越高。为满足这一需求&#xff0c;新一代图像处理技术应运而生&#xff0c;它以其独特的功能和卓越的效果&#xff0c;为用户带来了前所未有的体验。今天&#xff0c;就让我们一起领略这项…
阅读更多...
ImportError: cannot import name ‘_update_worker_pids’ from ‘torch._C’

ImportError: cannot import name ‘_update_worker_pids’ from ‘torch._C’

问题描述&#xff1a; 在复现超分辨率算法RNAN&#xff08;EDSR、RCAN同样的环境&#xff09;的时候报错&#xff0c;torch要求是0.4.0版本的。 解决方案&#xff1a; 解决方法1&#xff08;已安装anaconda&#xff09; 1. 打开命令行&#xff08;这个自行查找&#xff09; …
阅读更多...
基于 ECharts的Python 数据可视化库，它允许用户使用 Python 语言生成各种类型的交互式图表和数据可视化

基于 ECharts的Python 数据可视化库，它允许用户使用 Python 语言生成各种类型的交互式图表和数据可视化

pyecharts 是一个基于 ECharts 的 Python 数据可视化库&#xff0c;它允许用户使用 Python 语言生成各种类型的交互式图表和数据可视化。 ECharts 是由百度开发的一款强大的开源数据可视化库&#xff0c;而 Pyecharts 则是 ECharts 的 Python 封装&#xff0c;使得在 Python 中…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站 广利置业