项目实现:电商网站日志采集系统(五:保存分析结果)

news/2024/5/15 18:19:30/文章来源:https://blog.csdn.net/weixin_57821489/article/details/121971703

(1)使用管理员账户和密码登录MySQL,使用以下命令:

mysql -u debian-sys-maint -p

在这里插入图片描述(2)创建web_log数据库,使用以下命令:

CREATE DATABASE IF NOT EXISTS web_log;

在这里插入图片描述(3)创建web_log用户,设置密码为123456,使用以下命令:

CREATE USER ‘web_log'@'%' IDENTIFIED BY ‘123456’;
FLUSH PRIVILEGES;

在这里插入图片描述在这里插入图片描述(4)授予web_log用户操作web_log数据库的权限,使用以下命令:

GRANT ALL PRIVILEGES ON web_log.* TO ‘web_log’@’%’;

在这里插入图片描述(5)exit退出,使用web_log用户登录数据库
在这里插入图片描述(6)创建shop_count_rank表,使用以下命令:

CREATE TABLE shop_count_rank (shop varchar(10) NOT NULL,count int,rank int,day char(10) NOT NULL,hour char(2) NOT NULL,PRIMARY KEY(shop,count,rank,day,hour));

在这里插入图片描述

增量导入出hive数据到MySQL,使用以下命令:

sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "\001" --update-key shop,count,rank,day,hour --update-mode allowinsert --m 1

在这里插入图片描述在这里插入图片描述在这里插入图片描述(7)编辑web_log_export.sh脚本中,使用以下命令:

vim web_log_export.sh

写入以下内容:

#!/bin/bash
sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "\001"  --m 1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_904950.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

项目实现:电商网站日志采集系统(六:定时任务)

本篇为项目结尾,详细请移步主页 六.定时任务 编辑定时任务,使用以下命令: Crontab -e 如图:输入3 写入以下内容: 10 * * * * /home/hadoop/web_log/web_log_import.sh 15 * * * * /home/hadoop/web_log/…

C语言网站开发测试 WAMP配置CGI

CGI是什么&#xff1f; // C_Web.cpp : 定义控制台应用程序的入口点。 //#include "stdafx.h"int _tmain(int argc, _TCHAR* argv[]) {printf("Content-Type:text/html;charsetgbk\r\n\n");printf("<font colorred>hello ptspzy</font>&…

百度SEO浏览器插件开发,能够实时显示百度搜索排名的一款插件 seo.lantianye3.top出品

今天给大家分享一款本人写的能够实时显示百度搜索结果页面排名的插件&#xff0c;主要是因为做SEO需要经常查询网站关键词的排名&#xff0c;但是如果排名如果不在前几页的话&#xff0c;查询起来就比较费时间了&#xff0c;得一个个数。有了这个插件&#xff0c;网站排名实时显…

用python和flask开发的一个极简约高效率自定义导航网站 小邱导航 lantianye3.top大家看看

网站用python和flask开发 学python时间也不长 做个小项目练练手 主要功能有这些&#xff1a; 1.分类导航&#xff1a;导航网站最重要的是网址导航&#xff0c;小邱导航可以让用户分类别添加网站导航&#xff0c;还可以设置网站的图标等信息。 2.个性化设置&#xff0c;用户可以…

一个可以在线播放解析m3u8,mp4的网站 m3u8player.lantianye3.top

自己写的一个可以在线播放m3u8的网页&#xff0c;在这里分享一下。借助m3u8 player网页播放器&#xff0c;只需将您的M3U8文件地址或者mp4链接复制粘贴到播放器地址栏中然后点击播放即可。 网站 http://m3u8player.lantianye3.top/ 如有不足&#xff0c;多多指教。 首页截图&am…

网站推广--我是站长我怕谁

辛辛苦苦&#xff0c;捣鼓了个把月&#xff0c;个人网站&#xff08;www.tiantianfilm.com&#xff09;终于上线见光了&#xff0c;寄予厚望的网站&#xff0c;希望不是见光死。 网站主推在线电影&#xff0c;整个架构采用前后台形式&#xff0c;前台展示发布的电影信息&#x…

同一网站不同和二级域名和不同子目录的cookie

1、cookie二级域名的实现: 用户其中一个站点登录&#xff0c;而且可以各个子频道间切换&#xff0c;保持登录状态设置Cookie时&#xff0c;使用如下代码即可&#xff1a; setcookie(name,value,expire,path,"domain.com"); 这样&#xff0c;在每个二级域名都能读取这…

了解facebook网站框架技术-LAMP

网址: http://www.dbanotes.net/arch/facebook_arch_note.html 作者: Fenng | 设计原则 尽可能的使用开源软件&#xff0c;并且在需要优化的时候进行优化Unix 哲学。包括&#xff0c;模块化原则&#xff1b;整合化原则&#xff1b;清晰化原则等任何组件具备扩展性最小化故障…

《大型网站系统与Java中间件实践》读后感

《大型网站系统与Java中间件实践》读后感 这几天逛ITEYE&#xff0c;首页老提示新书有奖试读活动&#xff0c;我是看了看书单&#xff0c;正好第一本书就是我最近看完的《大型网站系统与Java中间件实践》。不在乎奖不奖&#xff08;最多送本书&#xff0c;不过我已经买了&#…

大型网站架构系列:分布式消息队列(一)

以下是消息队列以下的大纲&#xff0c;本文主要介绍消息队列概述&#xff0c;消息队列应用场景和消息中间件示例&#xff08;电商&#xff0c;日志系统&#xff09;。 本次分享大纲 消息队列概述消息队列应用场景消息中间件示例JMS消息服务&#xff08;见第二篇&#xff1a;大型…

大型网站架构系列:消息队列(二)

本文是大型网站架构系列&#xff1a;消息队列&#xff08;二&#xff09;&#xff0c;主要分享JMS消息服务&#xff0c;常用消息中间件&#xff08;Active MQ&#xff0c;Rabbit MQ&#xff0c;Zero MQ&#xff0c;Kafka&#xff09;。【第二篇的内容大部分为网络资源的整理和汇…

基于Vue+Element-ui+Laravel的牙齿矫治器定制厂家网站

BlueTooth 蓝牙医疗-后台管理 项目简介 本项目的应用场景是某牙齿矫治器定制厂家的网站&#xff0c;其功能目的是提供牙医与厂家的交互平台&#xff0c;网站涉及三个角色&#xff1a;游客、牙医、专家(网站管理员)。 根据需求&#xff0c;专家和网站管理员的功能具有高度相似…

大型网站架构之分布式消息队列

以下是消息队列以下的大纲&#xff0c;本文主要介绍消息队列概述&#xff0c;消息队列应用场景和消息中间件示例&#xff08;电商&#xff0c;日志系统&#xff09;。 本次分享大纲 消息队列概述消息队列应用场景消息中间件示例JMS消息服务常用消息队列参考&#xff08;推荐&…

个人网站的简易数据分析

大数据时代&#xff0c;不会一点数据分析总觉得会被时代淘汰。但是&#xff0c;数据分析看起来很难的样子&#xff0c;每个人都能学会吗&#xff1f;就笔者个人观点来看&#xff0c;数据分析要做的深&#xff0c;的确不容易&#xff0c;涉及到许多的工具和模型建设。但仅仅只是…

YSLOW测测网站速度

一个网站打开的速度有多快?除了机房带宽,线路,IP级别,等不能或不好改变的因素外,跟网站本身的程序也有很大关系,这里谈谈一个测试工具,YSLOW,测测网站的内部因素以提升用户的访问速度; YSLOW是FIREFOX的一个插件,所以必须先装FIREFOX,下载地址http://www.mozilla.org.cn YSL…

网站接入QQ登录

在网站接入QQ登录时遇到很多麻烦&#xff0c;主要是QQ互联和腾讯开放平台的关系比较乱&#xff0c;不知道要从哪个接入。 最终解决方式&#xff1a;在腾讯开放平台注册个人开发者&#xff0c;验证通过后&#xff0c;在QQ互联平台会有腾讯开放平台的注册信息&#xff0c;然后依次…

基于SSM(Spring+SpringMVC+MyBatic)+JSP的少儿编程教育网站管理系统

项目背景 在国家重视教育影响下&#xff0c;教育部门的密确配合下&#xff0c;对教育进行改革、多样性、质量等等的要求&#xff0c;使教育系统的管理和运营比过去十年前更加理性化。依照这一现实为基础&#xff0c;设计一个快捷而又方便的网上少儿编程教育网站系统是一项十分…

基于nodejs的电影交流网站

末尾获取源码 开发语言&#xff1a;nodejs 框架&#xff1a;Express 数据库&#xff1a;MySQL5.7 数据库工具&#xff1a;Navicat 11 开发软件&#xff1a;Hbuilder / VS code 浏览器&#xff1a;edge / 谷歌 目录 一、项目简介 二、系统功能 三、系统项目截图 3.1前台首页…

基于SpringBoot的留守儿童爱心网站

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SpringBoot 前端&#xff1a;Vue、HTML 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#…

基于SSM的书画拍卖网站

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…