大数据Hadoop教程-01大数据导论与Linux基础

news/2024/4/26 4:04:03/文章来源:https://blog.csdn.net/weixin_44949135/article/details/128897719

目录

01、大数据导论

02、Linux操作系统概述

P007

P008

P009

P010

P011

P012

P013

P014

P015

P016

P017


01、大数据导论

企业数据分析方向

  1. 现状分析(分析当下的数据):现阶段的整体情况,各个部分的构成占比、发展、变动;
  2. 原因分析(分析过去的数据):某一现状为什么发生,确定原因,做出调整优化;
  3. 预测分析(结合数据预测未来):结合已有数据预测未来发展趋势。 

03总结:一切围绕着数据,数据从数据源来到应用的地方去。

05:全球一台服务器的话,用户访问量太大,服务器肯定受不了;多台服务器,北京天津上海分别一台服务器,多个省多台服务器都来提供搜索支持。

我来打个比方,分布式就像钢铁侠的铠甲,各个组件是可以各自独立开的,但又是合在一起发挥功能。集群就像核弹基地,一个国家分布在各地的核弹头组成了核武器集群。

02、Linux操作系统概述

搭建局域网环境

VMware

Workstation是一款虚拟机软件,允许用户将Linux、Windows等多个操作系统作为虚拟机在单台PC上 运行;用户可以在虚拟机上重现服务器、桌面和平板电脑环境,无需重新启动即可跨不同操作系统同时运行应用。

P007

P008

Centos操作系统的虚拟机导入

蓝屏因为版本不兼容,换个软件。

蓝屏的可以安装一个最新版的vm,亲试可以:VMware17。

ifconfig

ping www.baidu.com

P009

挂起:挂起虚拟机,下次打开VMware后虚拟机状态为挂起时的状态。

快照:把某一时间的状态记录下来,备份。

快照使用

  1. VMware虚拟机软件提供了非常便捷的快照功能,用于记录某一时间点的状态,用于备份恢复;
  2. 拍好快照之后,可以在任何时间恢复到指定的快照时间点;
  3. 本课程中提供的虚拟机,制作了3个不同时间点的快照,可供大家选择使用。


可以选择任意快照,跳转到指定快照的时间点。

注意:如果需要快照跳转恢复,3台虚拟机必须都要同时进行恢复,避免彼此之间时间状态不同步。

P010

SSH工具 SSH客户端

终端使用帮助   相关快捷键

终端:
alt 命令历史
双击ctrl 切换到命令输入框

命令输入框:
alt 命令历史
tab 补全 
双击ctrl 切换到终端

列表窗口:
backspace 上一级目录
alt/tab/esc 关闭窗口
上下箭头 选择行

C:\Windows\System32\drivers\etc

192.168.88.151 node1 node1.itcast.cn(ip地址、别名短名、全名)

192.168.88.152 node2 node2.itcast.cn

192.168.88.153 node3 node3.itcast.cn

 

 

P011

Linux 命令大全 | 菜鸟教程

P012

  1. ctrl+L:清屏。
  2. Linux ls(英文全拼: list directory contents)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
  3. ll命令:ll并不是linux下一个基本的命令,它实际上是ls -l的别名,可以罗列出当前文件或目录的详细信息,含有时间、读写权限、大小、时间等信息,像windows显示的详细信息。
  1. ls(list files)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
  2. cd(change directory)命令:用于切换当前工作目录。切换的路径可为绝对路径或相对路径。若路径省略,则变换至使用者的home目录。
  3. mkdir(make directory)命令:用于创建目录。 -p 确保父目录名称存在,不存在的就建一个。
  4. touch命令:创建一个空文件,无任何内容。
  5. rm(remove)命令:用于删除一个文件或者目录。 -f 强制直接删除,无需用户确认。 -r 将目录及以下所有递归逐一删除。
  6. cp(copy file)命令:用于复制文件或目录。 -r:若给出的源文件是一个目录文件,此时将复制该目录下所有的子目录和文件。
  7. mv(move file)命令:用来为文件或目录改名、或将文件或目录移入其它位置。
  8. cat(concatenate)命令:用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看。
  9. more 命令:类似cat,不过会以一页一页的形式显示,更方便使用者逐页阅读,翻页结束自动退出。适合大文件查看。按space键翻下一页,按b往回(back)上一页。
  10. tail 命令:用于查看文件的结尾部分的内容。
  11. | 管道命令:将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作。
  12. echo命令:用于内容的输出,将内容输出到console控制台上。

P013

tail命令:用于查看文件的结尾部分的内容。

  1. -n:用于显示行数,默认为10,即显示10行的内容。
  2. -f:用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上,并且不断刷新,只要文件有更新,就可以看到最新的文件内容。数据收集与实时采集。

ps -ef:显示当前Linux运行的进程。

ps -ef | grep tomcat:在当前正在运行的进程中搜索Tomcat进程,grep:搜索。

P014

打包、解包

tar(tape archive )命令:常用于备份文件。是用来建立,还原备份文件的工具程序,它可以加入,解开备份文件内的文件。

  1. -c 或--create 建立新的备份文件。
  2. -x 或--extract或--get 从备份文件中还原文件。
  3. -v 或--verbose 显示指令执行过程。
  4. -f 或--file= 指定备份文件。

打包压缩、解包解压缩

在打包备份或者解包的过程中,可以通过指定压缩算法,对打包的文件进行压缩,解压的时候也需要指定相应的算法。

  1. -z 或--gzip或--ungzip 通过gzip指令处理备份文件。
  2. 最重要的搭配: tar -zxvf xxxxx.tar.gz

tar -cvf itcast.tar test001.txt test002.txt

tar -zcvf itheima.tar.gz test001.txt test002.txt
 tar -zcvf itheima.tgz test001.txt test002.txt
tar -zxvf itheima.tgz -C ccc

P015

[root@node1 ~]# date
2023年 02月 21日 星期二 10:57:05 CST
[root@node1 ~]# cal二月 2023     
日 一 二 三 四 五 六1  2  3  45  6  7  8  9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28[root@node1 ~]# freetotal        used        free      shared  buff/cache   available
Mem:        4026224      365164     3444232       11916      216828     3426056
Swap:       4063228           0     4063228
[root@node1 ~]# free -htotal        used        free      shared  buff/cache   available
Mem:           3.8G        355M        3.3G         11M        211M        3.3G
Swap:          3.9G          0B        3.9G
[root@node1 ~]# df -h
文件系统                       容量  已用  可用 已用% 挂载点
devtmpfs                       2.0G     0  2.0G    0% /dev
tmpfs                          2.0G     0  2.0G    0% /dev/shm
tmpfs                          2.0G   12M  2.0G    1% /run
tmpfs                          2.0G     0  2.0G    0% /sys/fs/cgroup
/dev/mapper/centos_node1-root   38G  4.1G   33G   11% /
/dev/sda1                     1014M  139M  876M   14% /boot
/dev/mapper/centos_node1-home   19G   33M   19G    1% /home
tmpfs                          394M     0  394M    0% /run/user/0

P016

[root@node1 ~]# echo test002.txt
test002.txt
[root@node1 ~]# echo 222 >  test002.txt
[root@node1 ~]# cat test002.txt
222
[root@node1 ~]# vim test002.txt 
[root@node1 ~]# cat test002.txt
222
2222
hello[root@node1 ~]# vim test002.txt

P017

vim基本操作命令

  • 方向键控制移动
    • 翻页 pageup pagedown
    • 行首(home 0) 行尾(end $)
    • 跳到文件的最后一行 G
    • 跳到文件的第一行 gg
  • 复制粘贴
    • yy 复制光标当前所在行内容
    • nyy 复制当前行往下n行
    • p 当前行的下一行粘贴
    • P 当前行的上一行粘贴
  • 删除命令
    • dd 删除光标所在当前行内容
    • ndd 删除当前行往下n行
  • 撤销、反撤销
    • u 撤销上一步的操作(后悔药)
    • ctrl+r 反撤销

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_71930.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

揭开JavaWeb中Cookie与Session的神秘面纱

文章目录1,会话跟踪技术的概述2,Cookie2.1 Cookie的基本使用2.2 Cookie的原理分析2.3 Cookie的使用细节2.3.1 Cookie的存活时间2.3.2 Cookie存储中文3,Session3.1 Session的基本使用3.2 Session的原理分析3.3 Session的使用细节3.3.1 Session…

通过命令行快速了解电脑CPU架构

Linux 和 MacOS 使用终端(小黑窗)执行下面的命令,根据输出结果查表: uname -m输出 的内容分别对应架构 输出对应架构i386, i686i386x86_64amd64arm, armelarm_garbagearmv7l, armhfarmv7*mipsmips*mips64mips64*Window 按 WinR …

【强化学习】解决gym安装Atari2600环境gym[atari,accept-rom-license] RuntimeError 无法下载Roms的问题

先上Roms.tar.gz安装地址:Roms.tar.gz 以下内容是解决问题的思路,如果已经完全知道问题原因可以直接跳过 安装gym[accept-rom-license]时会出现安装失败的情况: 先是卡在:Building wheel for AutoROM.accept-rom-license 然后是显示安装失败…

预告|2月25日 第四届OpenI/O 启智开发者大会昇腾人工智能应用专场邀您共启数字未来!

如今,人工智能早已脱离科幻小说中的虚构想象,成为可触及的现实,并渗透到我们的生活。随着人工智能的发展,我们正在迎来一个全新的时代——数智化时代。数据、信息和知识是这个时代的核心资源,而人工智能则是这些资源的…

感知数据温度,聚焦海量冷数据存储难题

在信息科技高速发展的背景之下,海量数据已经让拥有者和管理者应接不暇,根据IDC发布的《数据时代2025》预测,全球数据圈(数据圈代表每年被创建、采集或是复制的数据集合)将从2018 年的32ZB增至2025年的175ZB。2018年&am…

骨传导耳机工作原理,骨传导耳机优缺点

骨传导耳机虽说最近是十分火爆的一款单品,但还是有很多人对骨传导耳机不是很了解,骨传导耳机更多使用场景还是在户外运动使用,骨传导耳机对于长时间使用耳机的人来说十分友好,这主要还是得益于骨传导耳机传输声音的特殊性。 下面我…

【轻量级自适应加权网络:超分】

Lightweight adaptive weighted network for single image super-resolution (单幅图像超分辨率的轻量级自适应加权网络) 近年来,深度学习已成功应用于单幅图像超分辨率(SISR)任务,并取得了上级的性能。然…

Django使用jinja2模板

Django使用jinja2模板 jinja2介绍 Jinja2:是 Python 下一个被广泛应用的模板引擎,是由Python实现的模板语言,他的设计思想来源于 Django 的模板引擎,并扩展了其语法和一系列强大的功能,尤其是Flask框架内置的模板语言…

异步执行结果-Callable、Future、FutureTask

Callable 实现Runnable接口的任务执行没有返回值&#xff0c;如果我们希望线程运算后将结果返回&#xff0c;应该使用Callable。Callable代表有返回值的任务。 class CallTask implements Callable<String> {Overridepublic String call() throws Exception {return Th…

前端开发环境搭建

文章目录Node.js是什么安装查看版本入门示例NPM使用 npm 命令安装模块常见命令使用淘宝 NPM 镜像TypeScript安装入门示例从github拉取构建项目如何从零创建一个TypeScript项目规划目录结构新建项目Web App运行服务添加依赖打包使用browserify打包使用webpack打包推荐流程目录配…

以学校数据模型为例,掌握在DAS下使用GaussDB

文章目录题目具体操作一、表的创建二、表数据的插入三、数据查询目的&#xff1a; 这里以学校数据库模型为例&#xff0c;介绍GaussDB数据库、表等常见操作&#xff0c;以及SQL语法使用的介绍。题目 假设A市B学校为了加强对学校的管理&#xff0c;引入了华为GaussDB数据库。 在…

GEE学习笔记 六十三:新的地图图层ui.Map.CloudStorageLayer

在GEE中导出数据有一种方式是直接导出地图到Google Cloud Storage中&#xff0c;也就是Export.map.toCloudStorage(xxx)&#xff0c;这种方式是将我们计算生成影像导出成为静态瓦片的格式存放在Google Cloud Storage中。我们可以在其他的前端程序比如OpenLayer、Mapbox GL JS等…

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者&#xff1a;王奇&#xff08;花名慧青&#xff09; 阿里云Hologres研发 随着实时数仓在业务生产系统的普及&#xff0c;资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力&#xff0c;过去一年中&…

自建商城或会员系统如何对接在线客服咨询系统,例如商城系统、物流订单系统接入在线客服功能...

自建商城或会员系统如何对接在线客服咨询系统&#xff0c;例如商城系统、物流订单系统接入在线客服功能 对接在线客服咨询系统可以帮助您的客户更快地获得问题解答和支持&#xff0c;提升客户满意度和忠诚度。 在商品详情页面传递产品信息 在进入产品详情页面以后&#xff0c;需…

FPGA 20个例程篇:20.USB2.0/RS232/LAN控制并行DAC输出任意频率正弦波、梯形波、三角波、方波(一)

在最后一个例程中笔者精挑细选了一个较为综合性的项目实战&#xff0c;其中覆盖了很多知识点&#xff0c;也是从一个转产产品中所提炼出来的&#xff0c;所以非常贴近实战项目。 整个工程实现了用户通过对上位机PC端人机界面的操作&#xff0c;即可达到控制豌豆开发并行DAC输出…

计算时间序列周期的三种方法

周期是数据中出现重复模式所需的时间长度。更具体地说&#xff0c;它是模式的一个完整周期的持续时间。在这篇文章中&#xff0c;将介绍计算时间序列周期的三种不同方法。 我们使用City of Ottawa 数据集&#xff0c;主要关注的是每天的服务呼叫数量。所以不需要对病房名称进行…

选型最佳实践|从业务场景分析直播SDK

摘要 近两年即时通讯/直播产品炙手可热&#xff0c;市场上针对ToB的产品日益增多&#xff0c;企业该如何去选型呢&#xff1f;本文分享了笔者对于直播产品的思考&#xff0c;将从直播SDK实例功能特性、常见业务场景、注意事项及最佳实践等方面介绍如何进行实例选型&#xff0c;…

【C++】2.类和对象(上)

1.面向过程和面向对象 C语言是面向过程的&#xff0c;关注的是过程&#xff0c;分析出求解问题的步骤&#xff0c;通过函数调用逐步解决问题。C是基于面向对象的&#xff0c;关注的是对象&#xff0c;将一件事情拆分成不同的对象&#xff0c;靠对象之间的交互完成。 2.类的引入…

Umi框架

什么是 umi umi 是由 dva 的开发者 云谦 编写的一个新的 React 开发框架。umi 既是一个框架也是一个工具&#xff0c;可以将它简单的理解为一个专注性能的类 next.js 前端框架&#xff0c;并通过约定、自动生成和解析代码等方式来辅助开发&#xff0c;减少开发者的代码量。 u…

算法18:LeetCode_链表相关算法题

链表无小事&#xff0c;只要是涉及到链表的算法题&#xff0c;边界值的设定尤为重要&#xff0c;而且及其容易出错误。这就要求我们平时多加练习。但是&#xff0c;我们在面试和笔试的过程中往往会碰到链表相关的题目&#xff0c;所以我们在笔试的时候一般都会借助系统提供的工…