【大数据离线开发】7.2 搭建HBase环境

news/2024/4/25 6:38:48/文章来源:https://blog.csdn.net/m0_66345324/article/details/129120385

7.2 搭建HBase的环境

准备工作

解压Hbase安装包
[root@bigdata111 tools]# tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOMEPATH=$HBASE_HOME/bin:$PATH
export PATH	生效环境变量:source ~/.bash_profile

7.2.1 搭建HBase的本地模式

特点:不需要HDFS,把数据直接存在操作系统Linux上

HBase本地模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
hbase-site.xmlhbase.rootdirfile:///root/training/hbase-1.3.1/data数据保存的目录
首先创建为本地文件

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

hbase-site.xml

<property><name>hbase.rootdir</name><value>file:///root/training/hbase-1.3.1/data</value>
</property>

启动HBase命令:start-hbase.sh————仅仅只启动HMaster

停止HBase命令:stop-hbase.sh

在这里插入图片描述

hbase shell 命令进入数据库

在这里插入图片描述

在这里插入图片描述

7.2.2 搭建HBase的伪分布模式

特点

  • 也是一台机器,需要一个zookeeper、一个HMaster、一个RegionServer

  • 需要启动hadoop环境:start-hdfs.sh

HBase伪分布模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
同上HBASE_MANAGES_ZKtrue第129行注释打开
使用HBase自带的Zookeeper
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbaseHBase对应的HDFS目录
同上hbase.cluster.distributedtrue是一个分布式环境
同上hbase.zookeeper.quorum192.168.157.111指定ZK的地址
同上dfs.replication1
regionservers192.168.157.111指定从节点所在的地址

参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144129 export HBASE_MANAGES_ZK=true

hbase-site.xml

<!--HBase对应的HDFS目录-->
<property><name>hbase.rootdir</name><value>hdfs://192.168.157.111:9000/hbase</value>
</property><!--是一个分布式环境-->
<property><name>hbase.cluster.distributed</name><value>true</value>
</property><!--指定ZK的地址-->
<property><name>hbase.zookeeper.quorum</name>value>192.168.157.111</value>
</property><property><name>dfs.replication</name><value>1</value>
</property>	

regionservers

192.168.157.111

启动命令与本地模式一样,但是启动的服务不一样

在这里插入图片描述

可以同本地模式一样在本地操作,也可以在网页上查看,配置的hdfs网址

在这里插入图片描述

可以通过打开ZooInspector文件夹中的zookeeper-dev-ZooInspector.jar文件(JVM打开方式)

点击连接设置

  • connet String :ip:2181
  • session Timeout:5000

7.2.3 搭建HBase的全分布模式和HA

7.2.3.1 搭建HBase的全分布

需要机器及其配置

bigdata112:HMaster、ZooKeeper

bigdata113:RegionServer

bigdata114:RegionServer

注意:每台机器的时间同步,可以使用 date -s 11/22/2016 设置时间

如果时间不同步:

  1. Hadoop:执行MR出错
  2. HBase:RegionServer会自动停止

准备工作

主节点上进行操作

  • 启动hadoop环境:start-dfs.sh
  • 上传hbase.tar.gz文件到主节点上
  • 解压:tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/

每台机器上同步设置环境变量

设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOMEPATH=$HBASE_HOME/bin:$PATH
export PATH	生效环境变量:source ~/.bash_profile

主机参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144129 export HBASE_MANAGES_ZK=true

hbase-site.xml

参数文件配置参数参考值
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_144
同上HBASE_MANAGES_ZKtrue
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbase
同上hbase.cluster.distributedtrue
同上hbase.zookeeper.quorum192.168.157.111
同上dfs.replication2
同上hbase.master.maxclockskew180000
regionservers192.168.157.113
192.168.157.114
<!--HBase对应的HDFS目录-->
<property><name>hbase.rootdir</name><value>hdfs://192.168.157.112:9000/hbase</value>
</property><!--是一个分布式环境-->
<property><name>hbase.cluster.distributed</name><value>true</value>
</property><!--指定ZK的地址-->
<property><name>hbase.zookeeper.quorum</name>value>192.168.157.112</value>
</property><property><name>dfs.replication</name><value>2</value>
</property>	<!--允许集群各个节点的时间误差的最大值,单位是毫秒-->
<property><name>hbase.master.maxclockskew</name><value>180000</value>
</property>	

regionservers

192.168.157.113
192.168.157.114

文件分发

把安装目录复制到从节点上(可以删掉doc文件下面所有的xml文件)

  • scp -r hbase-1.3.1/ root@bigdata113:/root/training
  • scp -r hbase-1.3.1/ root@bigdata114:/root/training

启动Hbase:start-hbase.sh

在这里插入图片描述

7.2.3.2 搭建HA

不需要单独搭建,使用HBase自带的zookeeper

HBase的HA架构

在这里插入图片描述

  • 配置参数:hbase.zookeeper.quorum

  • 在某个从节点单独启动HMaster:hbase-daemon.sh start master

在这里插入图片描述

在这里插入图片描述

当bigdata112死掉的时候,bigdata114就会成为主节点 ,从节点的一些信息也会显示,因为我们的客户端都是连接zookeeper的

7.2.3.3 比较各种模式下HBase在ZK中保存的数据

在这里插入图片描述

伪分布和全分布模式主要区别是在 rs

全分布和HA模式主要区别是在 backup-masters

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_71732.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

005 利用fidder抓取app的api,获得股票数据

一、下载安装fidder 百度搜索fidder直接下载&#xff0c;按提示安装即可。 二、配置fidder 1. 打开fidder&#xff0c;选择tools——options。 2. 选择HTTPS选项卡&#xff0c;勾选前三项&#xff0c;然后点击右侧【actions】&#xff0c;选择【trust root certificate】&a…

黑马程序员-Linux系统编程-01

课程链接 01-Linux命令基础习惯-Linux系统编程_哔哩哔哩_bilibili 课程重点笔记 01-linux命令基础习惯 终端 终端&#xff1a;一切输入、输出的总称&#xff0c;因此终端并不是一定指的是命令行&#xff0c;只要是能进行输入或者输出即可&#xff0c;但是在linux终端上‘’内…

Java EE|TCP/IP协议栈之传输层UDP协议详解

文章目录一、对UDP协议的感性认识简介主要特点二、UDP的报文结构协议端格式概览报文结构详解源端口目的端口16位UDP报文长度16位校验和参考一、对UDP协议的感性认识 简介 UDP&#xff0c;是User Datagram Protocol的简称&#xff0c;中文名是用户数据报协议&#xff0c;是OSI…

RocketMQ 第二章

RocketMQ 第二章 7、SpringBoot整合RocketMQ SpringBoot 提供了快捷操作 RocketMQ 的 RocketMQTemplate 对象。 7.1、引入依赖 注意依赖的版本需要和 RocketMQ 的版本相同。 <dependency><groupId>org.apache.rocketmq</groupId><artifactId>rock…

【Java期末复习】《面向对象程序设计》练习库

目录 一、单选题 二、填空题 三、程序填空题 1、 super使用--有如下父类和子类的定义&#xff0c;根据要求填写代码 2、简单加法计算器的实现 3、House类 4、矩形类 5、创建一个Box类&#xff0c;求其体积 四、函数题 6-1 求圆面积自定义异常类 6-2 判断一个数列是…

会利用信息差赚钱的人才是聪明人

毕业后找不到工作&#xff0c;穷到只剩下时间&#xff0c;大小做了20多份副业兼职&#xff0c;终于找到了可靠的渠道&#xff0c; 我是专科生&#xff0c;学历不好&#xff0c;专业拉胯。毕业后&#xff0c;我找了两三份工作。要么工资太低&#xff0c;只能交房租&#xff0c;…

一种基于强化学习的自动变道机动方法

文章目录摘要前言相关的工作方法论动作空间奖励函数设计Q学习仿真结果结论摘要 变道是一项至关重要的车辆操作&#xff0c;需要与周围车辆协调。建立在基于规则的模型上的自动换道功能可能在预定义的操作条件下表现良好&#xff0c;但在遇到意外情况时可能容易失败。在我们的研…

python元类编程

1.1.propety动态属性 在面向对象编程中&#xff0c;我们一般把名词性的东西映射成属性&#xff0c;动词性的东西映射成方法。在python中他们对应的分别是属性self.xxx和类方法。但有时我们需要的属性需要根据其他属性动态的计算&#xff0c;此时如果直接使用属性方法处理&…

vulnhub zico2

总结&#xff1a;脏牛提权 目录 下载地址 漏洞分析 信息收集 木马上传 反弹shell 提权 下载地址 zico2.ova (Size: 828 MB)Download: https://www.dropbox.com/s/dhidaehguuhyv9a/zico2.ovaDownload (Mirror): https://download.vulnhub.com/zico/zico2.ova使用方法&…

16_FreeRTOS队列集

目录 队列集 队列集相关API函数介绍 队列集使用流程 实验源码 队列集 一个队列只允许任务间传递的消息为同一种数据类型,如果需要在任务间传递不同数据类型的消息时,那么就可以使用队列集! 作用:用于对多个队列或信号量进行“监听”其中不管哪一个消息到来&#xff0c;都…

jQuery.NiceScroll - 有史以来最好的 nicescroll 版本——在现代浏览器和移动设备上极其流畅和一致,资源使用率低(中文文档)

jQuery.NiceScroll特征依赖关系使用配置参数有史以来最好的 nicescroll 版本——在现代浏览器和移动设备上极其流畅和一致&#xff0c;资源使用率低 官网:nicescroll.areaaperta.com GitHub:github.com/inuyaksa/jquery.nicescroll CDN引入: https://www.bootcdn.cn/jquery.nic…

上海亚商投顾:沪指放量大涨 券商等权重板块全线飙升

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。市场情绪三大指数今日集体反弹&#xff0c;沪指、深成指单边拉升&#xff0c;午后均涨超2%&#xff0c;上证50大涨超2.7%&…

[ vulhub漏洞复现篇 ] Drupal 远程代码执行漏洞(CVE-2019-6339)

&#x1f36c; 博主介绍 &#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 _PowerShell &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【数据通信】 【通讯安全】 【web安全】【面试分析】 &#x1f389;点赞➕评论➕收藏 养成习…

java final关键字 详解

概述&#xff1a;作用&#xff1a;细节&#xff1a;演示&#xff1a;总结&#xff1a;一、概述 : final [ˈ faɪnl]&#xff0c;最终的&#xff0c;最后的&#xff0c;决定性的&#xff0c;不可改变的。final作为Java中的一个关键字可以用来修饰类&#xff0c;方法&#xff0c…

Vbs_To_Exe制作简易exe程序

文章目录一、准备vbs脚本文件二、工具打包exe一、准备vbs脚本文件 新建一个文本文档 复制下面代码到文本文档中 Set speech CreateObject("SAPI.SpVoice") speech.Speak "l love you!"修改文本后缀为.vbs。编码选择ANSI&#xff08;解决中文乱码问题&am…

LVS中的keepalived高可用

文章目录前言一、Keepalived简介二、keepalived工作原理三、配置文件四、实验1.某台Real Server down2.LVS本身down实验过程&#xff1a;五、代码详细演示整体过程调度器安装软件、设置测试keepalived对后端RS的健康检测backup服务主机设置前言 一、Keepalived简介 Keepalived是…

UG NX二次开发(C#)-导出-导出Parasolid文件(.x_t文件)

文章目录 1、前言2、在UG NX中的操作2、采用NXOpen二次开发实现1、前言 UG NX提供了多种文件的导入与导出功能,本文采用NXOpen.net来实现Parasolid文件(.x_t文件)的导出功能。 2、在UG NX中的操作 打开UG NX的一个三维模型,如下图所示。 点击“文件”->“导出”->“…

企业级信息系统开发学习笔记1.2 初探Spring——利用组件注解符精简Spring配置文件

文章目录零、本讲学习目标一、课程引入二、打开项目 - SpringDemo三、利用组件注解符精简Spring配置文件&#xff08;一&#xff09;创建新包&#xff08;二&#xff09;复制四个类&#xff08;三&#xff09;修改杀龙任务类&#xff08;四&#xff09;修改救美任务类&#xff…

html常用font-family设置字体样式

<table border"1" cellpadding"0" cellspacing"0" ><tr><td><h3 style"font-family: 黑体;">黑体&#xff1a;SimHei</h3></td><td><h3 style"font-family: 华文黑体;">华…

Prometheus集群分布式架构浅析

集群行为是一种常见于自然界中鱼群、鸟群、蜂群等低等群居生物的集体行为&#xff0c;受此启发形成了无人机集群的概念。无人机集群不是多无人机间的简单编队&#xff0c;而是通过必要的控制策略使之产生集群协同效应&#xff0c;从而具备执行复杂多变、危险任务的能力。目前无…