基于大数据的电影网站项目开发之Hadoop2.6.0伪分布式设置(二)

news/2024/5/20 22:20:43/文章来源:https://blog.csdn.net/tiantian12234/article/details/77979883

一、jdk的安装

1、将linux版本的jdk通过xftp上传到hadoop用户目录下,在这之前首先需要安装Xshell和Xftp,在安装完成后,打开xshell并新建会话;

输入会话名称,协议选择SSH,输入虚拟机内主机的IP,这个IP的配置在上一篇文章已经进行了讲解。

在输入完毕后进行连接,然会会提示你输入用户名和密码,即主机的用户名和密码(用户名为你当时配置的简称),然会连接成功,如下图所示

接下来打开xftp


新建一个soft文件夹,用于存放jdk、hadoop等软件

将jdk免安装压缩包(我这里使用的是jdk-8u121-linux-x64.tar.gz,请在网上自行下载)Ctrl+C、Ctrl+V复制到soft目录下;

然后在xshell中输入命令 cd soft进入soft文件夹,输入tar -zxvf jdk-8u121-linux-x64.tar.gz命令进行解压;

解压完成后,在oracle用户的根目录有一个jdk1.8.0_65目录

 

2、配置环境变量,需要修改/etc/profile文件(root用户操作)

切到root用户,输入命令vi /etc/profile;进去编辑器后,输入i,进入vi编辑器的插入模式;

在profile文件最后添加

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

 

编辑完成后,按下esc退出插入模式

输入:,这时在左下角有一个冒号的标识,输入wq进行保存退出

q   退出不保存

wq 保存退出

q!   强制退出

 

3、把修改的环境变量生效(hadoop用户操作)

在用户根目录下执行source /etc/profile(进入用户根目录的命令:cd ~)

二、Hadoop安装

1、通过xftp将hadoop-2.6.0.tar.gz上传到虚拟机中,操作步骤和上传jdk基本一致,在soft目录下使用tar -zxvf hadoop-2.6.0.tar.gz进行解压;

解压完成在oracle用户的根目录下有一个hadoop-2.6.0目录

2、修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121

3、修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://oracle:9000</value>

</property>

4、修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)

<property>

        <name>dfs.replication</name>

         <value>1</value>

</property>

5、修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml(hadoop用户操作)

这个文件没有,需要复制一份

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

添加

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

6、修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

7、修改/etc/hosts文件(root用户操作),添加:ip 主机名称(这里根据自己的设置填写)

192.168.159.99  hadoop

8、格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

bin/hdfs namenode –format

注意:格式化只能操作一次,如果因为某种原因,集群不能用,需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行rm–rf *

9、启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

启动集群:sbin/start-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)

启动后,在命令行输入jps有以下输出

[meng@hadoop hadoop-2.6.0]$ jps

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

关闭集群:sbin/stop-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)

 

三、SSH互信配置(hadoop用户操作)

rsa加密方法,公钥和私钥

1、生成公钥和私钥

在命令行执行ssh-keygen(注意-前没有空格),然后回车,然后会提示输入内容,什么都不用写,一路回车

在hadoop用户根目录下,有一个.ssh目录

id_rsa        私钥

id_rsa.pub  公钥

known_hosts    通过SSH链接到本主机,都会在这里有记录

2、把公钥给信任的主机(本机)

在命令行输入ssh-copy-id 主机名称

例如 ssh-copy-id hadoop

复制的过程中需要输入信任主机的密码

3、验证,在命令行输入:ssh 信任主机名称

ssh hadoop

如果没有提示输入密码,则配置成功

接下来会简单介绍一下hadoop的基本操作命令

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_869392.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

你的php网站开启gzip压缩了吗?

Gzip网页压缩可以大幅度提升网站访问速度&#xff0c;对于网站在国外的站来说&#xff0c;这是必不可少的一步&#xff0c;提升网页打开速度非常明显&#xff0c;现在我们就系统的来认识一下这个Gzip的庐山真面目。 一、何为GZIP GZIP概念 GZIP最早由Jean-loup Gailly和MarkAdl…

网站性能优化:压缩图片

网站图片一般有.gif、.jpg、.png格式&#xff0c;.gif格式的文件一般很小&#xff0c;可以不用考虑压缩&#xff0c; 而.png格式和.jpg格式的比较多&#xff0c;这时候可以考虑将两种图片中大一些的放在一起压缩&#xff0c; 这里以tinypng网站 https://tinypng.com/ 压缩为例…

一个锅炉方面论坛和一个网站

包含“CAD软件信息论坛”&#xff0c;“锅炉供求信息”&#xff0c;“锅炉技术交流 ” 这个太强了&#xff01;《水和蒸汽性质计算软件包 V5.5》http://www.boilercn.com/cgi-bin/LB5000/cgi-bin/topic.cgi?forum3&topic3184&show0 http://www.ekv.cn/

一些国内WebDesign网站

志诚设计工作室 http://zc.ahut.edu.cn/ [WEB 设计]文章例表 http://zc.ahut.edu.cn/info/list.php?sessid&sortid2 这个不错&#xff0c;参考了&#xff0c;尤其是“网站项目计划书”&#xff0c;“网站项目建设流程概述 ”&#xff0c;“如何设计一个成功的网站”这些文…

什么是网站劫持

什么是网站劫持 2018-04-18 17:00:28 1266次 百度搜索流量事件是网站劫持的其中一种表现。网站劫持还会导致以下问题&#xff1a; 用户输入正常网址跳转到其它地址&#xff0c;导致用户无法正常访问&#xff0c;网站流量受损&#xff1b; 通过泛域名解析生成大量子域名共同指…

基于Hexo+Nginx+Git在云服务器上搭建个人网站

基于HexoNginxGit在云服务器上搭建个人网站 欢迎查看我的个人网页&#xff1a;小念 环境 本地环境&#xff1a;Windows11专业版 21H2 云服务器&#xff1a;腾讯云 轻量应用服务器 Ubuntu Server 20.04 LTS 64bit 本地端 安装 Git Git Git 教程 安装Node.js Node.js 安…

php做网站购物车 你搞懂了吗?

网上购物现已成为时尚&#xff0c;客户选择一个商品将其放入到购物车&#xff0c;然后返回继续购物或者去收银台&#xff0c;这个功能如何实现呢&#xff1f;今天capucivar就将使用PHP来实现这个购物车的功能。 首先&#xff0c;做一个简单的首页&#xff0c;从数据库中查询出来…

PHP网站提速 篇一

随着网络的普及&#xff0c;网站已经渗透到了每个行业&#xff0c;但是由于目前专线费用让很多企业和个人难以承受&#xff0c;所以共享带宽成为很多网站的首选方案。费用虽然降低了但是一个新的问题很快就出现了&#xff0c;那就是共享带宽的网速很慢&#xff0c;有时甚至让人…

简单的网站制作上(补完啦)

好的嘞&#xff0c;开始吧&#xff01;先来个比喻形容一下网站和网页的区别&#xff0c;网页就是文件&#xff0c;网站就是文件夹。哇塞&#xff0c;是不是超级通俗易懂。我们这次做一个网站&#xff0c;使用的编程语言是python&#xff0c;工具是pycharm&#xff0c;主要是pyc…

【分享】一些很棒的在线作图网站

彩 字 秀 http://www.czxiu.com/ Banner图片制作网站: http://www.bannerbreak.com/index.php 在线图片生成网站: http://www.letterjames.de/ 卡通头像&#xff1a;http://www.moeruavatar.com/index_cn.shtml 图片分割器: http://www.html-kit.com/e/is.cgi 立体图片生成器…

【转】在PC上测试移动端网站和模拟手机浏览器的5大方法

查了很多资料&#xff0c;尝试了大部分方法&#xff0c;下面将这一天的努力总结下分享给大家&#xff0c;也让大家免去看那么多文章&#xff0c;以下介绍的方法&#xff0c;都是本人亲自测试成功的方法&#xff0c;测试环境winxp。 一、Chrome*浏览器 chrome模拟手机总共有四种…

对美国accuweather网站天气数据的解析

美国accuweather天气网站对中国普通城市也有天气预报&#xff0c;据说还比较准确。 现在需要在它的天气网页上把天气文字部分解析出来&#xff0c;今天写了一个Perl程序来实现&#xff0c;下面的例子是北京市最近一周的天气。 #!/usr/bin/perl use Encode;use LWP::Simple;use …

中国这10家慕课网站,您需要知道!

转载自 http://www.sohu.com/a/66476563_388623 A man can succeed at almost anything for which he was unlimited enthusiasm. 只要有无限的热情&#xff0c;一个人几乎可以在任何事情上取得成功。 MOOC即Massive Open Online Course的缩写&#xff0c;翻译成中文就是&am…

常用技术网站

c语言 http://en.cppreference.com/w/ http://www.cplusplus.com/reference/ Microsoft API and Reference Catalog https://msdn.microsoft.com/en-us/library/ K&R C&#xff1a; 《C Programming Language》 ANSI C : 国际标准为ISO/IEC 9899-1990&#xff0c;中国…

在阿里云服务器(Ubuntu系统)下使用WordPress搭建博客网站教程

最近着手也搭建了一个自己的博客网站&#xff0c;在这里与大家分享一下搭建的过程和遇见的问题&#xff0c;希望对同学们有所帮助。 环境&#xff1a;阿里云服务器&#xff08;Ubuntu系统&#xff09; 资源&#xff1a;WordPress 准备工作&#xff1a; 第一步、有一个域名…

Scrapy官推入门网站:Quotes to Scrape

Scrapy爬取网站&#xff1a;Quotes to Scrape 写在前面 这是一个scrapy官方提供的网站&#xff1a;http://quotes.toscrape.com/ &#xff0c;网页很简单&#xff0c;麻雀虽小五脏俱全。就用这个网站详细演示下Scrapy基础使用方法。能力有限&#xff0c;水平一般&#xff0c;…

企业实战基础(一)大型网站架构概述

网站架构的发展历程 因为需求&#xff0c;所以服务器分离 使用缓存改善网站性能 缓存技术 CDN的全称是Content Delivery Network&#xff0c;即内容分发网络。 CDN是构建在现有网络基础之上的智能虚拟网络&#xff0c;依靠部署在各地的边缘服务器&#xff0c;通过中心平台的…

快捷搭建个人网站(apache+php+mysql)

快捷搭建个人网站&#xff08;从无到能用域名访问&#xff0c;不包括网站内容&#xff09; 获得一个服务器 服务器通俗地说就相当于一台远程电脑 可以安装系统&#xff0c;本文以ubuntu为例&#xff0c;由于linux不同系统之间的命令有所不同&#xff0c;配置文件储存位置也有所…

功能强大操作简单的wordpress网站静态缓存提速教程

之前用过很多的WORDPRESS的网站提速方案&#xff0c;常用的图片和静态文件CDN加速就不说了&#xff0c;这个是基础。今天我要分享是HTML页面的提速。 WORDPRESS网站内容都是存在数据库里&#xff0c;如果HTML本身内容不能静态化&#xff0c;提速性能非常有限。每次访问网站都读…

ASP.NET 网站路径

使用网站中的资源时&#xff0c;通常必须指定资源的路径。例如&#xff0c;您可以使用 URL 路径引用页面中的图像文件或网站中其他位置处的页面的 URL。同样&#xff0c;Web 应用程序中的代码可以使用基于服务器的文件的物理文件路径对文件进行读写操作。ASP.NET 提供用于引用资…