本项目连载6篇,本篇为第一篇,剩余在主页查看
准备:下载shop.html
第一步:获取数据源
通过nginx服务器进行生成日志信息
1.安装nginx,使用以下命令:
sudo apt-get install nginx
2.上传shop.html文件到/home/hadoop/然后在home/hadoop/里mv shop.html文件到/var/www/html目录
在/var/www/html查看是否上传成功
3.在浏览器通过自己的http://IP/shop.html访问网页,网页会产生访问日志
**4.使用nginx_memory_hdfs.properties文件启动flume,使用以下命令:
flume-ng agent -n a1 -c conf -f /home/hadoop/web_log/nginx_memory_hdfs.properties
5.监控nginx生成的访问日志,使用以下命令:
sudo tail -F /var/log/nginx/access.log