自己在用的视频网站开源,真正的自动采集无需手动更新

news/2024/5/15 19:45:03/文章来源:https://blog.csdn.net/wty120/article/details/88014856

项目开源地址:https://github.com/smiger/collectMovies

项目使用Laravel框架,需要安装PHP >= 7.0.0

一、部署

1、打开命令行窗口(这里我们称为第一个命令行窗口),新建数据库collectMovies

输入命令:

mysql -uroot -p123456

create database collectMovies character set 'utf8' collate 'utf8_general_ci';

如下图所示image.png

2、在另外打开一个命令行窗口(这里我们称为第二个命令行窗口),定位到collectMovies目录下,执行php artisan migrate新建表

image.png

3、表新建成功后,返回第一个命令行窗口执行source mac_type.sql导入影片类型

image.png

注意mac_type.sql的路径

image.png

4、再来第二个命令行窗口,在collectMovies目录下执行php artisan serve启动服务,这时候我们在浏览器输入127.0.0.1:8000就能看到网站大体布局,不过还没有数据

image.png

 

image.png

二、接下来以豆瓣资源网http://www.dbzyz.com为例如何实现自动采集的过程

1、浏览器访问如下地址影片类型关联

http://127.0.0.1:8000/fenlei?ac=list&cjurl=http://www.dbzyz.com/inc/dbm3u8.php&h=24&t=&ids=&wd=&type=1&mid=1&param=

 

image.png

 

选择好后点击最底下的修改按钮,如果后续要做修改再重新操作一遍即可

2、采集豆瓣资源网的视频内容

在浏览器输入链接

http://127.0.0.1:8000/collect?ac=cj&cjurl=http://www.dbzyz.com/inc/dbm3u8.php&h=&t=&ids=&wd=&type=1&mid=1&param=

采集网站上的所有视频,等待采集完成后,再访问视频站点就可以看到视频内容了

image.png

 

3、最后一部,如果豆瓣资源网有更新怎么办,我写了一个python脚本定时更新视频内容

在collectMovies目录下的cj.py文件,运行这个脚本需要你安装python3的版本

然后运行python cj.py

image.png

每24小时调用采集一次,具体逻辑自行查看代码

 

 

附:如果需要发布到服务器上,操作过程类似,主要配置参考如下

#安装依赖修改.env,设置

APP_ENV=production

APP_DEBUG=false

以及其它的一些配置,确保MySQL等连接正常,执行命令

php artisan migrate

php artisan key:generate

php artisan down#停掉网站

git pull

php artisan migrate#更新代码及数据库

php artisan clear-compiled

php artisan cache:clear

php artisan config:cache

php artisan optimize

composer dump-autoload --optimize

#各种清空缓存和重建缓存

php artisan up#关闭维护状态,更新完毕

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_903103.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nginx 下 ~ seo ~ ip canonicalization 解决

(ip canonicalization)IP 标准化,在地址栏上输入 http://121.40.225.214/ 应跳转到 http://www.24htime.com/ 这个可能是应为nginx 新版本的关系,网上很多方法都不对。 第一个server 是针对 http://121.40.225.214/ 这种请求的&a…

icon网站

Flatilicious icons:毫不掩饰的说,这里的icon数量是最多的,最多的,最多的。 写博客,就用 菊子曰!

通过ajax向网站传数据时出现NoClassDefFoundError-com/google/Gson/gson

Servlet端 protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {System.out.println("Checkuserservlet");//接收ajax提交的数据//getParameter("uname");uname来自 这里下面…

网站学习(1)——HTML概述、文件结构、sublime text3插件和emmet安装以及sumlime text的操作

网站的网页之间通过超链接的方式连接在一起。 前端技术构成&#xff1a; 结构&#xff1a;HTML样式&#xff1a;CSS行为&#xff1a;JavaScript HTML文件结构 1. 文件名后缀&#xff1a;.htm 或 .html 2. <html><head><title> </title>//此处出现在…

网站学习(2)——HTML标签和Web语义化

标题 标题h1-h6分别表示一级到六级标签格式&#xff1a; < h1 >标题内容< /h1>一个页面建议只有一个h1 段落p 格式&#xff1a; < p>段落内容< /p> 源代码&#xff1a; 网页中显示&#xff1a;段内换行br < br/>&#xff0c;它是单独出现的标签…

java/jsp mysql手机商城系统毕业设计网站

java/jsp mysql手机商城系统毕业设计网站 JSP手机商城系统毕业设计网站使用的是JAVA语言开发&#xff0c;MYSQL作为数据库进行数据存储&#xff0c;整个网站在Myeclips下,进行开发&#xff0c;适用的tomcat版本为7.0, jdk版本为8u131,如果你那里没有相关的配置文件我这边可以通…

php mysql宠物商城网站(php毕业设计)

作品介绍&#xff1a; 基于php宠物商城设计与实现 效果&#xff1a;js图片轮播、 前台&#xff1a;注册 登录、服饰 玩具 零食 新闻展示、留言、 后台&#xff1a;登录&#xff08;admin admin&#xff09;、用户管理&#xff08;查看 删除&#xff09;、产品管理&#xff…

java中国男篮动态网站设计与制作

java/jsp mysql中国男篮 JSP中国男篮博客动态网站作业使用的是JSPmySQL技术&#xff0c;使用了Myeclips开发工具&#xff0c;核心语言使用的是JAVA&#xff0c;逻辑处理与数据处理分离&#xff0c;使用了Servlet技术&#xff0c; 网站的主要功能分为前台和后台2个部分 网站的前…

代理的基本原理 及用Xpath爬取代理网站IP列表 测试并存入数据库

前言 在网络爬虫中&#xff0c;有些网站会设置反爬虫措施&#xff0c;服务器会检测某个IP在单位时间内的请求次数&#xff0c;如果超过了这个阈值&#xff0c;就会直接拒绝服务&#xff0c;返回一些错误信息&#xff0c;例如 403 Forbidden&#xff0c;“您的IP访问频率过高”这…

Spring boot + vue 项目答辩 论坛网站(开源带前端)

这个项目素材源于网络如有侵权请联系删除 数据库前端 评论给 没事干发出来一起改进一下 项目论坛网站&#xff08;只推荐不讲解项目背景&#xff09; 一前台 1.1用户登录注册页面&#xff08;一个滑动效果&#xff09; 1.2找回密码 这里实现了一个发送邮箱验证码 1.3用户首页 …

hexo+github搭建个人博客网站问题汇总和解决办法

分享B站教程&#xff1a;【2021最新版】保姆级Hexogithub搭建个人博客_哔哩哔哩_bilibili 本人在使用hexo github搭建个人博客网站的过程中也是一步一个bug做过来&#xff0c;几乎每一步都有error&#xff0c;一路修复&#xff0c;在最后换主题的那一步始终都无法同步本地的c…

scrapy两种方法爬取网站小说

第一种&#xff0c;使用spider爬取 首先选择一个初始的小说链接&#xff0c;例如小说第一章的链接https://www.zwdu.com/book/11029/2297440.html 我爬去的是这个网站&#xff0c;链接中的小说 首先&#xff0c;创建一个项目 scrapy startproject novel 创建spider scrapy ge…

rhce:网络服务部分(三)给openlab搭建web网站

网站配置要求&#xff1a; 1.基于域名www.openlab.com可以访问网站内容为 welcome to openlab!!! 2.给该公司创建三个子界面分别显示学生信息&#xff0c;教学资料和缴费网站&#xff0c;基于www.openlab.com/student 网站访问学生信息&#xff0c;www.openlab.com/data网站访…

linux中搭建基于http协议静态网站

目录 一、搭建静态网站——基于http协议的静态网站 1.安装httpd&#xff0c;并将访问apache服务器的首页修改为hello.html, 且内容为: "My Home Page is hello" 2.虚拟主机&#xff1a;虚拟两台主机ip为100,200, 对应访问目录&#xff1a;/www/ip/100, /www/ip/200…

SERVLET+JSP实现网站登录和注册(初)

SERVLET 使用10.0tomcat导入SERVLET得用tomcat/lib里的servlet-api.jar <url-pattern>/myServlet</url-pattern> 拼接到 http://ip:port/工程路径即http://ip:port/工程路径/myServletjspservlet实现login和register 能传回来数据&#xff0c;login和regiser网页…

为openlab搭建web网站

准备工作 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 [rootlocalhost ~]# yum install mod_ssl -y [rootlocalhost ~]# yum install httpd -y 一、基于域名www.openlab.com可以访问网站内容为welcome to openlab!!! 写入welcome to open…

网站基本配置表

网站的基本配置表 网站的基本参数 这些数据&#xff0c;不要单独放在各个表中&#xff0c; 要把所有参数放在网站中config表中&#xff0c;为网站运行的基本参数表

生成随机头像的网站

https://joeschmoe.io/api/v1/ 该网站为生成随机头像的网站 使用说明&#xff1a; ​ //每次访问该链接会生成随机头像 https://joeschmoe.io/api/v1/random​​//末尾的123可以改成其他数字&#xff0c;不同的数字能产生不同的头像&#xff0c; https://joeschmoe.io/api/v1…

四级,六级报名网站很卡怎么办?

报名四级&#xff0c;六级的同学总是遇到网站很卡的问题&#xff0c;要么加载不出来&#xff0c;就算等了好久加载出来了&#xff0c;稍微一操作&#xff0c;又变成白屏了。马上google一下&#xff0c;大多说505 HTTP Version Not Supported是由于服务器对http1.1协议不支持或者…

javaweb报错Connections could not be acquired from the underlying database,测试类可以通过,但是网站显示无法连接数据库

无法连接数据可的原因有很多&#xff1a; 1.检查jdbc.driver&#xff0c;jdbc.url&#xff0c;jdbc.username&#xff0c;jdbc.password是否配置错误 #若使用的mybatis版本是8.0以上的&#xff0c;则驱动器要加上cj jdbc.drivercom.mysql.cj.jdbc.Driver #如果使用的是MySQL8…