scrapy爬虫实战

news/2024/7/27 16:27:06/文章来源:https://blog.csdn.net/shizuguilai/article/details/135554205

scrapy爬虫实战

  • Scrapy 简介
    • 主要特性
    • 示例代码
  • 安装scrapy，并创建项目
  • 运行单个脚本
    • 代码示例
      • 配置
        • item
        • setting
      • 爬虫脚本
    • 代码解析
      • xpath基本语法：
      • 路径表达式示例：
      • 通配符和多路径：
      • 函数：
      • 示例：
  • 批量运行
  • 附录1，持久化存入数据库
  • 附录2，如何在本地启动数据库

Scrapy 简介

Scrapy 是一个强大的开源网络爬虫框架，用于从网站上提取数据。它以可扩展性和灵活性为特点，被广泛应用于数据挖掘、信息处理和历史数据抓取等领域。官网链接（外）

主要特性

  1. 模块化结构：Scrapy 的设计采用了模块化结构，包括引擎、调度器、下载器、爬虫和管道等组件。这使得用户能够根据需要选择性地使用或扩展不同的功能。

  2. 选择器：Scrapy 提供了灵活强大的选择器，可以通过 CSS 或 XPath 表达式轻松地提取网页中的数据。

  3. 中间件支持：用户可以通过中间件自定义处理请求和响应，例如修改请求头、实现代理、或者处理异常情况。

  4. 自动限速：Scrapy 具备自动限速功能，避免对目标网站造成过大的负担，同时支持自定义的下载延迟。

  5. 并发控制：支持异步处理和并发请求，提高爬取效率。

  6. 扩展性：Scrapy 提供了丰富的扩展接口，用户可以通过编写扩展插件实现定制化的功能。

  7. 数据存储：通过管道（Pipeline）机制，Scrapy 支持将抓取到的数据存储到多种格式，如 JSON、CSV、数据库等。

  8. 用户友好的命令行工具：Scrapy 提供了一套直观易用的命令行工具，方便用户创建、运行和管理爬虫项目。

示例代码

import scrapyclass MySpider(scrapy.Spider):name = 'my_spider' # 爬虫名字，后续是根据这个名字运行相关代码，而不是类名start_urls = ['http://example.com'] # 爬虫的入口网站def parse(self, response):# 使用选择器提取数据title = response.css('h1::text').get()body = response.css('p::text').get()# 返回抓取到的数据yield {'title': title,'body': body,}

这是一个简单的爬虫示例，通过定义爬虫类、指定起始 URL 和解析方法，用户可以快速创建一个基本的爬虫。

以上是 Scrapy 的简要介绍，它的灵活性和强大功能使其成为网络爬虫领域的瑞士军刀。

安装scrapy，并创建项目

使用python包管理工具pip安装scrapy

pip install scrapy

安装完成后使用scrapy创建项目

scrapy startproject sw

创建完成后，我的目录格式如下：

sw/
│
├── sw/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       └── __init__.py
│
├── scrapy.cfg
└── README.md

解释一下各个目录和文件的作用：

  • sw/sw/: 项目的 Python 模块，包含了爬虫项目的主要代码。

    • init.py: 空文件，用于指示该目录是一个 Python 包。
    • items.py: 定义用于存储爬取数据的数据模型。
    • middlewares.py: 包含自定义中间件的文件，用于处理请求和响应。
    • pipelines.py: 包含自定义管道的文件，用于处理抓取到的数据的存储和处理。
    • settings.py: 包含项目的设置和配置信息。（如果要链接数据库，记得在这个文件里填写相应信息）
    • spiders/: 存放爬虫代码的目录。
      • init.py: 空文件，用于指示该目录是一个 Python 包。

  • scrapy.cfg: Scrapy 项目的配置文件，包含有关项目的元数据和设置。

  • README.md: 项目的说明文档，可以包含有关项目的描述、使用说明等信息。

这是一个标准的 Scrapy 项目结构，您可以根据实际需求和项目规模进行调整和扩展。

运行单个脚本

代码示例

配置

先配置相关信息

item

item.py中的内容如下：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass SwItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()url = scrapy.Field()title = scrapy.Field()time = scrapy.Field()content = scrapy.Field()scrapy_time = scrapy.Field()trans_title = scrapy.Field()trans_content = scrapy.Field()org = scrapy.Field()trans_org = scrapy.Field()
setting

setting.py中的内容如下：

# Scrapy settings for sw project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlBOT_NAME = "sw"SPIDER_MODULES = ["sw.spiders"]
NEWSPIDER_MODULE = "sw.spiders"
DOWNLOAD_DELAY = 3
RANDOMIZE_DOWNLOAD_DELAY = True
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
COOKIES_ENABLED = True# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = "sw (+http://www.yourdomain.com)"# Obey robots.txt rules
ROBOTSTXT_OBEY = True# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16# Disable cookies (enabled by default)
#COOKIES_ENABLED = False# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
#    "Accept-Language": "en",
#}# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    "sw.middlewares.SwSpiderMiddleware": 543,
#}# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    "sw.middlewares.SwDownloaderMiddleware": 543,
#}# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    "scrapy.extensions.telnet.TelnetConsole": None,
#}# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#    "sw.pipelines.SwPipeline": 300,
#}
# ITEM_PIPELINES = {
#    "sw.pipelines.SwPipeline": 300,
# }# 数据库的相关配置
# DB_SETTINGS = {
#     'host': '127.0.0.1',
#     'port': 3306,
#     'user': 'root',
#     'password': '123456',
#     'db': 'scrapy_news_2024_01_08',
#     'charset': 'utf8mb4',
# }# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = "httpcache"
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = "scrapy.extensions.httpcache.FilesystemCacheStorage"# Set settings whose default value is deprecated to a future-proof value
REQUEST_FINGERPRINTER_IMPLEMENTATION = "2.7"
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
FEED_EXPORT_ENCODING = "utf-8"
# REDIRECT_ENABLED = False

爬虫脚本

过程非常简单，只需要在spiders/目录下，创建自己的代码即可。示例代码p3_new_39.py (tips: 直接把这个代码放到spiders/目录下，在控制台中输入scrapy crawl p3_new_39 -o p3_new_39.csv即可运行！-o 后面接的是输出文件。) 如下：

"""
Created on 2024/01/06 14:00 by Fxy
"""
import scrapy
from sw.items import SwItem
import time
from datetime import datetimeclass SWSpider(scrapy.Spider):'''scrapy变量'''# 爬虫名称(自己定义)name = "p3_new_39"# 允许爬取的域名allowed_domains = ["www.meduniwien.ac.at"]# 爬虫的起始链接start_urls = ["https://www.meduniwien.ac.at/web/en/about-us/news/"]# 创建一个VidoItem实例item = SwItem()'''自定义变量'''# 机构名称org = "奥地利维也纳医科大学病毒学中心"# 机构英文名称org_e = "Med Univ Vienna, Ctr Virol"# 日期格式site_date_format = '%Y-%m-%d %H:%M' # 网页的日期格式date_format = '%d.%m.%Y %H:%M:%S' # 目标日期格式# 网站语言格式language_type = "zh2zh"  # 中文到中文的语言代码, 调用翻译接口时，使用#爬虫的主入口，这里是获取所有的归档文章链接def parse(self,response): achieve_links = response.xpath('//*[@id="c4345"]//div[@class="news-teaser__caption"]/h2/a/@href').extract()print("achieve_links",achieve_links)for achieve_link in achieve_links:if "http" in achieve_link:continuefull_achieve_link = "https://www.meduniwien.ac.at" + achieve_linkprint("full_achieve_link", full_achieve_link)# 进入每个归档链接yield scrapy.Request(full_achieve_link, callback=self.parse_item, dont_filter=True)#翻页逻辑xpath_expression = f'//*[@id="c4345"]//ul[@class="pagination"]/li[@class="next"]/a/@href'next_page = response.xpath(xpath_expression).extract_first()print("next_page = ", next_page)# 翻页操作if next_page != None:print(next_page)print('next page')full_next_page = "https://www.meduniwien.ac.at" + next_pageprint("full_next_page",full_next_page)yield scrapy.Request(full_next_page, callback=self.parse, dont_filter=True)#获取每个文章的内容,并存入itemdef parse_item(self,response):source_url = response.urlprint("source_url:", source_url)title_o = response.xpath('//*[@id="main"]/header/div/div[2]/div[1]/h1/text()').extract_first().strip()# title_t = my_tools.get_trans(title_o, "de2zh") *[@id="c4342"]/div/div/div[2]/spanprint("title_o:", title_o) #//*[@id="c4342"]/div/div/div[2]/spanyear_string = response.xpath('//div[@class="news-detail__meta"]/span/@data-year').extract_first().strip()month_string = response.xpath('//div[@class="news-detail__meta"]/span/@data-month').extract_first().strip()day_string = response.xpath('//div[@class="news-detail__meta"]/span/@data-day').extract_first().strip()hour_string = response.xpath('//div[@class="news-detail__meta"]/span/@data-hour').extract_first().strip()minute_string = response.xpath('//div[@class="news-detail__meta"]/span/@data-minute').extract_first().strip()publish_time = f'{year_string}-{month_string}-{day_string} {hour_string}:{minute_string}'print("publish_time:", publish_time)date_object = datetime.strptime(publish_time, self.site_date_format) # 先读取成网页的日期格式date_object = date_object.strftime(self.date_format) # 转换成目标的日期字符串publish_time = datetime.strptime(date_object, self.date_format) # 从符合格式的字符串，转换成日期content_o = [content.strip() for content in response.xpath('//div[@class="content__block"]//text()').extract()]content_o = ' '.join(content_o) # 这个content_o提取出来是一个字符串数组，所以要拼接成字符串# content_t = my_tools.get_trans(content_o, "de2zh")print("source_url:", source_url)print("title_o:", title_o)# print("title_t:", title_t)print("publish_time:", publish_time) #15.01.2008print("content_o:", content_o)# print("content_t:", content_t)print("-" * 50)page_data = { 'source_url': source_url,'title_o': title_o,# 'title_t' : title_t,'publish_time': publish_time,'content_o': content_o,# 'content_t': content_t,'org' : self.org,'org_e' : self.org_e,}self.item['url'] = page_data['source_url']self.item['title'] = page_data['title_o']# self.item['title_t'] = page_data['title_t']self.item['time'] = page_data['publish_time']self.item['content'] = page_data['content_o']# self.item['content_t'] = page_data['content_t']# 获取当前时间current_time = datetime.now()# 格式化成字符串formatted_time = current_time.strftime(self.date_format)# 将字符串转换为 datetime 对象datetime_object = datetime.strptime(formatted_time, self.date_format)self.item['scrapy_time'] = datetime_objectself.item['org'] = page_data['org']self.item['trans_org'] = page_data['org_e']yield self.item

在控制台中输入scrapy crawl p3_new_39 -o p3_new_39.csv即可运行！-o 后面接的是输出文件。

代码解析

接下来我们来分析，上面p3_new_39.py代码中的response.xpath()中的参数如何确定。
1、首先进入网页: https://www.meduniwien.ac.at/web/en/about-us/news/（外）：
在这里插入图片描述
2、确定自己要爬取的数据，这里我假定为每一条新闻。
在这里插入图片描述
3、打开浏览器的调试工具（默认f12）找到跳转的链接。
在这里插入图片描述
4、右键元素，复制xpath即可。
在这里插入图片描述
我的复制结果如下：//*[@id="c4345"]/div/div[1]/div/h2/a

xpath基本语法：

XPath（XML Path Language）是一种用于在 XML 文档中定位和选择节点的查询语言。它不仅可以用于 XML，还可以用于 HTML 和其他标记语言。以下是XPath的主要语法和一些常见用法：

  1. 节点选择：

    • /: 从根节点开始选择。
    • //: 选择节点，不考虑它们的位置。
    • .: 选取当前节点。
    • ..: 选取当前节点的父节点。

  2. 节点名称：

    • elementName: 选取所有名称为 elementName 的节点。
    • *: 选取所有子节点。

  3. 谓语：

    • [condition]: 通过添加条件筛选节点。
      • 例如：//div[@class='example'] 选取所有 class 属性为 ‘example’ 的 div 节点。

路径表达式示例：

  • /bookstore/book[1]: 选取第一个 <book> 元素。
  • /bookstore/book[last()]: 选取最后一个 <book> 元素。
  • /bookstore/book[position()<3]: 选取前两个 <book> 元素。
  • //title[@lang='en']: 选取所有带有 lang 属性为 ‘en’ 的 <title> 元素。
  • //title[@lang='en']/text(): 选取所有带有 lang 属性为 ‘en’ 的 <title> 元素的文本内容。
  • //title[not(@lang='en')]/text(): 选取所有 lang 属性不为 ‘en’ 的 <title> 元素的文本内容。
  • //title[@lang='en' or @lang='zh']/text(): 选取所有带有 lang 属性为 ‘en’ 或 ‘zh’ 的 <title> 元素的文本内容。
  • //title[contains(@lang, 'en')]/text() 选取所有带有 lang 属性包含 'en’子串 的 <title> 元素的文本内容。
  • //title[span[text()="标题"]/text() 选取所有带有span标签，并且span中包含 '标题’子串 的 <title> 元素的文本内容。

通配符和多路径：

  • *: 通配符，匹配任何元素节点。
  • @*: 匹配任何属性节点。
  • //book/title | //book/price: 选取所有 <book> 元素的 <title> 和 <price> 子元素。

函数：

XPath 还支持一些内置函数，例如：

  • text(): 获取节点的文本内容。
  • contains(str1, str2): 判断一个字符串是否包含另一个字符串。

示例：

考虑以下 XML 结构：

<bookstore><book><title lang="en">Introduction to XPath</title><price>29.95</price></book><book><title lang="fr">XPath et ses applications</title><price>39.99</price></book>
</bookstore>

使用 XPath 可以选择如下：

  • /bookstore/book: 选取所有 <book> 元素。
  • /bookstore/book/title[@lang='en']: 选取所有带有 lang 属性为 ‘en’ 的 <title> 元素。

这是XPath的基本语法和用法示例，它允许您灵活而精确地定位和提取 XML 或 HTML 文档中的数据。

批量运行

在sw项目目录下可以创建一个mian.py

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settingssettings = get_project_settings()crawler = CrawlerProcess(settings)bot_list = ["p3_new_39"] # 把要运行的通通放进去for bot in bot_list:crawler.crawl(bot)crawler.start()

附录1，持久化存入数据库

scrapy有个非常好的特点，就是支持自动存入数据库。我们只要将代码写好，然后每次scrapy都会自动调用该代码，不需要自己显示的调用，非常省心。我的piplines.py代码如下：

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import pymysqlclass SwPipeline:def __init__(self, db_settings):self.db_settings = db_settings@classmethoddef from_crawler(cls, crawler):db_settings = crawler.settings.get("DB_SETTINGS")return cls(db_settings)def open_spider(self, spider):self.connection = pymysql.connect(**self.db_settings)self.cursor = self.connection.cursor()def close_spider(self, spider):self.connection.close()def process_item(self, item, spider):# Assuming your item keys match the column names in your database tablekeys = ', '.join(item.keys())values = ', '.join(['%s'] * len(item))query = f"INSERT INTO org_news ({keys}) VALUES ({values})" #这里记得确认我们item.py中定义的类型名字，是否和数据库中的一样，不一样，这个查询语句需要进行相应的修改，我这里就不一样，所以没法直接运行哦，我懒得改了！！！！哈哈哈# Check if the record already exists based on a combination of fields, 如果记录已经存在则取消插入，如果有键的话直接用键就行，我这里没有键unique_fields = ["title_o", "source_url"]  # Replace with the actual field names you want to usecheck_query = f"SELECT * FROM org_news WHERE {' AND '.join(f'{field} = %s' for field in unique_fields)}"check_values = tuple(item.get(field) for field in unique_fields)try:# Check if the record already existsself.cursor.execute(check_query, check_values)existing_record = self.cursor.fetchone()if existing_record:spider.logger.warning("Record already exists. Skipping insertion.")else:# If the record doesn't exist, insert it into the databaseself.cursor.execute(query, tuple(item.values()))self.connection.commit()except Exception as e:self.connection.rollback()spider.logger.error(f"Error processing item and inserting data into database: {e}")return item

我创建数据库的代码如下：

/*Navicat Premium Data TransferSource Server         : 172.16.6.165Source Server Type    : MySQLSource Server Version : 80035Source Host           : 172.16.6.165:3306Source Schema         : swaqTarget Server Type    : MySQLTarget Server Version : 80035File Encoding         : 65001Date: 08/01/2024 10:01:57
*/SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;-- ----------------------------
-- Table structure for org_news
-- ----------------------------
DROP TABLE IF EXISTS `org_news`;
CREATE TABLE `org_news`  (`id` int(0) NOT NULL AUTO_INCREMENT,`title_t` varchar(1000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '翻译标题名称',`title_o` varchar(1000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '原消息标题',`content_t` longtext CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL COMMENT '翻译',`publish_time` datetime(0) NULL DEFAULT NULL COMMENT '发布时间',`content_o` longtext CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL COMMENT '原文',`site` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '新闻源',`tag` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '标签',`author` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '作者',`create_time` datetime(0) NULL DEFAULT NULL COMMENT '爬取时间',`source_url` varchar(1000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'url',`country` varchar(100) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '国家/地区',`imgurl` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '图片存放地址',`org` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '机构名称',`org_e` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '机构英文名称',PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 314 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = Dynamic;SET FOREIGN_KEY_CHECKS = 1;

附录2，如何在本地启动数据库

1、先安装mysql
2、配置好？（我电脑的mysql几年前安装的，下载了一个navicat）
3、windows控制台输入mysqld --console应该就能启动了。
注意： mysqld 是服务端程序 ，mysql是命令行客户端程序
4、然后应该就能够连接了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.luyixian.cn/news_show_926120.aspx

如若内容造成侵权/违法违规/事实不符，请联系dt猫网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

从“精益思想“看机器人的开发与应用：一场科技与效率的完美融合

从“精益思想“看机器人的开发与应用：一场科技与效率的完美融合

在科技飞速发展的今天&#xff0c;机器人已经深入到我们的生活和工作之中&#xff0c;成为了提高效率、提升质量的重要工具。然而&#xff0c;如何让机器人的开发和利用更有效率、更精细&#xff0c;这是摆在我们面前的一道难题。此时&#xff0c;"精益思想"的出现&a…
阅读更多...
OpenCV C++ 图像处理实战 ——《多尺度自适应Gamma矫正的低照图像增强》

OpenCV C++ 图像处理实战 ——《多尺度自适应Gamma矫正的低照图像增强》

OpenCV C++ 图像处理实战 ——《多尺度自适应Gamma矫正的低照图像增强》 一、结果演示二、多尺度自适应Gamma矫正的低照度图像增强2.1HSI颜色空间2.1.1 功能源码2.2 自适应于直方图分布的 Gamma 矫正2.2.1 功能源码2.3 多尺度 Retinex 分解与明度增强2.3.1 功能源码三、源码测试…
阅读更多...
统计学-R语言-3

统计学-R语言-3

文章目录 前言给直方图增加正态曲线的不恰当之处直方图与条形图的区别核密度图时间序列图洛伦茨曲线计算绘制洛伦茨曲线所需的各百分比数值绘制洛伦茨曲线 练习 前言 本篇文章是介绍对数据的部分图形可视化的图型展现。 给直方图增加正态曲线的不恰当之处 需要注意的是&#…
阅读更多...
【生存技能】git操作

【生存技能】git操作

先下载git https://git-scm.com/downloads 我这里是win64&#xff0c;下载了相应的直接安装版本 64-bit Git for Windows Setup 打开git bash 设置用户名和邮箱 查看设置的配置信息 获取本地仓库 在git bash或powershell执行git init&#xff0c;初始化当前目录成为git仓库…
阅读更多...
力扣labuladong一刷day61天动态规划最小下降路径

力扣labuladong一刷day61天动态规划最小下降路径

力扣labuladong一刷day61天动态规划最优子结构 一、931. 下降路径最小和 题目链接&#xff1a;https://leetcode.cn/problems/minimum-falling-path-sum/description/ 如下图所示&#xff0c;求最小下降路径&#xff0c;定义dp[i][j]表示从最上面那行的任意位置抵达到nums[i]…
阅读更多...
Redis分布式锁--java实现

Redis分布式锁--java实现

文章目录 Redis分布式锁方案&#xff1a;SETNX EXPIRE基本原理比较好的实现会产生四个问题 几种解决原子性的方案方案&#xff1a;SETNX value值是&#xff08;系统时间过期时间&#xff09;方案&#xff1a;使用Lua脚本(包含SETNX EXPIRE两条指令)方案&#xff1a;SET的扩展…
阅读更多...
springcloud Alibaba中gateway和sentinel联合使用

springcloud Alibaba中gateway和sentinel联合使用

看到这个文章相信你有一定的sentinel和gateway基础了吧。 官网的gateway和sentinel联合使用有些过时了&#xff0c;于是有了这个哈哈&#xff0c;给你看看官网的&#xff1a; 才sentinel1.6&#xff0c;现在都几了啊&#xff0c;所以有些过时。 下面开始讲解&#xff1a; 首先…
阅读更多...
【Linux】自定义shell

【Linux】自定义shell

👑作者主页：@安 度 因 🏠学习社区：安度因 📖专栏链接：Linux 文章目录 获取命令行前置字段命令行输入解析命令行普通指令的执行子进程执行命令指令类型判断 && 内建命令总结 &&a
阅读更多...
【Maven】007-Maven 工程的继承和聚合关系

【Maven】007-Maven 工程的继承和聚合关系

【Maven】007-Maven 工程的继承和聚合关系 文章目录 【Maven】007-Maven 工程的继承和聚合关系一、Maven 工程的继承关系1、继承的概念2、继承的作用3、继承的语法4、父工程统一管理依赖版本父工程声明依赖版本子工程继承以来版本 二、Maven 工程的聚合关系1、聚合的概念2、聚合…
阅读更多...
VitePress-01-从零开始的项目创建（npm版）

VitePress-01-从零开始的项目创建（npm版）

说明 本文介绍一下 VitePress的项目创建的步骤。 主要用到的命令工具是 npm。 本文的操作步骤是从无到有的创建一个完整的基本的【VitePress】项目。 环境准备 根据官方文档的介绍&#xff0c;截止本文发稿时&#xff0c;需要使用node.js 18 的版本。 可以使用node -v 的命令查…
阅读更多...
【MySQL】MySQL表的约束-空属性/默认值/列属性/zerofill/主键/自增长/唯一键/外键

【MySQL】MySQL表的约束-空属性/默认值/列属性/zerofill/主键/自增长/唯一键/外键

文章目录 表的约束1.空属性 --null && not null2.默认值 -- default3.列描述4.zerofill5.主键6.自增长7.唯一键8.外键 表的约束 表的约束&#xff1a;表中一定要有各种约束&#xff0c;通过约束&#xff0c;让我们未来插入数据库表中的数据是符合预期的。约束的本质是…
阅读更多...
【GCC】6 接收端实现：周期构造RTCP反馈包

【GCC】6 接收端实现：周期构造RTCP反馈包

基于m98代码。GCC涉及的代码，可能位于：webrtc/modules/remote_bitrate_estimator webrtc/modules/congestion_controller webrtc/modules/rtp_rtcp/source/rtcp_packet/transport_feedback.cc webrtc 之 RemoteEstimatorProxy 对 remote_bitrate_estimator 的 RemoteEstimato…
阅读更多...
Spark与HBase的集成与数据访问

Spark与HBase的集成与数据访问

Apache Spark和Apache HBase分别是大数据处理和分布式NoSQL数据库领域的两个重要工具。在本文中&#xff0c;将深入探讨如何在Spark中集成HBase&#xff0c;并演示如何通过Spark访问和操作HBase中的数据。将提供丰富的示例代码&#xff0c;以便更好地理解这一集成过程。 Spark…
阅读更多...
【EI会议征稿通知】第四届图像处理与智能控制国际学术会议（IPIC 2024）

【EI会议征稿通知】第四届图像处理与智能控制国际学术会议（IPIC 2024）

第四届图像处理与智能控制国际学术会议&#xff08;IPIC 2024&#xff09; 2024 4th International Conference on Image Processing and Intelligent Control 2024年第四届图像处理与智能控制国际学术会议&#xff08;IPIC 2024&#xff09;将于2024年5月3日-5日在吉隆坡举…
阅读更多...
【Jmeter之get请求传递的值为JSON体实践】

【Jmeter之get请求传递的值为JSON体实践】

Jmeter之get请求传递的值为JSON体实践 get请求的常见传参方式 1、在URL地址后面拼接&#xff0c;有多个key和value时&#xff0c;用&链接 2、在Parameters里面加上key和value 第一次遇到value的值不是字符串也不是整型&#xff0c;我尝试把json放到value里面&#xff0…
阅读更多...
C练习——杨辉三角

C练习——杨辉三角

题目&#xff1a; 打印近似杨辉三角&#xff0c;行数n自选 百度找的杨辉三角&#xff0c;参考一下&#xff1a; 解析&#xff1a; 把它的全部元素左对齐&#xff0c;就可以看成近似杨辉三角的样子 1 1 1 1 2 1 1 3 3 1 1 4 6 4 1 …… 每个数等于它上方两数…
阅读更多...
OpenCV C++ 环境搭建和简单示例

OpenCV C++ 环境搭建和简单示例

OpenCV介绍 OpenCV&#xff1a;开源发行的跨平台计算机视觉和机器学习软件库&#xff0c;用C语言编写&#xff0c;提供了C &#xff0c;Python&#xff0c;Java和MATLAB接口&#xff0c;并支持Windows&#xff0c;Linux&#xff0c;Android和Mac OS。 OpenCV下载 去官网http…
阅读更多...
常见面试题之CSS

常见面试题之CSS

CSS3的新特性 新增选择器&#xff1a;:nth-child()、:first-of-type、:last-of-type等 弹性盒子&#xff1a;display: flex 媒体查询&#xff1a;media根据设备的特性和屏幕大小应用不同的样式规则 多列布局&#xff1a;column-count和column-with等属性可以实现将内容分为多…
阅读更多...
蓝桥杯每日一题----货物摆放

蓝桥杯每日一题----货物摆放

题目 分析 上来一看&#xff0c;三个for循环&#xff0c;从1到n&#xff0c;寻找满足lwhn的个数&#xff0c;但是这样根本跑不出来答案&#xff0c;n太大了&#xff0c;1e15的级别&#xff0c;O&#xff08;n&#xff09;的时间复杂度都不行&#xff0c;更何况是O&#xff08;…
阅读更多...
Webpack 怎么实现按需异步加载模块

Webpack 怎么实现按需异步加载模块

要弄懂这个问题&#xff0c;需要先来看关于webpack打包的3个问题。 三个问题 第一个问题 项目中的json文件&#xff0c;如何使用webpack进行处理&#xff1f; 如果我们希望把json文件当做静态配置&#xff0c;例如有如下json文件 {"version": "1.0.0"…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站 广利置业