survey和surveyCV:如何用R语言进行复杂抽样设计、权重计算和10折交叉验证?

news/2024/2/24 7:52:16/文章来源:https://blog.csdn.net/weixin_43935907/article/details/135567123

一、引言

在实际调查和研究中,我们往往面临着样本选择的复杂性。复杂抽样设计能够更好地反映真实情况,提高数据的代表性和可靠性。例如,多阶段抽样可以有效地解决大规模调查的问题,整群抽样能够在保证样本的随机性的同时减少资源消耗。由于复杂抽样设计中不同样本的选取概率不一致,为了确保结果的准确性和代表性,需要对样本进行加权处理。通过权重计算,我们可以将不同样本的贡献考虑进去,使得结果更符合总体情况。例如,在人口统计学研究中,根据样本的权重可以更准确地估计总体的特征。在机器学习领域,评估模型的性能和泛化能力是一个关键问题。10折交叉验证是一种常用的方法,它将数据集划分为10个部分,通过多次训练和测试来评估模型的性能。交叉验证可以减少过拟合的可能性,并提供对模型稳定性的评估。

本文旨在介绍使用R语言中的survey和surveyCV包进行复杂抽样设计、权重计算和10折交叉验证的方法,以帮助研究人员更好地处理复杂抽样数据和评估模型的性能。

二、复杂抽样设计

2.1 复杂抽样设计的概念和原理

「复杂抽样设计」是指在调查研究中采用的一种非随机抽样方法,在这种方法中,样本的选择不是简单地从总体中按概率随机选择,而是根据某些特定的规则和条件进行选择。复杂抽样设计通常包括分层、簇抽样和多阶段抽样等。

2.2 创建抽样设计对象

在R语言中,使用survey包可以轻松创建复杂抽样设计对象。其中,svydesign()函数可用于创建一个抽样设计对象,该对象包含了复杂抽样设计的信息,如分层、簇和权重等参数。

例如,以下代码创建了一个简单的分层抽样设计对象:

  • 「载入依赖包和数据集」
library(survey)
library(surveyCV)
data(api)
head(apiclus1)

数据集展示:

             cds stype            name                      sname snum               dname dnum   cname cnum flag pcttest api00 api99 target growth sch.wide comp.imp both awards meals ell
1 01612910137588     H San Leandro Hig           San Leandro High  236 San Leandro Unified  637 Alameda    1   NA      97   608   562     12     46      Yes      Yes  Yes    Yes    19  22
2 01612916002372     E Garfield Elemen        Garfield Elementary  237 San Leandro Unified  637 Alameda    1   NA     100   684   554     12    130      Yes      Yes  Yes    Yes    39  23
3 01612916002398     E Jefferson Eleme       Jefferson Elementary  238 San Leandro Unified  637 Alameda    1   NA     100   612   528     14     84      Yes      Yes  Yes    Yes    39  27
4 01612916002414     E Madison (James) Madison (James) Elementary  239 San Leandro Unified  637 Alameda    1   NA     100   710   669      7     41      Yes       No   No     No    23  17
5 01612916002422     E McKinley Elemen        McKinley Elementary  240 San Leandro Unified  637 Alameda    1   NA      99   729   660      7     69      Yes      Yes  Yes    Yes    43  27
6 01612916002430     E Monroe Elementa          Monroe Elementary  241 San Leandro Unified  637 Alameda    1   NA     100   714   673      6     41      Yes      Yes  Yes    Yes    36  24
  yr.rnd mobility acs.k3 acs.46 acs.core pct.resp not.hsg hsg some.col col.grad grad.sch avg.ed full emer enroll api.stu fpc     pw
1     No       15     NA     NA       27       90      14  22       27       30        6   2.93   82   23   1689    1358 757 33.847
2     No       23     19     30       NA       85       8  22       38       24        8   3.02   79   21    288     223 757 33.847
3     No       25     21     30       NA       95      12  24       40       18        6   2.83   72   31    294     220 757 33.847
4     No       39     19     26       NA       92       4  26       38       18       14   3.12   75   25    143     110 757 33.847
5     No       23     22     30       NA       85      11  37       26       22        4   2.71  100    0    307     239 757 33.847
6     No       17     21     28       NA       97      10  30       33       19        7   2.85   89    7    311     265 757 33.847
  • 「抽样」
# 分层抽样
dstrat <- svydesign(id = ~cds, strata = ~stype, weights = ~pw, data = apiclus1, fpc = ~fpc)

# 一阶段段抽样
dclus1<-svydesign(id=~dnum, weights=~pw, data=apiclus1, fpc=~fpc)

# 二阶段抽样:根据人口数量赋予权重
dclus2<-svydesign(id=~dnum+snum, fpc=~fpc1+fpc2, data=apiclus2)

2.3 指定分层、簇和权重等参数

指定分层、簇和权重等参数非常重要,因为这些参数对数据分析和估计结果产生重要影响。以下是一些常用参数的解释:

分层(strata):在总体中将样本按照某种特定特征分为若干层,然后从每一层中随机抽取样本。
簇(clusterID):将总体划分为若干个簇,在每个簇中按概率随机抽取样本。这种方法通常用于调查面积较大或者人口稀疏的总体。
权重(weights):为了使样本能够代表总体,需要对样本进行加权处理,通常使用与样本相关的某个指标作为权重。

2.4 抽样设计对象的数据分析和估计

使用svydesign()函数创建抽样设计对象之后,就可以使用survey包中的其他函数对数据进行分析和估计了。

  • 使用svytotal()函数计算总体估计值:
# ~enroll表示统计enroll变量的总体估计值
svytotal(~enroll,dclus1)

结果展示:

> svytotal(~enroll,dclus1)
         total     SE
enroll 3404940 131697
  • 还可以使用svymean()函数计算加权均值:
svymean(~enroll,dclus1)

结果展示:

> svymean(~enroll,dclus1)
         mean     SE
enroll 549.72 21.262

三、权重计算

3.1 权重计算简介

「权重计算」是在复杂抽样设计中必不可少的一步,它的目的是根据样本的选取概率和不同样本的贡献,调整样本的权重,以更准确地估计总体参数。在实际调查和研究中,由于样本的选取方式和概率不一致,可能会导致样本在某些特征上受到过度或不足的代表性。通过权重计算,我们可以修正这种偏差,使得估计结果更加准确、可靠。

3.2 加权分析

在R语言中,可以使用survey包中的函数进行加权分析,常用的函数有svytotal()svyglm()

使用svytotal()函数计算加权平均值

weighted_mean <- svymean(~ pw + fpc,dclus1)
weighted_mean

结果展示:

       mean SE
pw   33.847  0
fpc 757.000  0

四、示例演示

假设咱们想了解growth和full线性关系,nfolds代表你想用多少折,其他都是一些调查函数的参数。

  • 「生成抽样数据」
dstrat <- svydesign(id = ~cds, strata = ~stype, weights = ~pw, data = apiclus1, fpc = ~fpc)

bcSvy2<-update(dstrat,fullcut=cut(full,c(50,70,90,Inf),right=FALSE))

weights_mean <- svymean(~fullcut, bcSvy2)

# 1. 条形图
barplot(weights_mean, names.arg=c("半饱","饱腹","全饱"),
col=c("red","purple","blue"),
main="饱腹条形图")

# 2. 箱线图 (成长随饱腹的变化)
svyboxplot(growth~fullcut,bcSvy2,all.outliers=T,col=c("red","purple","yellow","blue"))

# 3. 饱腹的密度直方图
svyhist(~full, bcSvy2, main="密度直方图",col="purple")

「直方图」 「箱线图」 「密度直方图」

  • 「线性拟合」
# 模型拟合
glmstrat<- svyglm(growth~full + meals + mobility, design = dstrat)
cv.svyglm(glmstrat,nfolds = 10)

# 10折交叉验证
cv.svydesign(formulae = c("growth~full""growth~full + meals","growth~full + meals + mobility"), design_object = dstrat, nfolds = 10)

结果展示:

# 结果1
           mean     SE
.Model_1 822.92 89.537

# 结果2
           mean     SE
.Model_1 863.07 91.725
.Model_2 830.43 89.514
.Model_3 842.21 90.206

这样就轻松出结果了,非常方便好用。我们可以看到添加协变量meals以后,MSE出现明显变化,变小了;然后添加协变量mobility以后,MSE反而变大了;表明添加合适的协变量有助于较少MSE。

  • 「加权抽样和普通数据训练的模型比较」
glm <- glm(growth~full + meals + mobility, data = apiclus1)
summary(glm)
summary(glmstrat)


y_test <- apiclus1$growth
# 使用glm模型进行预测
glm_predictions <- predict(glm, newdata = apiclus1)

# 计算均方误差(MSE)
mse <- mean((y_test - glm_predictions)^2)
# 计算平均绝对误差(MAE)
mae <- mean(abs(y_test - glm_predictions))
mse
mae

# 创建渐变色调函数
col_fun <- colorRampPalette(colors = c("blue""yellow"))

# 绘制散点图
plot(y_test, glm_predictions, xlab = "True Values", ylab = "Predictions"
     col = col_fun(100)[as.integer(glm_predictions)])

# 绘制对角线
abline(a = 0, b = 1, col = "red")

# 使用glmstrat模型进行预测
glmstrat_predictions <- predict(glmstrat, newdata = apiclus1)

# 计算均方误差(MSE)
mse <- mean((y_test - glmstrat_predictions)^2)
# 计算平均绝对误差(MAE)
mae <- mean(abs(y_test - glmstrat_predictions))

# 绘制散点图
plot(y_test, glmstrat_predictions, xlab = "True Values", ylab = "Predictions"
     col = col_fun(100)[as.integer(glm_predictions)])

# 绘制对角线
abline(a = 0, b = 1, col = "red")

结果展示:

> summary(glm)

Call:
glm(formula = growth ~ full + meals + mobility, data = apiclus1)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) 53.04390   20.05615   2.645   0.0089 **
full        -0.34581    0.20526  -1.685   0.0938 . 
meals        0.26158    0.08723   2.999   0.0031 **
mobility     0.07024    0.19473   0.361   0.7188   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for gaussian family taken to be 814.2966)

    Null deviance: 161138  on 182  degrees of freedom
Residual deviance: 145759  on 179  degrees of freedom
AIC: 1751.8

Number of Fisher Scoring iterations: 2

> summary(glmstrat)

Call:
svyglm(formula = growth ~ full + meals + mobility, design = dstrat)

Survey design:
svydesign(id = ~cds, strata = ~stype, weights = ~pw, data = apiclus1, 
    fpc = ~fpc)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) 53.04390   18.35664   2.890  0.00434 **
full        -0.34581    0.19468  -1.776  0.07740 . 
meals        0.26158    0.08250   3.171  0.00179 **
mobility     0.07024    0.17713   0.397  0.69219   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for gaussian family taken to be 800.8741)

Number of Fisher Scoring iterations: 2
  • 「glm」

  • 「svyglm」

从图中可以看出,蓝色点的数量svyglm要比glm多,相对来说svyglm是比glm表现的更优秀的。

五、结论

  • 使用survey和surveyCV包进行复杂抽样设计、权重计算和10折交叉验证的优势和应用:

  1. 「复杂抽样设计」:survey包提供了一系列函数和方法,可以处理各种复杂抽样设计,如分层抽样、整群抽样和多阶段抽样。这些函数和方法可以帮助研究人员更准确地估计总体参数,并提供了对设计效应的评估。
  2. 「权重计算」:survey包还提供了计算调查数据权重的功能。通过为每个观测值分配适当的权重,可以反映样本在总体中的分布情况。这对于进行总体推断和解决非随机抽样带来的偏倚问题非常重要。
  3. 「10折交叉验证」:surveyCV包是survey包的扩展,提供了支持复杂抽样设计的交叉验证功能。它可以自动处理复杂抽样设计的数据集划分,并在每个折叠中生成正确的训练和测试数据子集。这有助于评估和比较不同模型的性能,并选择最佳模型。
  • 「应用前景和发展方向」

R语言在复杂抽样设计、权重计算和交叉验证方面具有广泛的应用前景。survey和surveyCV包为研究人员提供了强大的工具,以便更好地处理复杂抽样设计的调查数据,并进行准确的统计推断和模型评估。

未来,R语言在这些任务中的发展方向可能包括:

  1. 「扩展功能」:随着调查数据变得更加复杂和多样化,R语言可能会进一步扩展survey和surveyCV包的功能,以适应更多类型的抽样设计和权重计算需求。此外,还可以考虑增加更多的交叉验证方法和评估指标,以支持更广泛的模型选择和性能评估。
  2. 「算法优化」:为了处理大规模和高维度的调查数据,R语言可能会优化survey和surveyCV包中的算法和计算效率。这将有助于提高计算速度和内存使用效率,使其更适用于大型数据集和高性能计算环境。
  3. 「教育和培训资源」:为了促进广泛的应用和推广,R语言社区可能会提供更多的教育和培训资源,例如教程、示例代码和案例研究。这将帮助研究人员更好地理解和应用survey和surveyCV包中的方法和技术。

综上所述,R语言在复杂抽样设计、权重计算和交叉验证方面具有广泛的应用前景,并且可能会在功能扩展、算法优化和教育资源方面得到进一步发展。这些工具和资源将为研究人员提供更好的数据分析和模型评估方法,帮助他们做出更准确和可靠的推断和决策。

*「未经许可,不得以任何方式复制或抄袭本篇文章之部分或全部内容。版权所有,侵权必究。」

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_925872.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络安全全栈培训笔记(53-WEB攻防-通用漏洞跨域CORS资源JSONP回调域名接管劫持)

第54天 WEB攻防-通用漏洞&跨域CORS资源&JSONP回调&域名接管劫持 知识点&#xff1a; 1、子域名接管检测&探针&利用 2、C0SP跨域资源检测&探针&利用 3、JSONP跨域回调-检侧&探针&利用 #前置知识点&#xff1a; 同源策路(SOP),“同源”包…

centos7配置时间同步网络时间

centos7配置时间同步网络时间 1、安装 NTP 工具。 sudo yum install -y ntp2启动 NTP 服务。 sudo systemctl start ntpd3、将 NTP 服务设置为开机自启动。 sudo systemctl enable ntpd4、验证 date

【特征工程】分类变量:MultiLabelBinarizer对多标签数据进行编码

MultiLabelBinarizer 说明介绍 1. MultiLabelBinarizer 是什么&#xff1f; MultiLabelBinarizer是scikit-learn库中的一个用于处理多标签数据的编码器。通常用于将多标签的分类任务中的标签转化为二进制形式&#xff0c;便于机器学习模型的处理。该编码器的主要目标是将每个…

【网络安全】【密码学】【北京航空航天大学】实验一、数论基础(上)【C语言和Java实现】

实验一、数论基础&#xff08;上&#xff09; 一、实验目的 1、通过本次实验&#xff0c;熟悉相关的编程环境&#xff0c;为后续的实验做好铺垫&#xff1b; 2、回顾数论学科中的重要基本算法&#xff0c;并加深对其的理解&#xff0c;为本学期密码学理论及实验课程打下良好…

《ARM Linux内核源码剖析》读书笔记——0号进程(init_task)的创建时机

最近在读《ARM Linux内核源码剖析》&#xff0c;一直没有看到0号进程&#xff08;init_task进程)在哪里创建的。直到看到下面这篇文章才发现书中漏掉了set_task_stack_end_magic(&init_task)这行代码。 下面这篇文章提到&#xff1a;start_kernel()上来就会运行 set_task_…

如何用MetaGPT帮你写一个贪吃蛇的小游戏项目

如何用MetaGPT帮你写一个贪吃蛇的小游戏项目 MetaGPT是基于大型语言模型(LLMs)的多智能体写作框架&#xff0c;目前在Github开源&#xff0c;其Start数量也是比较高的&#xff0c;是一款非常不错的开源框架。 下面将带你进入MetaGPT的大门&#xff0c;开启MetaGPT的体验之旅。…

大创项目推荐 深度学习手势识别算法实现 - opencv python

文章目录 1 前言2 项目背景3 任务描述4 环境搭配5 项目实现5.1 准备数据5.2 构建网络5.3 开始训练5.4 模型评估 6 识别效果7 最后 1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 深度学习手势识别算法实现 - opencv python 该项目较为新颖…

推荐一个页面引导库 driver.js

页面引导功能是 web 开发中常见的一个功能。通过页面引导功能&#xff0c;你可以让用户第一时间熟悉你的页面功能。今天给大家推荐一个页面引导库 driver.js。 简介 driver.js 是一款用原生 js 实现的页面引导库&#xff0c;上手非常简单&#xff0c;体积在 gzip 压缩下仅仅 5…

MongoDB面试系列-01

1. MongoDB 是什么&#xff1f; MongoDB是由C语言编写的&#xff0c;是一个基于分布式文件存储的开源数据库系统。再高负载的情况下&#xff0c;添加更多的节点&#xff0c;可以保证服务器性能。MongoDB旨在给Web应用提供可扩展的高性能数据存储解决方案。 MongoDB将数据存储…

Shopify绑定Facebook收费吗?付款方式是什么?-站斧浏览器

Shopify绑定Facebook收费吗&#xff1f; 答案是&#xff1a;Shopify绑定Facebook并不收取额外费用。Shopify和Facebook之间的绑定是免费的&#xff0c;卖家可以充分利用这一功能来扩展他们的在线业务。通过将商店与Facebook Page相连接&#xff0c;卖家可以将产品目录同步到Fa…

LeetCode 41 缺失的第一个正数

题目描述 缺失的第一个正数 给你一个未排序的整数数组 nums &#xff0c;请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,0] 输出&#xff1a;3示例 2&#xff…

rabbitmq-java基础详解

一、rabbitmq是什么&#xff1f; 1、MQ定义 MQ&#xff08;Message Queue&#xff09;消息队列 主要解决&#xff1a;异步处理、应用解耦、流量削峰等问题&#xff0c;是分布式系统的重要组件&#xff0c;从而实现高性能&#xff0c;高可用&#xff0c;可伸缩和最终一致性的架…

NLP技术在搜索推荐场景中的应用

NLP技术在搜索推荐中的应用非常广泛&#xff0c;例如在搜索广告的CTR预估模型中&#xff0c;NLP技术可以从语义角度提取一些对CTR预测有效的信息&#xff1b;在搜索场景中&#xff0c;也经常需要使用NLP技术确定展现的物料与搜索query的相关性&#xff0c;过滤掉相关性较差的物…

CASAIM与LG化学越南工厂达成全自动化智能测量技术合作,助力汽车锂电池相关零部件全自动化测量及质量管控

近日&#xff0c;CASAIM与LG化学越南工厂达成全自动化智能测量技术合作&#xff0c;CASAIM将为LG化学越南工厂提供最新一代的CASAIM-IS全自动化测量系统解决方案&#xff0c;助力LG化学越南工厂实现汽车锂电池相关零部件的高精度、高效率测量和检测&#xff0c;进一步提升产品质…

【Vue】后端返回文件流,前端预览文件

let date;request({url: this.$route.query.url,method: get,responseType: blob,}).then(resp > {date respthis.path window.URL.createObjectURL(new Blob([resp], {type: "application/pdf"}))}).catch((e) > {//旧版本浏览器下的blob创建对象window.Blo…

Langchain 与 Elasticsearch:创新数据检索的融合实战

1、简介 在信息爆炸的时代&#xff0c;有效地检索和处理数据变得至关重要。Langchain 和 Elasticsearch 的结合&#xff0c;为我们提供了一个强大的工具&#xff0c;以更智能的方式进行数据检索和分析。 作为一名拥有多年 Elasticsearch 实战经验的技术博主&#xff0c;我将在本…

注意:温度太高电路板表面会氧化导致不上锡

不上锡的情况为什么大多发生在热天&#xff1f; 因为天气太热&#xff0c;室内和室外温差太大&#xff0c;如把PCB板从30多度的室外转移到温度更低的室内就会导致PCB板表面“流汗”现象&#xff0c;PCB板表面有水份就会让其氧化PCB板拆封后&#xff0c;SMT工厂内部环境不好或温…

DC电源模块在新能源领域的应用前景

BOSHIDA DC电源模块在新能源领域的应用前景 DC电源模块在新能源领域有着广阔的应用前景。随着可再生能源技术的发展和普及&#xff0c;如太阳能和风能等的应用逐渐增多&#xff0c;DC电源模块在这些领域的应用越来越重要。 首先&#xff0c;DC电源模块可以用于太阳能发电系统…

记一次 .NET某收银软件 非托管泄露分析

一&#xff1a;背景 1. 讲故事 在我的分析之旅中&#xff0c;遇到过很多程序的故障和杀毒软件扯上了关系&#xff0c;有杀毒软件导致的程序卡死&#xff0c;有杀毒软件导致的程序崩溃&#xff0c;这一篇又出现了一个杀毒软件导致的程序非托管内存泄露&#xff0c;真的是分析多…

mac 上 ssh: connect to host localhost port 22: Connection refused

1。 问题 在搭建hadoop环境的时候 发现ssh localhost 在报错 2. 解决 打开系统设置 -> 共享 -> -> 在左边服务中选择 远程登录 注意红框这些选项慎重选择&#xff01;&#xff01;&#xff01; 修改后&#xff0c;在终端再次 ssh localhost 发现登录成功了 如果…