史上最全数据集网站汇总

news/2024/5/15 4:15:04/文章来源:https://blog.csdn.net/Raine_Gu/article/details/106617166

如果用一个句子总结学习数据科学的本质,那就是: 学习数据科学的最佳方法就是应用数据科学。 如果你是一个初学者,你每完成一个新项目后自身能力都会有极大的提高,如果你是一个有经验的数据科学专家,你已经知道这里所蕴含的价值。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

 本文将为您提供一个网站/资源列表,从中你可以使用数据来完成你自己的数据项目,甚至创造你自己的产品。

一.如何使用这些资源?

如何使用这些数据源是没有限制的,应用和使用只受到您的创造力和实际应用。使用它们最简单的方法是进行数据项目并在网站上发布它们。这不仅能提高你的数据和可视化技能,还能改善你的结构化思维。

另一方面,如果你正在考虑/处理基于数据的产品,这些数据集可以通过提供额外的/新的输入数据来增加您的产品的功能。所以,继续在这些项目上工作吧,与更大的世界分享它们,以展示你的数据能力!我们已经在不同的部分中划分了这些数据源,以帮助你根据应用程序对数据源进行分类。

我们从简单、通用和易于处理数据集开始,然后转向大型/行业相关数据集。然后,我们为特定的目的——文本挖掘、图像分类、推荐引擎等提供数据集的链接。这将为您提供一个完整的数据资源列表。如果你能想到这些数据集的任何应用,或者知道我们漏掉了什么流行的资源,请在下面的评论中与我们分享。(部分可能需要翻墙)

二.由简单和通用的数据集开始

1.data.gov ( https://www.data.gov/ ) 这是美国政府公开数据的所在地,该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。

 

640?wx_fmt=jpeg

 

2.data.gov.in ( https://data.gov.in/ ) 这是印度政府公开数据的所在地,通过各种行业、气候、医疗保健等来寻找数据,你可以在这里找到一些灵感。根据你居住的国家的不同,你也可以从其他一些网站上浏览类似的网站。

3.World Bank( http://data.worldbank.org/ ) 世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。

4.RBI ( https://rbi.org.in/Scripts/Statistics.aspx ) 印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。

5.Five Thirty Eight Datasets ( https://github.com/fivethirtyeight/data ) Five Thirty Eight,亦称作 538,专注与民意调查分析,政治,经济与体育的博客。该数据集为 Five Thirty Eight Datasets 使用的数据集。每个数据集包括数据,解释数据的字典和Five Thirty Eight 文章的链接。如果你想学习如何创建数据故事,没有比这个更好。

三.大型数据集

1.Amazon Web Services(AWS)datasets ( https://aws.amazon.com/cn/datasets/ )Amazon提供了一些大数据集,可以在他们的平台上使用,也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集,Google Books n-gram,NASA NEX 数据集,百万歌曲数据集等。

 

640?wx_fmt=png

 

2.Google datasets ( https://cloud.google.com/bigquery/public-data/ ) Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。

3.Youtube labeled Video Dataset ( https://research.google.com/youtube8m/ ) 几个月前,谷歌研究小组发布了YouTube上的“数据集”,它由800万个YouTube视频id和4800个视觉实体的相关标签组成。它来自数十亿帧的预先计算的,最先进的视觉特征。

 

640?wx_fmt=png

 

四.预测建模与机器学习数据集

1.UCI Machine Learning Repository ( https://archive.ics.uci.edu/ml/datasets.html )UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集,通常是首选的地方。这些数据集包括了各种各样的数据集,从像Iris和泰坦尼克这样的流行数据集到最近的贡献,比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。

 

640?wx_fmt=png

 

2.Kaggle ( https://www.kaggle.com/datasets ) Kaggle提出了一个平台,人们可以贡献数据集,其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方,但我在平台上看到了一些有趣的数据集,而不是在其他地方出现。与新的数据集一起,界面的另一个好处是,您可以在相同的界面上看到来自社区成员的脚本和问题。

 

640?wx_fmt=png

 

3.Analytics Vidhya (https://datahack.analyticsvidhya.com/contest/all/ ) 您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题,并且相对较小,因为它们意味着2 - 7天的黑客马拉松。

 

640?wx_fmt=png

 

4.Quandl ( https://www.quandl.com/ ) Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。

 

640?wx_fmt=png

 

5.Past KDD Cups ( http://www.kdd.org/kdd-cup ) KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。

6.Driven Data ( https://www.drivendata.org/ ) Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后,他们为数据科学家组织在线模拟竞赛,从而开发出最好的模型来解决这些问题。

五.图像分类数据集

1.The MNIST Database ( http://yann.lecun.com/exdb/mnist/ ) 最流行的图像识别数据集,使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。

2.Chars74K (http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ ) 这里是下一阶段的进化,如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像,因此数据集的名称。

3.Frontal Face Images (http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html ) 如果你已经完成了前两个项目,并且能够识别数字和字符,这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的,排列在四个文件夹中。

4.ImageNet ( http://image-net.org/ ) 现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前,该集合平均每个节点有超过500个图像(而且还在增加)。

六.文本分类数据集

1.Spam – Non Spam (http://www.esp.uem.es/jmgomez/smsspamcorpus/) 区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。

2.Twitter Sentiment Analysis (http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/) 该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。

3.Movie Review Data (http://www.cs.cornell.edu/People/pabo/movie-review-data/) 这个网站提供了一系列的电影评论文件,这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如,“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。

七.推荐引擎数据集

1.MovieLens ( https://grouplens.org/ ) MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。

2.Jester (http://www.ieor.berkeley.edu/~goldberg/jester-data/) 在线笑话推荐系统。

八.各种来源的数据集网站

1.KDNuggets (http://www.kdnuggets.com/datasets/index.html) KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面,但是某些来源不再提供数据集。因此,需要谨慎选择数据集和来源。

2.Awesome Public Datasets (https://github.com/caesar0301/awesome-public-datasets) 一个GitHub存储库,它包含一个由域分类的完整的数据集列表。数据集被整齐地分类在不同的领域,这是非常有用的。但是,对于存储库本身的数据集没有描述,这可能使它非常有用。

3.Reddit Datasets Subreddit (https://www.reddit.com/r/datasets/) 由于这是一个社区驱动的论坛,它可能会遇到一些麻烦(与之前的两个来源相比)。但是,您可以通过流行/投票来对数据集进行排序,以查看最流行的数据集。另外,它还有一些有趣的数据集和讨论。

九.结尾的话

我们希望这一资源清单对于那些想项目的人来说是非常有用的。这绝对是一个金矿,好好加以利用吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_776541.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python实现网站测速软件_Python爬取招聘网站数据,实现可视化交互大屏,让你一目了然...

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者:黄伟呢项目背景随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对…

Flask项目之手机端租房网站的实战开发(六)

说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 接着上一篇博客继续往下写 :https://blog.csdn.net/qq_41782425/article/details/85858348 目录 一丶补充 二丶短信验证码前端编写 三丶…

ASP.NET Core 2.0 使用支付宝PC网站支付

前言 最近在使用ASP.NET Core来进行开发,刚好有个接入支付宝支付的需求,百度了一下没找到相关的资料,看了官方的SDK以及Demo都还是.NET Framework的,所以就先根据官方SDK的源码,用.NET Standard 2.0 实现了支付宝服务端…

python 爬取图片、没有后缀名_初学Python-只需4步,爬取网站图片(附py文件)

很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来。尤其是做我们这一行,产品经理,电商行业。领导:弄一个买卖游戏周边商品的交易APP出来。我:行,那我们卖什么呀?领导&am…

python 实现爬取网站下所有URL

python3 实现爬取网站下所有URL获取首页元素信息:首页的URL链接获取:遍历第一次返回的结果:递归循环遍历:全部代码如下:小结:python3.6 requests && bs4 采用递归方法,最终爬取网站所有…

企业网站托管外包公司有哪几种形式?

所有的企业网络营销都离不开网站,网站是基础也是核心。试问一句如果企业没有网站维护人员,那么企业选择网站托管公司网站托管公司又包括哪些内容呢?1网站策划任何一个企业的网络营销工作都是从网站策划开始的,前期网站策划的好坏直接影响着后…

自动化测试 (一) 12306火车票网站自动登录工具

还记得2011年春运,12306火车票预订网站经常崩溃无法登录吗。 今天我们就开发一个12306网站自动登录软件。 帮助您轻松订票 通过前两篇博客Fiddler教程和HTTP协议详解,我们了解了Web的原理. Web的原理就是,浏览器发送一个Request给Web服务器…

如何做一个大数据seo人员

作为流量运营者或者SEO人员,对于所从事行业领域的认识往往建立在一种直觉之上,我们很难对一个行业有一个全面的了解,这个行业领域有多宽,流量聚焦在哪里,那些是用户最关心的问题? 有的时候很难准确的把握&a…

7年测试工程师经验,浅谈一下如何测试一个web网站?

最近有工作了一年多的朋友在问我,一个web页面到底怎么测试?我的第一感觉是震惊,天天做web测试,咋还不知道怎么测试呢?再仔细一想,可能是我们每天忙于测试而忽略测试导致的,毕竟当局者迷&#xf…

dz论坛Discuz_X3.4最新网站漏洞

近期我们sinesafe安全部门审计discuz最新版的时候发现配置文件写入导致代码执行的问题。cms安装的时候一般会分为几个步骤去进行,其中有对配置文件config进行写入的步骤,当写入的时候未严格限制传入的参数就存在代码执行问题。 源码信息:Disc…

软件测试:测试一个网站

一、软件测试的原则 1、软件测试应尽早执行,并贯穿于整个软件生命周期 2、软件测试应追溯需求 3、测试应由第三方来构造 4、穷举测试是不可能的,要遵循 Good-enough 原则 5、必须确定预期输出(或结果) 6、必须彻底检查每个测试结果 7、…

网站流量下降的6个原因

网站流量下降的6个原因 有时网络流量会发生变化。有时是最好的。有时候不是那么好。诊断流量变化的原因并不困难。以下是如何控制网络流量以帮助其保持增长。 1.移动范式影响流量 移动正在改变搜索习惯。越来越多的企业注意到搜索模式正在发生变化。这是因为我们正在寻找人们搜…

web网站常用功能测试点总结

一、输入框 1.字符型输入框: (1)字符型输入框:英文全角、英文半角、数字、空或者空格、特殊字符 “~!#¥%……&*?[]{}” 特别要注意单引号和&符号。禁止直接输入特殊字符时&#xff0c…

基于web网站项目的性能测试结果分析

一款对并发要求比较高的web项目,需要对其压力测试,模拟线上可能存在的问题 工具描述: 压力工具:Loadrunner 服务器监控:nmon 数据库:oracle web容器:Tomcat war 项目就好像是一个木桶&…

Linux中什么是动态网站环境及如何部署

当谈论起网站时,我们可能听说过静态和动态这两个词,但却不知道它们的含义,或者从字面意思了解一些却不知道它们的区别。这一切可以追溯到网站和网络应用程序,Web应用程序是一个网站,但很多网站不是Web应用程序&#xf…

微服务 | 微服务网站性能测试

开发者们在工作中经常会遇到过这样的情况:在接手实际项目时,在传统的单体架构下,一个同事负责的功能模块出现故障后,会导致整个系统瘫痪。那么有什么办法才能解决这种问题呢?云上有一种服务——微服务,可以…

九度搜索引擎点击优化_快排会影响到seo优化排名吗?

今天,在seo优化中被人们常提起的就是“快排”,它的出现对seo行业整体冲击很大,不过很多的从事seo优化的站长又说,这种优化方式属于作弊手段,一旦网站做了快排,被搜索引擎发现很容易会惩罚网站,导…

cdn对php网站的加速效果,配置七牛自定义域名cdn加速,让你的网站飞起来

之前发过一篇是没有备案的,使用测试域名来缓存静态文件,效果也是杠杠的。如果你还没有备案,先看这篇文章吧,域名没备案使用七牛cdn加速 。步入正题了(为了节约博主发文的时间,尽量少用文字,多以图片展示&am…

怎么建文件夹_用 GitHub Pages 建个人网站的小白级教程

前段时间心血来潮想建一个个人网站,调研了一圈,试用了 Weebly、Wix、Squarespace 等等产品,感觉都没有办法满足我的奇葩需求……最终还是觉得 GitHub Pages 是最好的——自由、免费、流量够用,目前的访问速度也还不错,…

jsp mysql 注入_Jsp+Mysql网站注入并拿root权限的全过程

很多人可能都知道asp,php的编程要防止sql注入漏洞,而并不知道jsp编程同样也需要防备sql注入漏洞.其实,一旦jsp代码有注入漏洞,将直接影响到整个系统的安全。本文就是主要展示一下我的一次JSPMYSQL注入导出webshell的过程。www.***.***.cn是国内某一个著名研究所的网站&#xff…