什么是大数据?

什么是大数据?

造数 - 跟新一代智能云爬虫一起探索大数据的乐趣

据说,词源出自Alvin Toffler,上世纪70年代的作品《第三次浪潮》。

逝者 | 阿尔文·托夫勒:如何化解未来的冲击

大数据是什么,作为数据采集团队 ,我们很长的时间里一直也在思考,什么是大数据,大数据的前景和价值在哪里。

这篇文章里,我会跟大家一起分享我的看法以及各种有趣的内容和资源,它们关于:

硬广:我们团队的帮助你零门槛采集数据:

造数 - 最好用的云爬虫工具 进击的爬虫工具!

最近都在说裁员,如果想知道互联网裁员潮对就业薪资是不是真的产生了持久的负面影响,可以用我们的工具,帮你定时每天采集几次生成列表看一看。

先听听行家的说法:

大数据就是多,就是多。原来的设备存不下、算不动。

————啪菠萝·毕加索

大数据,不是随机样本,而是所有数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。

_______Schönberger

移步ted:Kenneth Cukier: Big data is better data

曾经人们以为最爱吃的派都是苹果派,不过当你有了更细致的数据,你会发现,苹果派受欢迎其实是一种妥协的结果:苹果派是每个人第二喜欢的口味。

拿到小尺寸派的数据以后你更发现,其实苹果派只能排到第四,第五位的样子了。

你有了更多数据,你就能看到之前你看不到的信息。

大数据最核心的价值是什么? - 商业 - 知乎 推荐@Han Hsiao这篇内容的结构十分清晰,对大数据的正面意义提出了非常清晰地探讨。

大数据听着很牛,实际上也很牛吗? - 人工智能 - 知乎 这里 @陈萌萌说的也特别好,怀疑她是不是真的是一个ai。

大数据最核心的价值是什么? - 商业 - 知乎,依然是这个问题, @刘飞的文章。

大数据是大数据的采集

大数据行业,本身是依托于数据源存在的服务性行业。

大数据最根本之处在于信息收集方式出现了重大变化与革新。大数据的出现与大量信息直接在网络呈现关系非常紧密。

微博、天猫、淘宝、微信等等都直接产生了大量包括定位、消息记录、消费记录、评价、阅读等等殊为庞大的信息,可以说互联网企业都自然的带有数据企业的标签。不过如果我们从数据的源头看的更仔细一些,还是会发现,其实很多数据依然是有巨大的采集与归类的需求。

Joel Selanikio:Transcript of "The big-data revolution in healthcare"

现在人人都说大数据,但其实大家说的是 facebook,twitter,streaming 等等站点上每天产生的信息,做大数据的人呢,会觉得我们有的数据量实在太大了。

(组织信息仍然是最难的问题)

许多有效的数据还完全不在网络上,要依靠原始的方法来收集。数据方面还有很多基本层面的问题在非常多的领域非常明显。

有哪些「神奇」的数据获取方式? - Liu Cao 的回答 - 知乎 看到这里推荐一个 @Liu Cao

的回答。

严澜(lanceyan)的博客 - 技术分享 框架交流 大数据处理 架构搭建 机器人

强烈推荐:如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?其中 @Xiaoyu Ma

工具看这里:大数据分析一般用什么工具分析? - JavaScript - 知乎

最近看到个例子,说pokemon go 带给玩家运动量上的变化:

1、应用中的数据分析示例:·

六个月以后,大部分pokemon go 的玩家的运动量逐渐和 non-player基本一致了。

看来确实是一个能用相当效果的游戏。

2、交通状况大数据分析示例:

Susan Etlinger: What do we do with all this big data?

这里非常有趣

先贴两个新闻观察:

如今,在政策上,国家战略层面上,大数据受到的重视程度都越来越高。

应用场景上,现在分布在:

据野史记载,中亚古国花剌子模有一古怪的风俗,凡是给君王带来好消息的信使,就会得到提升,给君王带来坏消息的人则会被送去喂老虎。从前的人喜欢批评这位君王的天真品性,以为奖励带来好消息的人,就能鼓励好消息的到来,处死带来坏消息的人,就能根绝坏消息。

在今天这个信息爆炸的时代,我们不一定能让信使一定送来好消息,但你可以让我们的爬虫定时给你送来最有用最合你需求的信息。

硬广

造数 - 新一代智能云爬虫