Total Pageviews

Monday, 12 September 2016

大数据的阴影

这是一个大数据的时代,商业、社会管理、科研、创业,言必称大数据。
大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出,指不用随机分析法(抽样调查)的捷径,而是采用所有数据进行分析处理。所以,大数据区别于以往的数据收集的最本质区别是,抛弃人类之前限于成本的的抽样分析方法,而是存储一切,分析一切。
大数据的理解
这种“数据全存”的收集,在互联网,甚至是移动互联网出现之前的时代是不可想象的。现在,随着储存能力、计算能力、互联网与移动互联网、智能手机的深入生活,收集数据的技术发达,充满生活中的各个场景,“把数据全部存起来”成为一种可能。
数据虽然存起来了,但如何理解数据,却成为一个问题。
在大数据的热潮中,人们开始相信,只要足够好的技术,足够多的数据,计算机能够比人更了解他们的自己。
有一个非常经典的例子。一位男性顾客到全美第二大零售商塔吉特店中投诉,声称商店竟然给他还在读书的女儿寄婴儿用品的优惠券。后来发现,女儿真的已经怀孕了。这被宣扬成为数据比人更理解人的例子。
实际上,情况恰好相反。商场知道女儿怀孕,无非是收集了顾客的消费数据发现规律。比如,孕妇在怀孕头三个月过后会购买大量无味的润肤露;在头20周,孕妇会补充如钙、镁、锌等营养素;当女性开始大量采购无味肥皂和特大包装的棉球时,说明她们的预产期要来了。然后,凭借这些信息,商场提前邮寄相关促销信息。
实际上,并不是大数据更理解人的例子,甚至反应了机器的愚蠢,自作主张,把婴儿的优惠用品寄给了还在读书的女儿,而且还寄到了她家里。当然,预测模型可以加入变量,比如年纪、职业、婚姻状况来避免尴尬。但是,人是复杂的,有很多非理性因素,无法加入所有变量。
大数据与计算能力的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理,必须采用分布式架构,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘。但是,这种模式的计算能力仅是在数量上的增加。如果仍然是把数据放入模型,抽样虽然并不时髦,但边际效应仍然有效,少量的数量就能达到与大数据差不多的效果。
所以,只有应用各种新的数据处理方法,“数据”才能成为“大数据”,才能从中发掘出新的意义,进而产生新的价值。机器计算相比大脑的优势在与对于巨量数量的处理,如果机器也同时也能具有大脑的逻辑、分析、判断、联想、想象、情感能力,则可以轻易超越大脑的智能。
目前,依靠神经网络的机器学习,人工智能已经初步崭露头角。在这种方法之下,随着数据量的积累,系统会越来越好。相比过去人工智能的方法很难受益于数据量的提升,新的方法之下,20%的贡献来自方法的改进,80%来自数据量的提升,从而实现依靠数据量推动的,系统从量变到质变的飞跃。
但是,遗憾的是,机器的自主学习,自主对数据的理解,目前还限定在给定的范围内。目前的机器学习,基于模仿大脑神经的反馈机制,依据历史经验,人类的所有仿生工程学上的成功,取得飞跃,都是在彻底弄清楚生理过程的机制之后,比如,粗浅的模仿鸟的飞翔,可以造出飞行器,但飞机的基础,是空气动力学。现在人类大脑的脑科学的发展程度还远远不够,甚至可以说对大脑的运行过程知之甚少。从这个角度看,人工智能理解大数据还为时尚早。所以,人类对于大数据的利用,目前来看,基本上还是基于收集技术上的发展。基于大数据的人工智能,未必有那么乐观。目前看来,大数据还没有走出数据处理能力阴影的迹象。
大数据与隐私
不过,即使如此,变化早已发生。
这是一个大数据的时代,人人都在电子空间中留下了自己的痕迹。早上起来,打开手机,手机不断与基站联系,机主大概在什么地方,经过了些什么地方,就留下了痕迹;在路上,打开手机浏览器又再次留下cookie数据,浏览了些什么网页,很可能被别有用心者收集;或者交通卡,从哪里进哪里出,也被服务器记录;中午,吃了什么,信用卡可以查询到消费的场所,而饭店的记录,甚至能精确到吃了什么菜,几个人;在上班的时候,使用聊天工具,可能留下痕迹,很多单位,也有记录员工操作的软件;下班了,打车软件、聊天软件都可以上传GPS数据;晚上,在哪里开了房,不但有消费数据,也有摄像头精确记录。这些数据综合起来,不但可以清晰的描述一个人的生活轨迹、行为、甚至连爱好,乃至不愿意被人发现的隐私,在别有用心的收集之下,都是清清楚楚的。
不留下这些数据,个人在现在的技术社会中,就难以舒适生活,甚至难以生存下去。因为手机、出行、聊天、支付,乃至整个现代生活都是建立在这些数据之上的、不留下数据,就无法生活。这就是所谓的大数据时代,我们就生活在这样一个时代。
需要指出的是,这些数据,应该是与身份分离的。简单的说,就是收集数据的平台,即使能知道每天城市所有人的出行轨迹,但是,他们必须不能知道,每一条出行的轨迹所对应的人的身份。但是,实际情况却是,信息的泄露比比皆是。
实际上,在现代技术社会中,公民不被监控,只是由于不值得监控,或者在监控系统的概率之外。决定这个概率大小的,是监控系统的成本,比如硬件成本、软件成本,人员成本,乃至部门间的沟通、行政成本。成本变小,公民被监控的机率就会越大。大数据极大的降低了这一成本。这虽然带来了安全,却同时减损了公民的自由。
在911袭击后,美国政府为阻止恐怖主义已经涉足大规模数据挖掘。在《爱国者法案》的授权之下,前国家安全顾问约翰·波因德克斯特领导国防部整合现有政府的数据集,组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人的大数据库。比如,FBI调查人员秘密从美国各大图书馆搜集读者详细的读书记录,以判断是否受恐怖主义感染。该项目在一年后因国会担忧公民自由权而停止。
但是,不难预见的是,在大数据时代,公民的个人隐私与自由,会被越来越多的大数据阴影所包围。
不妨假设一下,2019年,苹果8发布,这时,手机已经不叫手机,而叫个人信息终端,人们可以在这上面完成一切;2025年,打车软件的大数据系统已经不需要个人发出打车需求,你出门的时候,就已经有车停在门口,并且知道你要去哪里;2032年,一个无远弗届的信息收集机制被建立起来,同年,国家统计局改名为国家大数据中心,一切已经不需要统计,一切发生的时候就已经被统计;2050年,市场取消,在大数据与智能制造的配合下,一切个性化的需求都可以被满足;2084年,时间回到100年前。