Showing posts with label data mining. Show all posts
Showing posts with label data mining. Show all posts
Wednesday, 30 May 2018
Wednesday, 28 March 2018
月光博客：网传深圳启用酒店大数据抓嫖客，常开钟点房,自动通知派出所
@williamlong
网传深圳启用大数据抓嫖客，通过酒店大数据分析，如果一个人经常开钟点房，后台就认为其可能嫖娼，以后其再开房时，会自动通知附近派出所，一抓一个准。
Monday, 16 October 2017
慎防大数据助长独裁
大数据不是未来课题，当我们开始享受它所带来的众多好处，切不可麻痹在其中，如入鲍鱼之肆，久而不闻其臭。
物联网技术日臻成熟与持续突破，有人估计10年内全世界各种连接到互联网的感应器可能多达1500亿个，这大串数据又交互产生更多内容和信息，超级电脑、人工智能的自我整合与演进将进一步产生多少信息量，以及其中所衍生的意涵，都将远远超过对一个700平方公里智慧国的想象。
全球科技精英近年越来越频繁针对科技迅猛发展所可能造成的各种失控现象发出警告。其中包括广泛的产业转型、人类就业机会的缩减、社会伦理的新挑战、教育和医疗及法律问题等等。
当然也包括民主化课题。大数据科技让各种信息公开化，是“上帝已死”（尼采名言）的最新版本。很多人乐观地认为民众上网就可以查到各种官方信息和记录，对监督政府和政治人物有直接作用，也可以直接反映社会舆论。的确，民主国家社交媒体甚至被形容为“无政府状态”，虽然各种尖酸刻薄占多数，却也有深刻和理性的辩论，在这过程中出现不少意见极端化与对立现象，却没有人会轻率地认为应该终结这些发声的管道。
这一现象的另一面其实更引人担忧。大数据基地的建立几乎只有大型科技企业做得到，在欧美开放社会，这些企业掌握在私人企业家手中，官方要做的是及时制定合适的法律规范，让科技企业在法律范围内运行。科技企业以及行业内部近年自我规范的声音越来越多，由于不同企业间存在技术与商业竞争关系，社会上也有许多独立而自由的专业人士和发声管道，形成一种法律框架内的制衡与自然监督，因此具有可预测的社会伦理关系。
然而在非民主国家，科技的长足进步却给人民带来更多隐忧。这一点在高科技界和西方舆论界有不少讨论。高科技公司如果可以轻易而隐秘地受到政治权力的介入和指挥，为特定政治目的服务，虽未必在短时间造成巨大而广泛的破坏，长远却会对社会国家产生深邃的负面影响。
政治权力缺乏有效制衡或制衡不足的国家，执政者过去要打击异己，必须派人鬼鬼祟祟地跟踪，逮捕后还要神秘拘禁，屈打成招。遇到坚强不屈者，还要制造伪证或干脆炮制成“被死亡”。新科技的联网与便捷则省去这些麻烦，只要控制电信公司，通过手机或其他通讯设备，就能掌控个人大部分行为和社交关系，加上卫星定位和各种感应器，几乎无人可免于监控。
科技做得到这些，不意味科技公司就会这样做，实际上也不大可能有一家规模和制度相对完善的公司会这么做。因为其中涉及各种隐私和安全条例，社会强大的舆论监督，还有公司股东和内部举报机制，科技公司也可能因为行为不当而面对信誉瓦解和公司失败的命运。
但在非民主国家，如果科技公司必须根据政党、政治人物或不受挑战的法律条文的规定，接受政治任务，对个别公民展开监控，甚至造成身体伤害――联网科技完全有能力自行引发电子或机器的故障甚至爆炸――这已经不是一般意义的犯罪，现有的法律制度或许也不足以保护人民。
犯罪动机造成的科技产品意外伤亡，因为背后原因往往需要复杂的技术分析与调查，即便技术领域的人，若不参与其中，也无从解读与判断，而如果政治力量牵涉在动机之中，真相就注定埋没。
这当然是新科技时代可怕的政治画面。不敢面对的人大可说只有屈指可数的异议者会有此遭遇，甚至干脆说“不可能”。然而只要三几宗这样的命案或意外发生，就会迅速引发寒蝉效应，因为一般法医或司法程序很可能根本查不出真实原因，在法律上完全站得住脚，但在民间解读中，这是无从防范的暗杀行为，甚至拿不出喊冤的证据。想想堂堂美国大总统肯尼迪遇刺案，在现在看来那么原始的犯罪，尚且变成悬案，今日科技隔山打牛，内劲哪里来更不可知。
当寒蝉效应扩大，独裁也就在门口。政治独裁必然带来社会全方位的改变，因此问题比其他方面更关键。
美国哥伦比亚大学教授周以真近日在杭州云栖大会对大数据与人工智能可能带来的威胁进行反思。她以FATES这个缩写提出企业负责任操作科技的原则，Fair即公平，A即可靠，Transparency是透明，Ethical是有道德，Safety代表安全。
这些原则已逐渐成为科技界的普遍价值，但在一些社会的政治和法律系统或许还没成为共识。
中国政府要建立全面的个人信用评分体系，近年就引起西方学界注意，它不单像现代商业体系对个人金融信用度的全国信息分享，而是包含更多个人行为的综合评分，例如阿里巴巴的信用体系，收集个人朋友圈、购物习惯甚至社交媒体言论行为等给予打分，这些分数可决定个人贷款、工作、签证等结果。由于其中涉及道德层面，实质推行时更值得关注。
大数据不是未来课题，当我们开始享受它所带来的众多好处，切不可麻痹在其中，如入鲍鱼之肆，久而不闻其臭.
Saturday, 30 September 2017
Thursday, 21 September 2017
大数据在金融领域的应用、风险
央行金融研究所所长孙国峰近日撰文，提出金融行业应用大数据，在风控和征信两方面前景广阔，但需要注意数据垄断、数据孤岛，以及数据安全和个人隐私保护三方面的风险，并建议从个人信息保护立法、信息共享机制建设、市场自律三方面入手，监管和规范金融大数据产业。金融机构通过信用评分模型来定量计算贷款违约的可能性，确定违约的损失分布，以规避风险损失，并根据预测的风险水平进行利率定价。随着中国移动互联网的发展，移动终端累积了海量的用户行为数据，网络交易和社交平台积累的数据可以实现对信用记录空白主体的信用评估。大数据多维度刻画了经济主体的行为特征，从中可以挖掘出额外的信息和关联逻辑。大数据风控相比传统风控模型处理的数据维度更多，还会不断迭代和动态调整模型。大数据征信通过采集个人或企业使用互联网过程中留存的信息数据，并结合线下渠道采集的相关信息来做信用评估。但在金融大数据产业发展的过程中，核心信用数据资源目前掌握在少数金融科技巨头手里，这带来了数据垄断风险；企业出于保护商业机密或节约数据整理成本考虑，不愿意共享数据，一些政府部门也缺乏数据公开的动力，而数据孤岛影响大数据征信模型的公信力，就会带来风险；大数据来源复杂多样加大了用户隐私泄露的风险，个人数据应用的隐私保护是复杂的消费者权益保护问题。孙国峰建议：第一，通过建立个人信息保护的法律制度体系，使大数据产业在数据采集、加工整合利用等各环节依法合规；第二，推动政府信息公开和行业之间信息共享，打破数据壁垒，发挥大数据推动各个行业升级和转型的作用，促进降低信息等多方面的成本，提高经济效率和社会福利；第三，发挥自律组织的作用，推动大数据标准化，使政府信息和不同行业之间的数据可以交互式使用，打破信息共享过程中面临的技术壁垒.
Monday, 12 September 2016
大数据的阴影
这是一个大数据的时代，商业、社会管理、科研、创业，言必称大数据。
大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。所以，大数据区别于以往的数据收集的最本质区别是，抛弃人类之前限于成本的的抽样分析方法，而是存储一切，分析一切。
大数据的理解
这种“数据全存”的收集，在互联网，甚至是移动互联网出现之前的时代是不可想象的。现在，随着储存能力、计算能力、互联网与移动互联网、智能手机的深入生活，收集数据的技术发达，充满生活中的各个场景，“把数据全部存起来”成为一种可能。
数据虽然存起来了，但如何理解数据，却成为一个问题。
在大数据的热潮中，人们开始相信，只要足够好的技术，足够多的数据，计算机能够比人更了解他们的自己。
有一个非常经典的例子。一位男性顾客到全美第二大零售商塔吉特店中投诉，声称商店竟然给他还在读书的女儿寄婴儿用品的优惠券。后来发现，女儿真的已经怀孕了。这被宣扬成为数据比人更理解人的例子。
有一个非常经典的例子。一位男性顾客到全美第二大零售商塔吉特店中投诉，声称商店竟然给他还在读书的女儿寄婴儿用品的优惠券。后来发现，女儿真的已经怀孕了。这被宣扬成为数据比人更理解人的例子。
实际上，情况恰好相反。商场知道女儿怀孕，无非是收集了顾客的消费数据发现规律。比如，孕妇在怀孕头三个月过后会购买大量无味的润肤露；在头20周，孕妇会补充如钙、镁、锌等营养素；当女性开始大量采购无味肥皂和特大包装的棉球时，说明她们的预产期要来了。然后，凭借这些信息，商场提前邮寄相关促销信息。
实际上，并不是大数据更理解人的例子，甚至反应了机器的愚蠢，自作主张，把婴儿的优惠用品寄给了还在读书的女儿，而且还寄到了她家里。当然，预测模型可以加入变量，比如年纪、职业、婚姻状况来避免尴尬。但是，人是复杂的，有很多非理性因素，无法加入所有变量。
大数据与计算能力的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理，必须采用分布式架构，依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘。但是，这种模式的计算能力仅是在数量上的增加。如果仍然是把数据放入模型，抽样虽然并不时髦，但边际效应仍然有效，少量的数量就能达到与大数据差不多的效果。
所以，只有应用各种新的数据处理方法，“数据”才能成为“大数据”，才能从中发掘出新的意义，进而产生新的价值。机器计算相比大脑的优势在与对于巨量数量的处理，如果机器也同时也能具有大脑的逻辑、分析、判断、联想、想象、情感能力，则可以轻易超越大脑的智能。
目前，依靠神经网络的机器学习，人工智能已经初步崭露头角。在这种方法之下，随着数据量的积累，系统会越来越好。相比过去人工智能的方法很难受益于数据量的提升，新的方法之下，20%的贡献来自方法的改进，80%来自数据量的提升，从而实现依靠数据量推动的，系统从量变到质变的飞跃。
但是，遗憾的是，机器的自主学习，自主对数据的理解，目前还限定在给定的范围内。目前的机器学习，基于模仿大脑神经的反馈机制，依据历史经验，人类的所有仿生工程学上的成功，取得飞跃，都是在彻底弄清楚生理过程的机制之后，比如，粗浅的模仿鸟的飞翔，可以造出飞行器，但飞机的基础，是空气动力学。现在人类大脑的脑科学的发展程度还远远不够，甚至可以说对大脑的运行过程知之甚少。从这个角度看，人工智能理解大数据还为时尚早。所以，人类对于大数据的利用，目前来看，基本上还是基于收集技术上的发展。基于大数据的人工智能，未必有那么乐观。目前看来，大数据还没有走出数据处理能力阴影的迹象。
大数据与隐私
不过，即使如此，变化早已发生。
这是一个大数据的时代，人人都在电子空间中留下了自己的痕迹。早上起来，打开手机，手机不断与基站联系，机主大概在什么地方，经过了些什么地方，就留下了痕迹；在路上，打开手机浏览器又再次留下cookie数据，浏览了些什么网页，很可能被别有用心者收集；或者交通卡，从哪里进哪里出，也被服务器记录；中午，吃了什么，信用卡可以查询到消费的场所，而饭店的记录，甚至能精确到吃了什么菜，几个人；在上班的时候，使用聊天工具，可能留下痕迹，很多单位，也有记录员工操作的软件；下班了，打车软件、聊天软件都可以上传GPS数据；晚上，在哪里开了房，不但有消费数据，也有摄像头精确记录。这些数据综合起来，不但可以清晰的描述一个人的生活轨迹、行为、甚至连爱好，乃至不愿意被人发现的隐私，在别有用心的收集之下，都是清清楚楚的。
不留下这些数据，个人在现在的技术社会中，就难以舒适生活，甚至难以生存下去。因为手机、出行、聊天、支付，乃至整个现代生活都是建立在这些数据之上的、不留下数据，就无法生活。这就是所谓的大数据时代，我们就生活在这样一个时代。
需要指出的是，这些数据，应该是与身份分离的。简单的说，就是收集数据的平台，即使能知道每天城市所有人的出行轨迹，但是，他们必须不能知道，每一条出行的轨迹所对应的人的身份。但是，实际情况却是，信息的泄露比比皆是。
实际上，在现代技术社会中，公民不被监控，只是由于不值得监控，或者在监控系统的概率之外。决定这个概率大小的，是监控系统的成本，比如硬件成本、软件成本，人员成本，乃至部门间的沟通、行政成本。成本变小，公民被监控的机率就会越大。大数据极大的降低了这一成本。这虽然带来了安全，却同时减损了公民的自由。
在911袭击后，美国政府为阻止恐怖主义已经涉足大规模数据挖掘。在《爱国者法案》的授权之下，前国家安全顾问约翰·波因德克斯特领导国防部整合现有政府的数据集，组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人的大数据库。比如，FBI调查人员秘密从美国各大图书馆搜集读者详细的读书记录，以判断是否受恐怖主义感染。该项目在一年后因国会担忧公民自由权而停止。
但是，不难预见的是，在大数据时代，公民的个人隐私与自由，会被越来越多的大数据阴影所包围。
不妨假设一下，2019年，苹果8发布，这时，手机已经不叫手机，而叫个人信息终端，人们可以在这上面完成一切；2025年，打车软件的大数据系统已经不需要个人发出打车需求，你出门的时候，就已经有车停在门口，并且知道你要去哪里；2032年，一个无远弗届的信息收集机制被建立起来，同年，国家统计局改名为国家大数据中心，一切已经不需要统计，一切发生的时候就已经被统计；2050年，市场取消，在大数据与智能制造的配合下，一切个性化的需求都可以被满足；2084年，时间回到100年前。
Monday, 25 July 2016
数据科学的运用与学习能力将成为未来公司的分野
不久前，华盛顿大学的机器学习教授卡洛斯•格斯特林（CARLOS GUESTRIN）执掌的公司TURI在旧金山主办了一次数据科学峰会，结果有1600人出席，这表明数据科学引起的兴趣是多么的浓厚。格斯特林提出，所 有软件应用在5年内都将需要内置的智能，使数据科学家——经过培训，能够对海量数据进行分析的人员——成为这一新兴“认知”技术经济中的关键工作者。无论 这种关于数据科学即将无处不在的预测正确与否，目前已有一些核心的关键应用依赖机器学习。把不久前还专属于研究科学家的技术纳入生产级的业务应用程序，代 表了企业竞争力的一种深刻变化。那些炫耀数据科学和机器学习技能的公司——包括优步（UBER）、PINTEREST和QUORA等，都创立于数字时代。 有专业人士称，一些在模拟世界里成长壮大的公司，比如沃尔玛（WALMART），也在大举投资于数据科学领域。但在专业人士看来，它们不太可能赶上亚马逊 （AMAZON）之类公司，这类公司拥有先发优势，并且动作很快。随着相关技术在不同行业推广，随着智能系统发挥越来越关键的作用，这些趋势可能导致行业 领导地位发生天翻地覆的变化。拖累许多传统公司的一个因素，是开展真正的机器学习运作的高成本。英国《金融时报》引述一名知情人士称，在线影片租赁提供商 NETFLIX.COM估计在电影推荐系统这个单一应用上每年就要支出1.5亿美元，而一旦把该公司对相关技术的所有应用都考虑在内，总账单很可能是这一金额的4 倍（6亿美元）。人才是许多非科技公司遇到的另一个问题。尽管数据科学家正大量涌现出来，但有些人技能十分短缺，尤其是在深度学习方面——这是最高形式的 机器学习。业内人士称，在使用数据分析竞赛网站KAGGLE的自由职业计算机科学专家中，仅有大约1000人拥有深度学习技能。然而，适应即将到来的“智 能”应用时代的最大障碍则是文化上的。有些公司，比如通用电气（GE）一直在硅谷打造自己的研发团队，以吸引和开发他们将需要的数字技能。但他们将不得不 把新的数据科学家和机器学习专家安排到运营部门中去，让他们更接近部门经理，才能收获全部好处。从现在开始，所有的经理都将需要在数据引导下做出决策，但 这需要思维模式的彻底改变。尽管转变有难度，但可以肯定的是，对数据科学的应用与学习能力，将成为未来许多公司的分野.
Saturday, 11 October 2014
阿里的大数据及云计算对中国国家安全带来的冲击
如果无视阿里的大数据及云计算对中国国家安全带来的冲击，那么今天为阿里的成功上市而喝彩的中国人，早晚会意识到自己就像一个为自己的插标卖首而鼓掌的傻瓜。
阿里巴巴在纽交所的成功上市，引发了互联网对阿里及马云的赞誉狂潮。而关于阿里的股权结构及其外企身份的讨论，则成为这场舆论狂欢中的一种异样的音调。
作为一位公共管理的研究者，我更喜欢从公共管理的视角来审视阿里巴巴的成长。在此，我只想谈一个问题：从国家的信息安全的角度看，阿里的大数据有多可怕。
先讲一个发生在美国的真实的故事：几年前，一个美国家庭收到了一家商场投送的关于孕妇用品的促销劵，由于很明显促销劵是冲着这个家庭中的那位16岁女孩 来的，女孩的父亲觉得受到了侮辱，于是怒气冲冲地找到了这家商场讨说法。为了平息这位父亲的怒气，商场做出了诚恳的道歉。但数天后，这位父亲赫然发现，其 16岁的女儿真的未婚先孕了。
那家商场之所以能未卜先知地知道该女孩怀孕，是因为该商场通过若干种商品的消费数据建立了一个怀孕预测指数，以此来预知其顾客的怀孕情况。可以说，这只是一个典型的数据挖掘案例。
不过，与马云的阿里巴巴相比，这家美国商场的数据挖掘简直就是小儿科。一方面，阿里巴巴的消费数据覆盖之广、累积之深，全球没有任何一家公司和机构能出 其右；另一方面，阿里巴巴的云计算技术位居业界翘楚，其数据挖掘能力几乎独步江湖。这两项结合起来，使阿里巴巴能够轻而易举地为其用户建立一个细致的个人 档案和并进行精准的行为预测。就此而言，阿里巴巴的大数据和云计算简直就是有史以来最为强大的情报搜集和分析系统——通过其大数据和云计算，中国人的一举 一动及行为偏好都可以尽在其掌握之中。考虑到阿里的股权结构（日资软银占34.1%、美资雅虎占22.4%）和企业国籍（注册于英属开曼群岛），在美国上 市的阿里已不属于中国企业。从国家安全的角度考量，这简直让人不寒而栗。
具体说来，阿里的大数据挖掘至少在以下两个方面可以对国家安全造成威胁：
第一，通过大数据挖掘建立起中国要害人员的个人档案——档主的社会关系、性格禀赋、兴趣爱好、隐私绯闻甚至生理周期和心理缺陷都尽在其中。有了这样一份 个人档案，档主的行为偏好及弱点把柄就会被人洞若观火，威胁利诱等策反手段就能事半功倍。可以想象，如果我国各级军官甚至每一个士兵都被敌对国建立了这样 一份档案，一旦开战，我方必败无疑；如果我们的外交及经济谈判代表团成员都被对方建立了这样一份档案，谈判的结果也不难想象。甚至可以这样说，如果阿里的 大数据能以现在的规模再累积30年，三十年后的中国领导人或许会从阿里的用户中产生。若此，阿里的大数据和云计算，差不多能披露三十年后领导人的个人隐 私。
第二，通过大数据挖掘建立起中国战略资源的流转及节点图。阿里的大数据本身就包含各种商品流转的数据，通过各种商品的流转很容易 分析出国家各种资源的流转，由此绘制出中国各种战略资源的流转及节点图，包括各种战略资源流转的全部流程、转化的产品形态、持有人、关联系统及相关的地 点、时点、数量产能。有了这样一份战略资源的流转及节点图，中国战略资源的薄弱环节就会清晰地展现出来。显然，无论战时还是平时，这样一份战略资源的流转 及节点图都可用作瓦解国家安全的导航图。
还应该指出的是，马云的数据观使阿里的大数据极易为他人或他国所用。马云曾这样阐释过他的数据观：
“数据时代的核心不是分析数据，而是分享数据。信息时代是基于我比别人聪明的基础上面的，你收集了很多数据，然后你编好以后给别人，这称之为信息，处理 过的。数据是相信别人比我聪明，你把原始数据交给别人了，让比你聪明的人去处理，数据还很有意思的一个现象，数据是越用越值钱，它这个不是一瓶水，你们喝 他的水，我喝过以后，不能给别人喝了，这些东西就怕，衣服我穿过了不能给别人穿，数据是我用过以后，你用一下，再增加增值，你用过，他用过再增值，也就是 越用越增值，越用越值钱，分享的越多，它越值钱。我觉得这是我们对数据的理解。”
马云对数据时代的理解及对数据分享的情有独钟，从经 济和技术的角度来看，当然极富洞见；但若从国家安全的角度看，则可能导致灾难。因为如上所述，阿里的大数据已经事关国家安全——尤其在云计算的技术支持 下，阿里的大数据与国家安全的关联更加密切。从这种意义上说，作为阿里掌门人的马云，不仅仅是一家跨国企业的掌门人，也是一个事关中国国家安全的数据库掌 门人——处在这样的位置一味地谈数据分享，谈数据分享后的经济利益，这对他国是福音，对中国却是灾难。
说阿里是一个事关中国国家安全 的数据库并不为过。马云就曾宣称21世纪阿里要作一个伟大的数据公司。今天阿里的大数据与中国国家安全之间的关联，是建立在阿里的数据覆盖面和数据累积深 度的基础之上的。目前，阿里旗下淘宝的注册用户就接近5亿，从而支撑起阿里的消费者数据、制造业数据和供应商数据。至2013年底，阿里旗下的支付宝实名 用户已近3亿（其注册账户早在2012年底即已突破8亿），并成为全球最大的移动支付商；而截止到2014年6月30日，创立仅一年的余额宝用户已超过一 亿，差不多是股市开市20多年后的中国股民的两倍，支付宝和余额宝共同支撑起阿里的金融数据。马云说其未来的进军领域是医疗和文化事业，届时又会形成阿里 关于中国人的体质健康生理数据和心理意识数据。这些数据通过云计算进行挖掘之后，其对国家安全的价值会远远超国家保密局所保密的信息价值。
在此，我们应真诚感谢马云和他的管理团队，其极富创意的合伙人制度使阿里能在一定程度上把作为大股东二股东的日美资本排除于阿里大数据的管理权之外。但 在美国复杂的民商事法律制度的框架下，这种合伙人制度与代表公司所有权的股东之间的角力究竟会鹿死谁手，现在恐怕没有谁能给出一个确定的答案。这也就意味 着，对于马云及其合伙人能否始终掌控着阿里大数据的管理权，绝对是一个大大的问号。
应当申明的是，我虽不是阿里的用户，但绝对无意黑 阿里、黑马云。实际上，我一直认为阿里是中国企业的荣耀——尽管阿里是外资控股，其注册地也不属于中国，但阿里的成功是中国管理者的成功，是中国商人智 慧、勇气及创造力的展现。而且，直到现在我都是马云的粉。阿里的大数据及云计算对中国国家安全带来的冲击，不是阿里的错，更不是马云的错，而是数据时代的 时势使然。但如果看不到这种冲击，或者不能为这种冲击预先做好防范性的制度安排，中国的公共管理者就有失职守。如果真是这样，今天为阿里的成功上市而喝彩 的中国人，早晚会意识到自己就像一个为自己的插标卖首而鼓掌的傻瓜.
阿里巴巴在纽交所的成功上市，引发了互联网对阿里及马云的赞誉狂潮。而关于阿里的股权结构及其外企身份的讨论，则成为这场舆论狂欢中的一种异样的音调。
作为一位公共管理的研究者，我更喜欢从公共管理的视角来审视阿里巴巴的成长。在此，我只想谈一个问题：从国家的信息安全的角度看，阿里的大数据有多可怕。
先讲一个发生在美国的真实的故事：几年前，一个美国家庭收到了一家商场投送的关于孕妇用品的促销劵，由于很明显促销劵是冲着这个家庭中的那位16岁女孩 来的，女孩的父亲觉得受到了侮辱，于是怒气冲冲地找到了这家商场讨说法。为了平息这位父亲的怒气，商场做出了诚恳的道歉。但数天后，这位父亲赫然发现，其 16岁的女儿真的未婚先孕了。
那家商场之所以能未卜先知地知道该女孩怀孕，是因为该商场通过若干种商品的消费数据建立了一个怀孕预测指数，以此来预知其顾客的怀孕情况。可以说，这只是一个典型的数据挖掘案例。
不过，与马云的阿里巴巴相比，这家美国商场的数据挖掘简直就是小儿科。一方面，阿里巴巴的消费数据覆盖之广、累积之深，全球没有任何一家公司和机构能出 其右；另一方面，阿里巴巴的云计算技术位居业界翘楚，其数据挖掘能力几乎独步江湖。这两项结合起来，使阿里巴巴能够轻而易举地为其用户建立一个细致的个人 档案和并进行精准的行为预测。就此而言，阿里巴巴的大数据和云计算简直就是有史以来最为强大的情报搜集和分析系统——通过其大数据和云计算，中国人的一举 一动及行为偏好都可以尽在其掌握之中。考虑到阿里的股权结构（日资软银占34.1%、美资雅虎占22.4%）和企业国籍（注册于英属开曼群岛），在美国上 市的阿里已不属于中国企业。从国家安全的角度考量，这简直让人不寒而栗。
具体说来，阿里的大数据挖掘至少在以下两个方面可以对国家安全造成威胁：
第一，通过大数据挖掘建立起中国要害人员的个人档案——档主的社会关系、性格禀赋、兴趣爱好、隐私绯闻甚至生理周期和心理缺陷都尽在其中。有了这样一份 个人档案，档主的行为偏好及弱点把柄就会被人洞若观火，威胁利诱等策反手段就能事半功倍。可以想象，如果我国各级军官甚至每一个士兵都被敌对国建立了这样 一份档案，一旦开战，我方必败无疑；如果我们的外交及经济谈判代表团成员都被对方建立了这样一份档案，谈判的结果也不难想象。甚至可以这样说，如果阿里的 大数据能以现在的规模再累积30年，三十年后的中国领导人或许会从阿里的用户中产生。若此，阿里的大数据和云计算，差不多能披露三十年后领导人的个人隐 私。
第二，通过大数据挖掘建立起中国战略资源的流转及节点图。阿里的大数据本身就包含各种商品流转的数据，通过各种商品的流转很容易 分析出国家各种资源的流转，由此绘制出中国各种战略资源的流转及节点图，包括各种战略资源流转的全部流程、转化的产品形态、持有人、关联系统及相关的地 点、时点、数量产能。有了这样一份战略资源的流转及节点图，中国战略资源的薄弱环节就会清晰地展现出来。显然，无论战时还是平时，这样一份战略资源的流转 及节点图都可用作瓦解国家安全的导航图。
还应该指出的是，马云的数据观使阿里的大数据极易为他人或他国所用。马云曾这样阐释过他的数据观：
“数据时代的核心不是分析数据，而是分享数据。信息时代是基于我比别人聪明的基础上面的，你收集了很多数据，然后你编好以后给别人，这称之为信息，处理 过的。数据是相信别人比我聪明，你把原始数据交给别人了，让比你聪明的人去处理，数据还很有意思的一个现象，数据是越用越值钱，它这个不是一瓶水，你们喝 他的水，我喝过以后，不能给别人喝了，这些东西就怕，衣服我穿过了不能给别人穿，数据是我用过以后，你用一下，再增加增值，你用过，他用过再增值，也就是 越用越增值，越用越值钱，分享的越多，它越值钱。我觉得这是我们对数据的理解。”
马云对数据时代的理解及对数据分享的情有独钟，从经 济和技术的角度来看，当然极富洞见；但若从国家安全的角度看，则可能导致灾难。因为如上所述，阿里的大数据已经事关国家安全——尤其在云计算的技术支持 下，阿里的大数据与国家安全的关联更加密切。从这种意义上说，作为阿里掌门人的马云，不仅仅是一家跨国企业的掌门人，也是一个事关中国国家安全的数据库掌 门人——处在这样的位置一味地谈数据分享，谈数据分享后的经济利益，这对他国是福音，对中国却是灾难。
说阿里是一个事关中国国家安全 的数据库并不为过。马云就曾宣称21世纪阿里要作一个伟大的数据公司。今天阿里的大数据与中国国家安全之间的关联，是建立在阿里的数据覆盖面和数据累积深 度的基础之上的。目前，阿里旗下淘宝的注册用户就接近5亿，从而支撑起阿里的消费者数据、制造业数据和供应商数据。至2013年底，阿里旗下的支付宝实名 用户已近3亿（其注册账户早在2012年底即已突破8亿），并成为全球最大的移动支付商；而截止到2014年6月30日，创立仅一年的余额宝用户已超过一 亿，差不多是股市开市20多年后的中国股民的两倍，支付宝和余额宝共同支撑起阿里的金融数据。马云说其未来的进军领域是医疗和文化事业，届时又会形成阿里 关于中国人的体质健康生理数据和心理意识数据。这些数据通过云计算进行挖掘之后，其对国家安全的价值会远远超国家保密局所保密的信息价值。
在此，我们应真诚感谢马云和他的管理团队，其极富创意的合伙人制度使阿里能在一定程度上把作为大股东二股东的日美资本排除于阿里大数据的管理权之外。但 在美国复杂的民商事法律制度的框架下，这种合伙人制度与代表公司所有权的股东之间的角力究竟会鹿死谁手，现在恐怕没有谁能给出一个确定的答案。这也就意味 着，对于马云及其合伙人能否始终掌控着阿里大数据的管理权，绝对是一个大大的问号。
应当申明的是，我虽不是阿里的用户，但绝对无意黑 阿里、黑马云。实际上，我一直认为阿里是中国企业的荣耀——尽管阿里是外资控股，其注册地也不属于中国，但阿里的成功是中国管理者的成功，是中国商人智 慧、勇气及创造力的展现。而且，直到现在我都是马云的粉。阿里的大数据及云计算对中国国家安全带来的冲击，不是阿里的错，更不是马云的错，而是数据时代的 时势使然。但如果看不到这种冲击，或者不能为这种冲击预先做好防范性的制度安排，中国的公共管理者就有失职守。如果真是这样，今天为阿里的成功上市而喝彩 的中国人，早晚会意识到自己就像一个为自己的插标卖首而鼓掌的傻瓜.
Saturday, 10 May 2014
用户行为分析
数据采集
- Document.Referrer丢失的几个原因
- IE中window.location丢失的referer
- referer丢失问题的小结--web analytics系列
- 用 js 做 URL 跳转带来的 Referer 丢失问题.
- 细说Google Analytics中的流量来源
- 關於 Google Analytics (分析)
header('location: http://xxx');
<meta http-equiv="refresh" content="2;url=http://xxxx" />
数据挖掘
数据可视化
信息可视化(Information Visualization, 简称 IV) 的本质是从抽象数据到可视结构的映射，用来增强认知抽象数据的交互式的视觉展示。信息可视化的目的不仅仅是可视化，可视化只是一种手段，最终是要实现从可视化中进行数据挖掘，为决策提供服务。
- 数据可视化 Data visualization
- 信息可视化 Information visualization
- @互动百科
- information aesthetics
- visual complexity
- Many Eyes - IBM
- We Feel Fine / Movement
- Labs.digg.com
- Miscrosoft Vibe
- 前言：数据可视化是怎样创造出来的。， （一）现代的数据可视化方法 En， （二）数据可视化和信息可视化 En， （三）数据可视化及信息可视化的设计资源 En
- 数据可视化：4 种方式“看” Twitter
- 17款Twitter相关数据可视化的工具
- A Periodic Table of Visualization Methods - 用元素周期表的形式展现了数据可视化的各种形式，每一种都代表了一种思想，一种思维方法。
- Milestones in the History of Thematic Cartography, Statistical Graphics, and Data Visualization
- Visualization of Stamen Design Studio – 关于一个信息可视化工作室
- HAO Design - 设计研究, 人机交互, 产品, 互联网, 用户
- 如何进行数据可视化设计
- 数据可视化典范：通过Flickr发现城市热点
- Flex Chart Types
- Facebook vs. Twitter
- 趣味数据大盘点之 Twitter 篇
- Mint
- 8个令人叹为观止的基于HTML5的信息图
常见图形
- 折线图(Line Chart)
- 柱状图(Cloumn Chart)
- 条形图(Bar Chart)
- 饼图(Pie Chart)
- 面积图(Area Chart)
- 环形图(Ring Chart)
- 气泡图(Bubble Chart)
- 雷达图(Radar Chart)
- K 线图(Candlestick Chart)
- 甘特图(Gantt Chart)
- 散点图(Scatter Plot)
- 模式图(Patterms)
- 推荐一款可视化的图表工具“Protovis”的经典案例 2
-
protovis
2
@github
- 非常丰富的 JavaScript 可视化工具。
点击热图
- mouseflow.com
- clicktale.com
- clickheat
- 免费的网页点击热区统计工具
- Marmot d2 session - baidu ranklau.
Project
- ChartDirector Chart Component and Control Library.
- jFreeChart @sf.net
- 淘宝数据可视化分享平台
- 淘数据
- InfoViz
- Cytoscape
- http://www.worldshap.in/
Demo
Resources
- prefuse interactive information visualization toolkit.
- Graphviz
- 20+ CSS Data Visualization Techniques
Charts & APIs
- http://code.google.com/apis/chart/index.html
- Google Chart Tools
- Google Wonder Wheel - 神奇罗盘
- JavaScript InfoVis Toolkit - Interactive Data Visualizations for ...
- gnuplot homepage
- Charting
- Open Flash Chart
- JSCharts - The free charts generator.
- YUI2: Charts
-
amCharts: flash charts, stock charting software
- Fusion Charts
- HighCharts
Tools
K线图 (CandleStick)
HeatMap
Videos
Books
- 可视化数据挖掘
- 可视化数据
- Readings in Information Visualization: Using Vision to Think (Interactive Technologies)
数据挖掘
Blogs
Books
Subscribe to:
Posts (Atom)