物联网下大数据是真伪还是隐私?

作者:课课家教育更新于： 2017-06-20 15:30:04

　　数据隐私与访问的讨论在物联网时代变得越来越复杂今天我为大家分享一篇关于数据库的文章，希望大家喜欢，也希望大家做好相关的笔记，接下来跟着我一起进入本篇文章中!

　　在之前一些文章中，我已经警告过一些组织机构机构可能很快就会遭遇数据问题——被锁定、赶出或以其他方式禁止访问，以有助于优化未来业务的关键新数据源的可能性。

　　虽然我相信每个数据驱动的组织机构现在就应该开始规划，以避免最终导致数据不足的问题，但这一担忧只是新的大数据、物联网(IoT)世界中出现的很多潜在的数据问题之一。事实上，获得正确数据的问题将变得更为重要，因为我预测今后将出现一个新的战略数据支持规则和流程，不仅仅是管理和保护有价值数据，而且还要确保拥有公司可能需要的所有必要和有效数据，以保持竞争力。

　　除了避免数据不足之外，数据支持意味着IT还需要考虑如何管理和解决数据隐私与真实性中的关键问题。在这个时代分析中正确使用数据的深入讨论尚在填补空白，且仍然未确定，但IT需要为未来几年出现的任何数据政策作好准备。

　　真伪还是隐私?

　　许多人深入探索数据隐私，对于如何最好地平衡数据共享的个人、组织机构或社会效益或者在公共数据和私人数据之间画上红线，我没有任何直接的建议。但是，如果我们从大多数组织机构的角度来看待隐私，那么第一个要求就是要达到规定个人资料控制的法规和合规。这将包括病历、工资和其他人力资源数据。然而，许多商业组织机构保留访问、管理、使用和分享系统中任何东西的权利，还包括由员工存储或创建的任何数据，除非其得到特别保护。

　　如果从事运输业务，使用来自包裹和卡车上的GPS和其他传感器数据。这看似公平，毕竟卡车司机知道他们的雇主正在监控他们的进展和驾驶习惯。但是当组织机构追踪与IoT设备的互动时会发生什么?

　　许多人正在努力使GPS在室内进行工作，表面上作为使用WiFi设备和其他设备的公共服务来帮助三角测量手持设备的位置，而实际上为的是实时定位人群，并绘制详细蓝图。

　　在购物中心，这个跟踪细节从使购物者进入的商店时开始，针对性地展示的广告和优惠以促进交易。业务环境中的这些数据可能会告诉雇主谁在旁边，以及使用者在线查看的时间、收到的电话等等。我们的私人时间是不是也在监控中呢?更不用说这种方式来监控闲暇时间——浴室休息和自动售货机前的选择……但是，如果存在安全风险，这些数据就可能会被取出来分析，或者如果你买了个糖果棒，可以根据数据进行健康指导调整，而一旦有数据存在，就意味着数据可能会泄漏或被盗。

　　诚然，通过聚合和匿名识别这些数据中的信息，有办法确保一些基本的隐私。但是，我们已经知道真正匿名的大数据是非常困难的。累积的物联网数据可以容易地包含可以与公共数据集相关联的深入嵌入的线索，以此恢复识别信息。

　　想像你的汽车报告大部分夜晚停在哪里。或者汽车中的智能部件可以在最后一次维修或升级时跟踪。制造离合器的业务可以了解汽车所有者的家庭住址，从而了解他们的身份，以及其旅行模式和驾驶习惯。

　　数据定义你

　　问题不在于您的恒温器被黑客入侵，或者烤面包机通过家庭防火墙帮助了攻击者们。更深层次的问题是由机器学习算法进行分析，远远超出了您购买的最近供应商和品牌。想象一下，由于您的电动牙刷最近没有安装新刷头，因此必须支付20%-50%保险费。您可能会因为如何加热或冷却房子而被标记某些政治概况。您可能被设定为高风险贷款，因为每周选择多少次与烤面包和百吉饼有一定关联。 今天，一些供应链已经推动嵌入式监控和主动维护，甚至关联组件来支撑其分析链。

　　沃尔玛，为供应商提供了一些销售上的透明度，以换取供应商在店内维护自己的库存。这似乎很好，因为我们买了传统商品，一旦我们把它们带回家，就没有对我们进行跟踪。但现在，新智能设备可以保持连续连接并将数据上传到第三方服务上。谁知道不知不觉中产生了多少和我们有关的大数据?

　　先入门才是硬道理

　　但是我想说的是，对于想了解数据科学而又数学统计底子的人来说，他们必须先对数据有个直观的感受，让他们觉得其实数据科学也不是很难，才能让更多的人涌入到数据科学界。

　　数据科学最终是要根据数据分析出知识进而预测未来。分析(建模)很难，这就会把很多小白，尤其是文科生小白吓到，反正我一开始是被吓到了。

　　我们必须将学习变得有成就感，由易而难，让数据科学之路的开始变得有趣起来才行。

　　现在，企业可以做到一些他们以往没有能力做到的事。对于很多公司来说，可供分析的数据更多，可以用来分析数据的工具和方法也比以前更先进方便。公司已经完全有能力去分析和处理他们收集到的大量数据，这对于企业来说或许是件好事，然而，有时候这些数据也会过于分散。

　　Globys公司的Olly Down表示说，现在，很多公司都倾向于收集精度较高的数据，因为获得的数据越精确，就越有利于分析受众群体，也更有利于公司进行相关战略和产品的调整。不过，公司往往需要花费大量的时间去处理大量的数据，结果却有可能不尽如人意，所以，在进行数据分析处理时，有时候没有必要执着于某一棵“树”长成什么样子，而应该注重这片“森林”，要懂得舍小取大。

　　秘诀三：做好团队的协调

　　在大数据的世界里，最有价值和作用的数据往往十分稀少。要想找到真正有价值的数据，就如同大海捞针一样困难。所以，为了找到这些有价值的数据，企业内部应齐心协力通力合作，要经常保持有效的沟通和协作。

　　例如，为了能更好地利用数据来分析公司的实际运营情况，数据专家们应该了解公司决策者为公司制定的战略目标。反过来也一样，公司决策者也应该知道，公司的数据团队得出的分析结果，最终能给公司带来什么收益。

　　Luzzi 表示，以大数据作为工具，他可以建立模型来帮助公司做出商业决策。由于公司决策者对公司整体运行情况及所处商业环境更加了解，当决策者看到分析结果时，肯定能看到一些他看不到的地方。但同时，决策者们也不会知道他是用什么方法得出这些数据和结果的。

　　Olly Downs也说，公司的数据团队和各部门以及管理层应保持良好的沟通交流，这样公司才能良好高效的运行，有效的协调配合需要通过有效的沟通交流来实现。有一个商业智能团队为预测公司的客户流失率建立了一个模型，由于大家缺少有效的沟通，操作团队认为这个模型“很有趣”，但是公司却认为这个模型没有任何意义。

　　“如果你的公司雇佣了一个数据研究小组，他们宣称自己建立了一个有效的模型，可是公司别的相关部门却认为这个模型没有效果，原因便在于二者之间缺乏沟通。”Downs表示。

　　秘诀四：用机器代替人工

　　机器学习指计算机模拟或实现人类的学习行为，以获取新的知识或技能，从而对自身功能进行改进。机器学习相比人工学习，速度更快，学习规模也更大，一个公司能通过机器学习较快地发现新的问题。

　　比如，为了研究特定消费者的消费行为模式，企业可以研究用什么样的方式对单个消费者进行研究分析，依据不同的消费者选择不同的模型，进而对消费者行为进行追踪研究。公司认为，在单个消费者身上所需的分析时间是10分钟，按照这个速度，公司共有260万消费者需要调查追踪，需要416000个分析员，每天工作10小时，每天观察单个消费者8次，才能得出结果。显然，如果真通过人工分析，那就需要花费太多的时间和精力了。

　　所以，Downs认为，企业如果有大量的数据需要进行分析处理，最好的办法就是让机器代替人工来做，机器学习的速度很快，能在短时间内同时分析大量的数据，这样一来，所需的分析时间就会大大缩短。与人工分析相比，成本也会大大降低。

　　秘诀五：要谨慎对待数据

　　有时，企业是没有能力去获取数据的，也就没法用数据去解决问题。就算公司获得了一些数据，他们往往也不清楚这些数据最终能否解决他们的问题。

　　在这一点上，维亚康姆集团的Luzzi的建议是，一个数据是否有效，是否能帮助公司解决问题，最好询问数据小组的意见。

　　Dunnhumby公司会对消费者数据进行统计和分析，这样一来公司便可以了解到哪些数据是有用的，以及这些数据有多大价值。如果公司能收集到有价值的数据，公司实际经营中遇到的相关问题就能得到有效解决。知名市场顾问公司Dunnhumby的 CEO Andy Hill表示，企业不仅应该了解收集到的数据到底能解决哪些问题，更应该知道，哪些问题还不能通过这些数据得到解决。如果还有一些问题解决不了，公司便需要继续收集其他维度的数据来补充。

　　爬虫-数据科学之路的第一站

　　而这就是数据采集的重要意义，我就是这样，从一个文科生转变成Python爱好者，再变成爬虫爱好者，现在正从爬虫爱好者开始朝着数据科学之路迈进(现在数据会采集了，想学更高深的东西)。

　　虽然水平现在很low，但我已经迈过了文科生转编程这个大门槛，以后遇到再难，我也会觉得没什么大不了的，继续快乐的坚持下去即可。

　　不远的未来，你也可以的

　　人生在世几十年，照着一件事坚持下去，你也可以出彩的，绽放属于你的光彩。

　　而python就是一个很不错的语言，是一门人看的懂得，说人话的语言。

　　坚持一周你就可以入门，喜欢上python;

　　耍一个月，你就会简单的爬虫;

　　元数据管理

　　异常强大的大数据存储和分析功能，来自物联网的低级别数据实时流量，越来越多的AI和深度学习，持久性存储器和升级的芯片嵌入式功能(比如加密)已经摆在面前。由于IT团队的任务是对任何新功能进行操作，因此他们应该记住，建立可支持细粒度数据管理的、面向未来的可扩展架构至关重要。

　　我希望组织机构能发现他们需要创建、存储和使用比今天更多的元数据。此元数据可能包括有关数据使用和访问时间、监管链和出处链接的信息、加密标签、来源可信度、关于可用性的评估，当然也包括通常保留项，敏感性、可访问性与其他监管问题的策略标签。而且，元数据本身就是数据，并且具有自己的访问、隐私和真实性要求，这些需求将递归地传递给元数据。现在令人头疼的时期即将发生。

　　此外，我敢打赌，未来的数据管理产品将会采用微服务，在更接近数据存储的地方实现数据管理和元数据增强功能。在具有设备级持久存储器和无定形混合云的大型分布式IoT数据世界中，重要数据可能存在于任何地方，并以敏捷而流畅的方式流动。事实上，有些人预测重要数据不仅将只在流中生成，而且只能通过处理和持久性以流形式存在。

　　如何在任何时候都能运行，如何管理和保证数据的完整性?那么一来，任何元数据(特别是关于隐私、访问和真实性)将不得不随着数据传播。一个有趣的新兴技术是区块链，它已被用作一些新应用程序中的元数据，通过数字签名帮助确保应用程序数据的来源。 元数据管理功能还需要靠近数据，无论它在哪里，无论去哪里。今天，我们发现新出现的存储产品支持嵌入式“lambda功能”，其中实际存储层(如具有事件触发存储过程的数据库)现在可以直接在存储层中执行任意(包括用户定义)函数到存储的数据(和元数据)。

　　可能需要一段时间才能打造一个积极的、由智能、数据和元数据感知存储的新世界。可能还需要更多的新功能来帮助解决这些问题。例如，由于所有数据都与所有其他数据相关，在某种程度上，最佳的未来管理视图可能是通过图形化元数据库。然而，IT仍然具有相关性，我们必须准备好应对这些新的挑战，使数据中心现代化。小结：大家看完本篇文章偶什么感想么?还有任何不懂的问题，请登录课课家教育平台，我会为您解答!