数据的指数级增长促使研究人员寻找新的方式来观察和分析世界。它是关于发现捕获、搜索、共享、存储、分析、呈现数据的新数量级。“大数据”就是这样诞生的。大数据是在数字基础上存储大量信息的概念。

大数据是指非常大的数据集，传统的数据库管理或信息管理工具对其无法真正发挥作用。实际上，人们每天产生大约2.5万亿字节的数据。这些数据来自不同的平台：人们发送的消息、发布的视频、天气信息、GPS信号、在线交易购物记录等。这些数据称为大数据或海量数据。雅虎、Facebook、谷歌等网络巨头是首先部署这种技术的公司。

虽然没有大数据的具体或通用的定义。作为一个复杂的术语，大数据的定义根据社区、用户或服务提供商而有所不同。跨学科方法可以了解不同参与者的行为：工具的设计者和供应者(计算机科学家)，用户类别(经理、企业主、决策者、研究人员)以及专业人士。

大数据是一个双重技术系统。实际上，它既有好处又面临挑战。大数据的到来现在被许多文章描述为一场新的工业革命，类似于蒸汽机(19世纪早期)、电力(19世纪晚期)和计算机科学(20世纪晚期)的产生。另一些人则将这一现象描述为第三次工业革命的最后阶段，实际上这是一个“信息时代”。在任何情况下，大数据都被认为是导致社会深层次变革的根源。

大数据在各行业组织的应用中越来越广泛，而开展大数据项目并不容易。根据NewVantage Partners进行的一项研究，在接受调查的“财富1000强”的企业中，95%的企业在过去五年中实施了大数据项目，但只有48.4%的企业从这些项目中成功获益。

以下是企业面临的一些主要的大数据挑战：

管理数据增长

显然，要克服的最大的大数据挑战之一就是存储和分析所有信息。IDC公司估计，全球各地的计算机系统中存储的信息量每两年翻一番。大多数数据是非结构化的，这意味着它没有存储在数据库中。而照片、文档、视频和音频文件很难分析。

为了克服这个挑战，企业可以使用不同的技术来管理不断增加的数据。在存储方面，融合和超融合的基础设施以及软件定义的存储都证明可以使硬件易于扩展。压缩数据、重复数据消除以及分层等技术还可以减少存储大数据所需的空间和成本。在管理和分析方面，企业可以使用NoSQL、Hadoop、Spark等大数据分析软件，以及商务智能软件、人工智能和机器学习等工具来获得所需的洞察力。

快速生成洞察力

企业不仅希望存储它们生成的大数据，还希望使用大数据来实现他们的目标。根据NewVantage Partners进行的研究，与大数据项目相关的主要目标是减少开支，实施数据驱动的文化和创新，加速部署新功能和服务，以及推出新产品和服务。这些不同的目标可以使企业更具竞争力，但他们需要获得洞察力，并迅速加以利用。

为了帮助他们快速实现，企业可以使用新一代的分析工具，显著减少生成报告所需的时间。他们大量投资分析工具，帮助实时获得结果。通过这种方式，可以尽快响应市场的发展。

招募大数据人才

为了开发和管理能够产生见解的应用程序，企业需要掌握大数据技能的专业人员。事实上，对大数据专家的需求以及为他们提供的薪酬都在大幅增加。

为了解决大数据人才匮乏的问题，企业具有多种选择。他们可以增加预算，招聘人才，并提供工作岗位。其他的选择是培训现有员工学习和掌握大数据，在企业内部培养大数据人才。最后，许多企业购买了自助分析解决方案或机器学习软件，专为没有数据科学背景的专业人士使用而设计。这些工具可以帮助企业克服大数据挑战，并实现目标，甚至无需聘请大数据专家。

整合多种大数据源

各种各样的数据使集成成为最大的数据挑战之一。实际上，数据来自不同的来源：业务应用、社交网络、电子邮件、员工文档......将所有这些数据有效地结合起来，并使用它们来创建报告，对于高级用户来说，数据驱动的洞察力和业务决策支持解决方案可能非常困难。为了解决这个问题，不同的供应商提供了集成工具，旨在简化流程。然而，许多企业承认他们还没有克服这一挑战。

数据验证

数据验证也是大数据的主要挑战之一。许多企业从不同的系统接收类似的数据，这些数据有时是矛盾的。

为了协调这些数据，企业必须使用数据治理。数据治理也带来了各种挑战，事实上，根据AtScale 2016“大数据成熟度调查”，数据流通量是受访者表示增长最快的领域。

解决数据治理挑战通常并不容易。它需要技术和政策变化的结合。但是，一些尝试包括分配人员来监视数据并定义规则和过程。另一种选择是投资数据管理解决方案，旨在简化面向大数据准确性和存储的数据治理。

保护大数据安全

安全性也是大数据领域面对的一个重要问题。商业数据可能对黑客具有吸引力。但是，根据IDG公司的一项研究，只有39%的公司对其数据存储库使用额外的安全措施。一些最主要的附加措施包括访问和身份控制、数据加密和数据隔离。

组织面临的挑战

除了大数据挑战的技术方面，员工还面临大数据的挑战。在试图启动大数据项目的企业遇到的主要挑战中，三个主要问题是组织协调性不足、管理者缺乏理解、业务面临阻力。

因此，要解决这一挑战，必须让商业领袖相信大数据的有用性，并任命一名首席数据官。同样重要的是，企业的高管、董事和经理必须了解大数据带来的机遇，以便他们能够克服各种挑战，并在不断增长的以数据为中心的经济中保持竞争力。