Hadoop 气数已尽？

 

Hadoop

让我以悲观的观点开始:Hadoop正在迅速失去市场。我们可以从谷歌的趋势中看到这种现象:

下面的炒作生命周期表也与上面的趋势非常相似:

看来Hadoop正走在炒作地图的下坡路上，即将消亡。我们都知道Cloudera不久前收购了Hortonworks，这意味着市场上两大制造商中只有一家Hadoop制造商。虽然收购成功，但Cloudera在股市远非成功，尤其是6月6日，Cloudera的股价几乎减半:

本质上，市场上只剩下一家主要的Hadoop服务提供商Cloudera。如果我告诉你克劳德拉很久以前并不主要从事Hadoop呢？这是一件有趣的事情:根据互联网档案，“Hadoop”这个词在过去几年里出现在Cloudera主页(http://cloudera.com)上的次数如下:

今天，Cloudera在其网站主页上用粗体字写道:“我们为任何数据提供企业数据云。从边缘到人工智能。我们可以清楚地看到焦点的转移——不再是Hadoop和CDH，也不再是大数据。现在他们做业务云和人工智能，只能在“快速启动虚拟机”链接访问的页面上找到与CDH相关的内容。

但是Hadoop真的很糟糕吗？一点也不！事实上，这不是Hadoop的终结，而是“大数据”炒作。在介绍这个之前，让我们看看阿帕奇火花。

Apache Spark

Apache Spark是乘坐“大数据”末班车的成员之一。以下是Apache Hadoop和Apache Spark的谷歌全球搜索趋势:

从图中可以看出，Spark近年来迅速崛起，与Hadoop并列为大数据最热门的框架。根据这个图表，我们可以清楚地看到它已经达到了“大数据”市场的上限。这意味着不再有横向增长的空间，唯一的出路是纵向增长。这就是为什么我们在2019年不再举行星火峰会，而是一次闪亮的新星火人工智能峰会。

Big Data

大数据是处理大量数据的问题。但是这个词被大肆宣传，现在它有明显的负面因素。在大肆宣传的高峰期，任何东西都可以被贴上“大数据”的标签来促进销售。然而，很明显，“大数据”本身不是一个东西，也没有价值。

“大数据”是几家大型互联网公司在2000年至2005年间面临的一个问题。在那个时候，这是一个非常具有挑战性的问题。没有关于如何处理它的知识，当然也没有开源的解决方案。许多大型互联网公司已经成为这个行业的领导者，并给了我们现在所说的“大数据”:谷歌的GFS、MapReduce和BigTable、雅虎的Hadoop、脸书的Cassandra和Hive、推特的Storm、领英的卡夫卡。大型互联网公司已经发明了新的方法和工具来使用他们必须处理的大量数据来推动这场革命。他们中的许多人已经开放了他们的软件，让全世界都可以使用。这是一个关键时刻，因为它创造了一系列初创企业，其使命是向传统企业销售所有这些解决方案。这些公司包括Cloudera、Hortonworks、MapR和许多其他公司。

围绕“大数据”的炒作很大程度上是由于上述初创公司在营销方面的巨额投资以及传统企业中信息技术人员的短视。营销利用了大型互联网公司生产的“大数据”技术和公司成功之间的联系。他们的营销材料没有直接说明这一点，但其字面意思是“使用卡珊德拉，像脸书一样成功”，“使用卡夫卡，达到领英的规模”，“使用Hadoop，变得像谷歌一样富有”。一般来说，“大数据”不是销售技术，而是向传统公司销售大型信息技术巨头的成功。

正如预期的那样，许多企业正在购买这些技术并在他们的堆栈中实现它们。作为实施的结果，他们通常大胆地宣布他们正在使用“大数据”的力量，并且他们的企业在这个问题上已经取得了进展。然而，通常实现本身更像一个实验——除了主数据处理管道之外，一些小的、孤立的案例甚至可能不会交付给生产，而是保持在PoC或MVP级别。

然而，许多小企业正在从大企业和他们的成功故事中购买这些信息，并将他们的金钱和努力投资于“大数据”。这样，炒作就成了一个大雪球。越来越多的老年人直言不讳或无法说出全部真相。营销人员用他们的话(有时删除重要的背景)来进一步推广他们的解决方案。

一个时代的结束

所以，我不是说一些新的突破性技术已经取代了“大数据”，也不是说Hadoop不再是一种可行的技术，不再值得投资。我所说的是“大数据”时代即将结束，从炒作的高峰期到最低点。人工智能和移动电话的新趋势已经取代了它们。生命的循环又开始了。新技术正在大肆宣传。营销人员销售以技术巨头的成功为代表的新软件，传统企业购买这样的软件，消除了下一个技术泡沫。

Hadoop 时代真的结束了吗?

否！Hadoop是一项伟大的技术，但它本质上是一个好的解决方案，但只有少数企业真正需要它。作为一项技术，它与提供替代大容量存储解决方案的主要云供应商竞争:AWS包括S3，GCP包括云存储，微软包括Azure存储，等等。云计算一点一点吞噬了自建部署市场。在我看来，云计算提供商及其分布式存储解决方案是Hadoop的主要竞争对手。Hadoop在未来将面临更多挑战。