大数据需要分析云平台

分析这个词，是在大数据或是云计算里面，必须要提到一个战略高度来认识的词。如果你的云计算平台没有考虑如何对存储下来的一些数据进行分析的话，那你存的又是什么？如果你没有办法把这里面的价值挖掘出来的话，你怎么区分一个是金矿，一个是垃圾堆？我存了大量的垃圾能够有用吗？当然，没有用处的。

大数据面临的问题之一就是如何对数据进行快速地采集。数据的采集是非常困难的事情，对比现在的数据库水平和数据增长的趋势，可以看出，数据增长速度比我们现在数据库的处理能力要大得多。

这里，大家可以看到一些耳熟能详的关健词，像Hadoop、MapReduce，像Sybase IQ代表的列式数据库，还有Sybase Event Stream Processor事件流处理器，怎么样对流数据进行实时的加工，都是企业现在需要掌握的一些技术。

大数据的分析还有一些周边的、外延的工具，比如说像Matlab、SAS、SPSS或者现在非常火的Revolution R。开源的里边有Hive、SciPy，Mahout、AMPL等等这些技术，在不同的领域里面都有很多人在研究、在分析着。

信息价值的挖掘有很多方法论和手段，比如说怎么样去做社交媒体的分析，怎么样去做行为分析、情绪分析。还有就是业务场景上个性化的服务、个性化的分析、个性化的推荐等等。

现在的数据库市场在面临这么大的数据，这么复杂的数据类型，以及这么快的变化面前，已经不再是一统天下的格局，没有一个数据库产品，或者没有一种数据库产品可以完全地解决大数据的问题。未来的格局可能是什么呢？

在一个企业或者是像一个IDC这样的架构里边，必须要面临一个工具箱的状态，这个工具箱里面有各种各样的工具，每个工具的体验点都是不一样的，互相之间几乎是不可取代的。现在的数据库市场也面临这样一个格局，很多时候做OLTP，要用行式数据库，做大量的数据分析时要用列式数据库，因为它可以带来十倍、百倍的速度提高。

那么对大数据实时的处理，我们要用做数据流的分析数据库、内存数据库；在手机上或者说一些移动设备上要想做一些小的应用，我们需要一些嵌入式的数据库；还有面向对象数据库等等。在大数据的处理格局下，大家必须要接受这样的一个观点，就是专项的数据库用于解决专项的问题。

分析云需要注意的事项

海量数据分析的云平台，需要注意什么东西？它是按需分配的，这个和传统的云计算概念是很相似的，就是资源就像水龙头里的水一样，人们可以不用去考虑后面的水是如何加工出来的，只需要打开龙头就知道水会流出来。那么现在像SaaS、PaaS、IaaS等等这些技术，必须要做到低成本、高性能。怎么样更好地利用低端的硬件设备，而不是靠垂直扩展，能不能用低端的PC服务器搭成一个集群，将数据用何种方式来分置也好，统一管理也好，这是现在云计算或者说大数据分析必须要解决的问题。

另外，还要有丰富的数据类型的支持。在互联网和电信行业，面临各种各样新的数据类型的产生，企业需要能够处理各种各样的数据类型，同时备份和恢复也是一个容易忽视，但是又非常难、非常重要的一个问题。中国的很多企业在IT架构上，尤其在数据库平台上，都处于一个裸奔的状态，赌天不会下雨，数据库不需要备份。尤其是到上TB甚至几十TB甚至上PB的时候，怎么样做数据备份，怎么样能够持续地给你的用户提供这样的服务就值得思考了。

像亚马逊这样的国外大型互联网企业，他们在灾备或者是复制、恢复这些问题上，都是投入了大量的精力，而且有非常成熟的理论和方向，可供大家借鉴