大数据
Hadoop安装遇到的各种异常及解决办法
Hadoop安装遇到的各种异常及解决办法，在hdfs-site.xml配置文件中，配置了dfs.namenode.name.dir，在master中,该配置的目录下有个current文件夹，里面有个VERSION文件,内容如下。...
Cassandra与HBase的大数据对决-异同分析
Cassandra和HBase是众多基于bigtable技术开源项目中的代表。都是NoSQL数据库，都被设计用于管理非常大的数据集，两者有着众多相似之处，但还是存在着许多重大的区别。...
从火种到核心，浅析Hadoop大数据用户的演变
在Hadoop发展的8年时间里，我们看到一种“使用浪潮”一代又一代用户在相同的时间和类似的环境下使用Hadoop。每一个在数据处理时使用了Hadoop的用户，都面临着类似的挑战，为了让一切正常运转，要么被迫协同工作，要么干脆隔离。接下来...
Teradata：Hadoop虽大有裨益 开源市场仍欠稳
一些金融分析师们对Teradata公司在IT市场上的持续发展能力提出了质疑。虽然这部分客户确实将Hadoop提上了议事日程，但如果拥有数十年历史的数据仓库供应商都认为难度很大、客户们往往只会选择放弃。“更重要的是破除炒作带来的误解而非在现实层面...
Pivotal最新大数据套件上市
Pivotal宣布Pivotal大数据套件(Pivotal Big Data Suite)上市,定价极富竞争力，订购价格以两年或三年为期限，视内核数量不同而不同。...
Hadoop集群环境下的网络架构的设计与优化
大数据时代，研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。大数据...
Hadoop虽然强大，但不是万能的
在下面这几种场景就不适合使用Hadoop：1、低延迟的数据访问Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应，这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库，可以尝试一下...
Hadoop 技术在电信运营商上网日志处理中的应用架构
Hadoop 技术在电信运营商上网日志处理中的应用架构方建国一、电信运营商上网日志处理的现状在移动互联网如此普及的今天，每天会产生大量的上网日志，这些上网日志由于数据量巨大，产生后只能被保留3 天，就因为存储空间等原因被丢弃。目前，电信运营商只能基...
AWS领跑云市场 开源数据库各显神通
亚马逊领跑云市场 微软大打亲和牌这周对于亚马逊来说，应该是“悲喜交加”的一周。首先，AWS在中国的首次市场培训活动在北京拉开帷幕，来自全国各地的近400参会者让会场座无虚席，开了“AWS中国行”的好兆头。...
Hadoop 平台在金融银行业的应用架构
Hadoop 平台在金融银行业的应用架构薛强彦一、金融银行业现状随着我国金融银行业的发展和网络通信基础设施水平的提高，金融银行业信息化已经逐渐普及，但是随着互联网技术和应用的飞速发展，许多新兴的支付方式不断涌现，金融银行业的数据信息量也在快速增长...
优酷土豆Hadoop 平台开放之路（1）
优酷土豆Hadoop 平台开放之路(1)傅杰背景早在2011 年之前，只有优酷网数据团队在使用Hadoop。两年间随着Hadoop 技术的推广以及大数据的影响，越来越多的领域都在使用Hadoop，公司的其他团队也在逐步引入Hadoop 技术。201...
如何利用Mahout和Hadoop处理大规模数据
利用Mahout和Hadoop处理大规模数据规模问题在机器学习算法中有什么现实意义?让我们考虑你可能需要部署Mahout来解决的几个问题的大小。据粗略估计，Picasa三年前就拥有了5亿张照片。 这意味着每天有百万级的新照片需要处理。一张照片的分析本身...
优酷土豆Hadoop 平台开放之路（2）
优酷土豆Hadoop 平台开放之路(2)引入KerberosHadoop 在1.0 以后的版本中支持了Kerberos，我们将Kerberos 安全认证开启，上述描述的相关问题都能得到解决。下图所示为Kerberos 的主体结构图，包括Identity...
机器学习对大数据应用贡献非凡
机器学习对大数据应用投资回报的贡献主要体现在两个方面：一是促进数据科学家们的多产性；二是发现一些被忽视的方案，有些方案甚至遭到了最好的数据科学家们的忽视。...
HDP新版本让Hadoop真正成为企业级数据平台
Hadoop欧洲地区峰会上，Hortonworks公布了Hortonworks Data Platform （HDP）2.1版本。这一Hadoop发行版的升级版本新增了数据治理、安全、流处理和搜索等新企业功能。...
Hadoop连载系列之六：数据收集分析系统Chukwa
系列几篇文章中介绍了分布式存储和计算系统Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。当Hadoop集群的数量达到1000+时，集群自身的信息将会大量增加。Apache开发出一个开源的数据收集和分析系统&mdash...
Hadoop技术:三大巨头领航
在大数据时代，Hadoop技术是最为常见的，随着Hadoop技术应用的逐渐深入，人们对Hadoop的关注也变得炙手可热。我们首先要介绍一点背景知识：Hadoop属于开源Apache项目，任何用户都可以免费下载其核心组件——其中包括H...
九家Hadoop技术企业最值得关注
如果大家手中握有大量数据，那么接下来要做的就是选择一款理想的Hadoop发行版了。作为曾经仅仅为谷歌及雅虎等互联网帝国服务的旧日稀罕儿，如今这款大数据管理系统已经积累起极高的知名度与平民人气、并开始逐步走入寻常企业环境。促成这一现状的原因有二：其...
