大数据
不得不用Hadoop进行大数据处理的五大理由
Joe Brightly身为Hadoop的超级粉丝,自己曾经在无数个场合承认自己热爱Hadoop来进行数据处理的理由,比如“可以处理PB级别的数据;可以扩展到数千个处理大量计算工作的节点;可以用非常灵活的方式存储和加载数据…&hell...
从火种到核心 浅析Hadoop大数据用户的演变
在Hadoop发展的8年时间里,我们看到一种“使用浪潮”——一代又一代用户在相同的时间和类似的环境下使用Hadoop。每一个在数据处理时使用了Hadoop的用户,都面临着类似的挑战,为了让一切正常运转,要么被迫协...
Hortonworks为Hadoop发行版新增企业级功能
在近日结束的Hadoop欧洲地区峰会上,Hortonworks公布了Hortonworks Data Platform (HDP)2.1版本。这一Hadoop发行版的升级版本新增了数据治理、安全、流处理和搜索等新企业功能,代表着针对交互式SQL查询的Sting...
Hadoop Streaming编程实例
Hadoop Streaming是Hadoop提供的多语言编程工具,通过该工具,用户可采用任何语言编写MapReduce程序,本文将介绍几个Hadoop Streaming编程实例,大家可重点从以下几个方面学习:(1)对于一种编写语言,应该怎么编写Mapper...
2014年值得关注的10个开源项目
【编者按】如果你认为开源软件的优势是免费和拿来主义,那么你就错了,在当今的软件市场中开源项目越来越耀眼,选择开源软件的最大优势无非是风险低、产品透明、行业适应能力强等等,但是在开源项目领域真正有影响力的企业,绝对是那些为这个项目贡献代码最多...
开源Hadoop发展迅猛 用户与厂商各取所需
就大数据的核心而言,Hadoop是一个用于有效存储和处理大数据的开源架构。多年来,开源初创公司Cloudera和Hortonworks在 Hadoop市场一直占有绝对地位,诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地,但更多是通过与专业的H...
Hadoop的核心思想
Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不下这些数据吗?事实上,确实装不下。比如,很多的电信通话记录就存储在很多台...
hadoop权威指南——IBM与AWS关键看啥?
Hadoop:不是选配而是发展趋势就大数据的核心而言,Hadoop是一个用于有效存储和处理大数据的开源架构。多年来,开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位,诸如Oracle、微软以及其他一些公司也想在这个市场...
联网汽车、BI与Hadoop
福特汽车公司一直走在汽车移动化的前端。这一汽车制造商力图打造最智能化的联网汽车,并把汽车移动化带到一个全新的高度。“我们应该如何把客户在移动设备上得到的体验移植到我们的汽车上?” Jim Buczkowski,福特汽车公司电子电气系统总...
Sahara顺利毕业,将加速OpenStack与Hadoop的融合
OpenStack Sahara(旧称:Savanna)项目的负责人Sergey Lukjanov昨天正式宣布,Sahara从OpenStack孵化项目顺利毕业,将从OpenStack下一版本Juno开始作为OpenStack核心项目之一。Sahara是在20...
大数据处理利器:Hadoop具有五大优势
现在,如果你没有听说过Hadoop,那么你一定落伍了。作为一个全新的开源项目,Hadoop提供了一中新的方式用来存储和处理器数据。大型的互联网公司,如谷歌、Facebook都使用Hadoop来存储和管理它们庞大的数据集。Hadoop也通过在这些领域的应用证明了...
大数据时代你不得不了解的大数据处理工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10...
英特尔放弃自家大数据处理软件Hadoop版本
3月28日消息,据国外媒体报道,科技博客网站VentureBeat获悉,英特尔将宣布停止发行自家开放源代码大数据处理软件Hadoop版本,转而支持快速增长的大数据公司Cloudera的Hadoop版本。知情人士向VentureBeat报料,英特尔旗下投资机...
切勿妄谈Hadoop,以及4个数据管道打造实践
时至今日,大数据这个概念已充斥了整个IT界,各种“搭载”了大数据技术的产品,各种用于处理大数据工具更如雨后的春笋触目皆是。同时,如果某个产品还没抱上大数据的大腿,如果某个机构还没捣鼓过基于Hadoop、Spark、Impala、Stor...
不看不知道:六个超大规模Hadoop部署案例
虽然Hadoop是眼下热闹非凡的大数据领域最热话题,但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点,我们暂且不想猜测这个平台未来会如何,也不想猜测各种数据密集型解决方案的开源技术未来会如何,而是关注让Hadoop越来越火的实...
Hadoop发展历程以及配套项目
Hadoop发展历程是怎样的呢?Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索...
Hadoop:不是选配而是发展趋势
就大数据的核心而言,Hadoop是一个用于有效存储和处理大数据的开源架构。多年来,开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位,诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地,但更多是通过与专业的Ha...
企业大数据领域成为焦点,Hadoop二次开发投融资火爆
Hadoop 软件二次开发企业近期成为了投融资焦点。这不,Hortonworks 刚获得了1亿美元融资。也许 Hadoop软件 相关企业融资消息我们这两个星期已经看了太多,但还是有值得注意的点:Hortonworks 该轮融资领投者包括雅虎。而之前...






















