大数据

部署Hadoop需谨慎考虑

部署Hadoop需谨慎考虑

近些年，Hadoop和“走向大数据分析引擎”一样，受到颇多赞誉。对很多人来说，Hadoop就意味着大数据技术。但其实开源的分布式处理框架未必能解决所有的大数据问题。这就要求想要部署Hadoop的公司慎重考虑——什...

Hadoop部署
大数据时代如何保证hadoop安全

大数据时代如何保证hadoop安全

据统计，未来几年，智慧城市、智能交通、智慧医疗 以及物联网所产生的数据也会铺天盖地而来。这么多的数据中蕴含着非常多的有价值信息，但是我们如何将这些信息提取出来呢?现在通常的方法是利用Hadoop来做，但是，Hadoop其实也不是那么安全。在昨天趋势科技召...

Hadoop教程
Hadoop2.0为Hadoop演绎完美起点

Hadoop2.0为Hadoop演绎完美起点

在很多人的印象中，Hadoop似乎就是大数据的代名词。随着大家深入了解大数据和Hadoop，对其也有了一个更深层次的了解，逐渐认识到Hadoop只是大数据的一个存储工具。 不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶...

Hadoop教程
微软即将开源REEF大数据框架

微软即将开源REEF大数据框架

微软开发出一套名为REEF（即可保留评估执行框架的简称）的大数据框架，并有意在一个月之内将其推向开源。REEF在设计上以下一代Hadoop资源管理器YARN为运行基础，尤其适合完成机器学习类任务。微软公司技术研究员兼信息服务部门CTO Raghu Rama...

Hadoop教程
Hadoop DataNode不能正常工作的原因

Hadoop DataNode不能正常工作的原因

在把Hadoop环境搭建成功，并且也Hadoop的各个组件都正常工作。在重启过几次Hadoop后发现DataNode不能正常工作，打开Hadoop 的后台http://localhost:50030和http://localhost:50070发现Lives...

Hadoop
IBM大数据成“未来新石油”

IBM大数据成“未来新石油”

IBM认为，大数据将成为对于企业而言至关重要的“未来新石油”，成为企业竞争优势的基础，改变企业决策、价值创造和价值实现的方式。记者调查获悉，致力大数据研究和应用及实践，已经成为了很多IT和通信企业的方向，更有行业弄潮儿率先发展相关产业，走在了行...

大数据 IBM大数据
大数据合作竞争 中关村硅谷演新双城记

大数据合作竞争 中关村硅谷演新双城记

随时代发展中关村纷纷建立起云计算、大数据相关产业优势资源整合联盟（中关村云计算产业基地、中关村云计算产业联盟中关村大数据日），不仅突出以中关村为代表的中国本土在迎接第三次IT技术革命浪潮中的优势和实力，也强调了本地区资源在新形势下的技术创新和...

大数据 中关村硅谷
HDFS元数据解析

HDFS元数据解析

1、元数据（Metadata）：维护HDFS文件系统中文件和目录的信息，分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时，没有采用定期导出元数据的方法，而是采用元数据镜像文件（FSImage）+日子文件（edits）的备份机制。2...

Hadoop实战 HDFS
lucene/solr的缺点

lucene/solr的缺点

lucene/solr的缺点 solrlucenehadoop 1) http 请求做了cache，有时候会出现新数据不可见，cache滞后的问题。—cache优化下也不是问题2) admin...

Hadoop部署

科技要闻