你好,游客 登录
rss订阅 手机访问 
开源技术
大数据处理为何选择Spark,而不是Hadoop
  Spark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。
日期:今 10:45 作者:佚名
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
  在之前的 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapReduce。因此就将spark作为hive的引擎来对hbase进行查询,在成功的整合之后,我将如何整合的过程写成本篇博文。
日期:今 10:43 作者:
零基础学习大数据,搭建Hadoop处理环境
  由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。
日期:今 10:38 作者:
Hadoop跑满状态下的Yarn资源管理谈
Hadoop跑满状态下的Yarn资源管理谈
日期:01月18日 作者:
Hadoop MapReduce优化和资源调度器
Hadoop MapReduce优化和资源调度器
日期:01月16日 作者:溯水心生
Hadoop单步debug追源码
Hadoop单步debug追源码
日期:01月16日 作者:
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
  在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误。我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了。因此写成博客,希望能够帮助那些搭建大数据环境的人解决问题。
日期:01月16日 作者:
HBase在时间序列数据库中的应用
  2017云栖大会HBase专场,阿里巴巴高级技术专家悠你带来题为HBase在时间序列数据库中的应用的演讲。本文主要从时序数据和数据库说起,着重分享了HiTSDB针对时序场景的优化,最后分析了HBase作为底层存储的优势。
日期:01月16日 作者:
HBase最佳实践 – Scan用法
  HBase从用法的角度来讲其实乏陈可善,所有更新插入删除基本一两个API就可以搞定,要说稍微有点复杂的话,Scan的用法可能会多一些说头。而且经过笔者观察,很多业务对Scan的用法可能存在一些误区(对于这些误区,笔者也会在下文指出),因此有了本篇文章的写作动机。
日期:01月16日 作者:
Hadoop大数据分析应用场景
  为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。
日期:01月15日 作者:
Spark SQL在100TB上的自适应执行实践
  SparkSQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的接口来分布式处理结构化数据,在很多应用领域都有成功的生产实践,但是在超大规模集群和数据集上,Spark SQL仍然遇到不少易用性和可扩展性的挑战。
日期:01月15日 作者:
离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务
  CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。
日期:01月11日 作者:
干货:最受欢迎编程语言c与大数据开发实践
  IEEE Spectrum的第三次“最受欢迎编程语言”中,C语言居首,有人说是大数据赢了。本文将探讨c与大数据的开发实践。大数据是使用工具和技术处理大量和复杂数据集合的术语。能够处理大量数据的技术称为MapReduce。
日期:01月10日 作者:
分布式计算框架Hadoop原理
  Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFSHDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。
日期:01月05日 作者:
大数据学习系列之三 ----- HBase Java Api 图文详解
  在上一篇中 大数据学习系列之二 —– HBase环境搭建(单机) 中,成功搭建了Hadoop+HBase的环境,本文则主要讲述使用Java 对HBase的一些操作。
日期:01月04日 作者: