网学之家(5588net.com) - 执着关注互联网技术!

网学之家|5588net.com

当前位置: 主页 > 数据库 >
  • [hadoop教程] Hadoop计算能力调度器算法解析(转) 日期:2014-05-05 21:26:42 点击:101 好评:0

    1. 编写目的 本文描述了hadoop中的计算能力调度器(Capacity Scheduler)的实现算法,计算能力调度器是由Yahoo贡献的,主要是解决HADOOP-3421中提出的,在调度器上完成HOD(Hadoop On Demand)功能...

  • [hadoop教程] 基于hadoop的crc校验谈hadoop的离线设计思想 日期:2014-05-05 21:26:42 点击:110 好评:0

    前言 hadoop比较适合做离线处理,这个是众所周知的,而且hdfs为了保证数据的一致性,每次写文件时,针对数据的io.bytes.per.checksum字节,都会创建一个单独的校验和。默认值为512字节,...

  • [hadoop教程] HDFS namenode源码分析 日期:2014-05-05 21:26:40 点击:81 好评:0

    Namenode的介绍 一个典型的HDFS系统包括一个NameNode和多个DataNode。 NameNode作为HDFS中文件目录和文件分配的管理者,它保存的最重要信息,就是下面两个映射: 文件名=>数据块 数据块=>Dat...

  • [hadoop教程] Hadoop在MapReduce中使用压缩详解 日期:2014-05-05 21:26:40 点击:81 好评:0

    hadoop对于压缩文件的支持 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应...

  • [hadoop教程] HDFS datanode源码分析 日期:2014-05-05 21:26:38 点击:91 好评:0

    atanode的介绍 一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。 每个DataNode周期性和唯一的NameNode通信,还时不时和hdfs客户端代码以及其他...

  • [hadoop教程] HDFS数据的Checksum 日期:2014-05-05 21:26:37 点击:91 好评:0

    Datanode在把数据实际存储之前会验证数据的校验和. client通过pipeline把数据写入datanode. 最后一个datanode会负责检查校验和. 当client从datanode读取数据时,也会检查校验和: 把真实数据的校和合...

  • [hadoop教程] Hadoop计算能力调度器应用和配置 日期:2014-05-05 21:26:35 点击:129 好评:0

    需求 公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心...

  • [hadoop教程] Hadoop开发常用的InputFormat和OutputFormat 日期:2014-05-05 21:26:35 点击:113 好评:0

    在用hadoop的streaming读数据时,如果输入是sequence file,如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话,读入的数据显示的话为乱码,其实是因为读入的还是sequenc...

  • [hadoop教程] hadoop之failed task和killed task 日期:2014-05-05 21:26:32 点击:113 好评:0

    failed task可理解为自杀,也就是task本身出了问题而自杀;killed task可理解为是他杀,也就是jobtracker认为这个任务的执行是多余的,所以把任务直接杀掉。起初用hadoop的时候经常在一个...

  • [hadoop教程] Hadoop的调度器总结(转) 日期:2014-05-05 21:26:31 点击:127 好评:0

    随着MapReduce的流行,其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调...

  • 首页
  • 上一页
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 下一页
  • 末页
  • 54540
栏目列表
推荐内容