网学之家(5588net.com) - 执着关注互联网技术!

网学之家|5588net.com

  • [hadoop教程] HDFS的基本概念(转) 日期:2014-05-05 21:55:39 点击:171 好评:0

    HDFS的基本概念 1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普...

  • [hadoop教程] NFS服务对Hadoop(hdfs)集群影响测试(转) 日期:2014-05-05 21:55:28 点击:177 好评:0

    测试环境,系统信息 $uname -a Linux 10.**.**.15 2.6.32-220.17.1.tb619.el6.x86_64 #1 SMP Fri Jun 8 13:48:13CST 2012 x86_64 x86_64 x86_64 GNU/Linux hadoop和hbase版本信息: hadoop-0.20.2-cdh3u4 hbase-0.90-adh1u7.1 10.**.**.12 NFS...

  • [hadoop教程] hadoop集群测量 日期:2014-05-05 21:55:21 点击:208 好评:0

    Is the cluster set up correctly? The best way to answer this question is empirically: run some jobs and confirm that you get the expected results. Benchmarks make good tests, as you also get numbers that you can compare with other clusters...

  • [hadoop教程] How MapReduce Works 日期:2014-05-05 21:55:12 点击:149 好评:0

    一、从Map到Reduce MapReduce其实是分治算法的一种实现,其处理过程亦和用管道命令来处理十分相似,一些简单的文本字符的处理甚至也可以使用Unix的管道命令来替代,从处理流程的角度...

  • [hadoop教程] HDFS dfsclient写文件过程 源码分析 日期:2014-05-05 21:27:31 点击:117 好评:0

    HDFS写入文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk(默认512Byte)组成。Chunk是进行数据...

  • [hadoop教程] hadoop部署注意项 日期:2014-05-05 21:27:24 点击:150 好评:0

    namenode磁盘: sas带RAID,多磁盘存储文件系统元信息. datanode配置: 不带RAID, 双网卡: 一个用于内部数据传输,一个用于外部数据传输. hadoop各节点的分布:namenode和jobtracker部署:namenode与jobtrac...

  • [hadoop教程] hadoop配置文件说明 日期:2014-05-05 21:27:23 点击:137 好评:0

    1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表 4、master 记录运...

  • [hadoop教程] hadoop集群默认配置和常用配置 日期:2014-05-05 21:27:20 点击:119 好评:0

    获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配...

  • [hadoop教程] Hadoop管理员的十个最佳实践(转) 日期:2014-05-05 21:27:17 点击:103 好评:0

    ‍ ‍ ‍ ‍ 前言 接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的...

  • [hadoop教程] Hadoop分布式文件系统:架构和设计要点 日期:2014-05-05 21:27:11 点击:89 好评:0

    摘要:一、前提和设计目标 1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构...

栏目列表
推荐内容