网学之家(5588net.com) - 执着关注互联网技术!

网学之家|5588net.com

当前位置: 主页 > 数据库 >
  • [hadoop教程] hadoop SecondaryNameNode和NameNode 日期:2014-05-05 21:26:53 点击:108 好评:0

    1.概述 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。 其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解...

  • [hadoop教程] hadoop 根据SecondaryNameNode恢复Namenode 日期:2014-05-05 21:26:51 点击:88 好评:0

    增加 propertynamefs.checkpoint.period/namevalue3600/valuedescriptionThenumberofsecondsbetweentwoperiodiccheckpoints./description/propertypropertynamefs.checkpoint.size/namevalue67108864/valuedescriptionThesizeofthecurrenteditlog(inbytes)t...

  • [hadoop教程] HDFS 安全模式 日期:2014-05-05 21:26:49 点击:89 好评:0

    NameNode在启动的时候首先进入安全模式,如果 datanode 丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct(缺省值...

  • [hadoop教程] Facebook团队关于Hadoop/HBase在SSD上的实验和讨论 日期:2014-05-05 21:26:49 点击:96 好评:0

    硬件技术的发展给存储和数据库软件技术提供了新的机会。近年来SSD开始流行,那么SSD能否给Hadoop/HBase带来性能的提升呢?来自Facebook数据团队的工程师们做了相关的研究和实验工作。...

  • [hadoop教程] hadoop的dfs.replication 日期:2014-05-05 21:26:48 点击:89 好评:0

    首先 dfs.replication这个参数是个client参数,即node level参数。需要在每台datanode上设置。 其实默认为3个副本已经够用了,设置太多也没什么用。 一个文件,上传到hdfs上时指定的是几个副...

  • [hadoop教程] HADOOP动态加载配置 日期:2014-05-05 21:26:47 点击:91 好评:0

    简介 Hadoop集群运行过程中有时会需要对配置进行修改,而通常需要重启才能生效,如该HDFS Namenode的一个配置,需要重启NN才能生效。而对于规模较大的系统,重启的成本较高。HADOOP-7...

  • [hadoop教程] Hadoop回收站trash 日期:2014-05-05 21:26:46 点击:103 好评:0

    Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了 1.修改conf/core-site.xml,增加 fs.trash.interval 1440 Number of minutes between...

  • [hadoop教程] hadoop作业调优参数整理及原理(转) 日期:2014-05-05 21:26:45 点击:90 好评:0

    1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行...

  • [hadoop教程] eclipse下编译hadoop源代码(转) 日期:2014-05-05 21:26:45 点击:135 好评:0

    hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译、打包。 下面将详细描述如何从...

  • [hadoop教程] hadoop升级 日期:2014-05-05 21:26:44 点击:151 好评:0

    1.运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份(在升级Hadoop前,如果已经存在备份,需要先结束 finalize 它。) 2.备份dfs.namenode.dir下文件,同时要备份下...

  • 首页
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 下一页
  • 末页
  • 54540
栏目列表
推荐内容