网学之家(5588net.com) - 执着关注互联网技术!

网学之家|5588net.com

当前位置: 主页 > 数据库 >
  • [hadoop教程] Hadoop使用场景(转) 日期:2014-05-05 21:27:08 点击:89 好评:0

    Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面PPT主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个方面: 日志处理...

  • [hadoop教程] Hadoop FS Shell 日期:2014-05-05 21:27:07 点击:86 好评:0

    FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,schem...

  • [hadoop教程] hadoop集群部署 日期:2014-05-05 21:27:06 点击:83 好评:0

    1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile: exportJAVA_HOME=/usr/local/jdk exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH exportPATH=$PATH:$JAVA_HOME/bin 保存,并执行source /etc/profile 2) 配置h...

  • [hadoop教程] Hadoop Shell 讲解 日期:2014-05-05 21:27:05 点击:84 好评:0

    概述 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法: hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS] Hadoop有一个选项解析框架用于...

  • [hadoop教程] hadoop和kerberos的整合总结 日期:2014-05-05 21:27:04 点击:96 好评:0

    由于手上负责的hadoop集群需要对公司外部提供服务,所有会有多个部门访问我们的hadoop集群,这个就涉及到了hadoop的安全性。 而hadoop的安全性是很弱的,只提供类似linux文件系统的帐户...

  • [hadoop教程] hadoop的dfs.umask 日期:2014-05-05 21:27:01 点击:101 好评:0

    通过dfs.umask可以控制在hdfs上创建的文件夹和文件的属性,该值的默认值为0022。 在hadoop中通过dfs.umask参数可以控制默认的文件的权限。 dfs.umask的设置 dfs.umask 0002 这个参数和linux中的um...

  • [hadoop教程] hadoop fs -count的结果含义 日期:2014-05-05 21:26:59 点击:93 好评:0

    最近要对hdfs上空间使用和文件结点使用增加报警,当超过一定的限额的时候就要发报警好通知提前准备。 [sunwg]$hadoopfs-count/sunwg 21108hdfs://sunwg:9000/sunwg 第一个数值2表示/sunwg下的文件夹的...

  • [hadoop教程] Hadoop添加节点datanode 日期:2014-05-05 21:26:57 点击:115 好评:0

    1.部署hadoop 和普通的datanode一样。安装jdk,ssh 2.修改host 和普通的datanode一样。添加namenode的ip 3.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 4.在新节点的机器上,启动服务 [r...

  • [hadoop教程] Hadoop删除节点 日期:2014-05-05 21:26:55 点击:101 好评:0

    集群配置修改conf/hdfs-site.xml文件 dfs.hosts.exclude /data/soft/hadoop/conf/excludes Namesafilethatcontainsalistofhoststhatare notpermittedtoconnecttothenamenode.Thefullpathnameofthe filemustbespecified.Ifthevalueisempty,nohostsare...

  • [hadoop教程] MapReduce源码分析总结(转) 日期:2014-05-05 21:26:55 点击:89 好评:0

    一MapReduce概述 Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是,Map/Reduce是...

  • 首页
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 下一页
  • 末页
  • 54540
栏目列表
推荐内容