`
lvwenwen
  • 浏览: 930980 次
  • 性别: Icon_minigender_1
  • 来自: 魔都
社区版块
存档分类
最新评论
文章列表

hadoop面试题

1、说说你们公司的hadoop项目?   2、你们项目的集群有多大,有几个节点,总共的数据量是多少?   3、 每天大约有多少数据量?  4、hdfs如何保持数据的一致性?  5、多线程并发是如何开发的?  6,、nio有哪些核心的类?  7、你们是如何解决hive数据倾斜问题的?  8、mapreduce中shuffle的原理
mysql存储过程的例子:  Sql代码   DELIMITER $$      DROP PROCEDURE IF EXISTS `cn_games`.`proc_pay_fill_rule`$$     
身边一个朋友,每天工作内容多但是都不复杂,但都是些特别容易出错的东西,所以每天兢兢战战,做不好又要被领导批评,这种恶性循环导致每天心神不宁,感觉工作是痛苦的, 实在不忍心看到朋友这种焦虑的状态,我们聊了很久总结了以下原因,晒出来,也希望帮助更多的朋友每天工作顺利。   一、工作是生活的一部分 我曾经说过,工作中是不会带入情绪的,也不能影响到工作之外的生活的;我现在觉着这样是不妥的,因为除了睡觉,每天花时间最多的事就是工作,工作成绩的好坏的确会影响到生活质量的。那么我们必须正视这个问题,把工作当做生活的一部分,每个人对待生活都是充满积极、乐观等正能量的,那么我们对待工作应该也是这样。 ...
目录[-] 1.start-all.sh开启线程 2. -ls/-lsr 查看目录下的文件信息 3. –touchz 创建文件 4. –mkdir 创建文件夹 5. -text/-cat查看文件内容 6. -mv 移动/重命名
新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助。 一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下 Incompatible namespaceIDS in … :namenode nam ...
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上: * soft nofile 102400 * hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加        ...
第三周(12.22-12.28) 结合官网来看  12.22 zookeeper的集群安装调通,sqoop,pig 12.23-12.24 hive基础知识 12.25 flume 12.26 hbase,项目实战 12.27-12.28 hbase 项目实战  
http://www.cnblogs.com/200911/p/3922704.html   VM运行时数据区域: 根据《Java虚拟机规范(第二版)》的规定,JVM包括下列几个运行时区域: 我们思考几个问题: 1.jVM是怎么运行的? 2.JVM运行时内存是怎么分配的? 3.我们写的java代码(类,对象
“吃苦耐劳”真的是优良品质吗,与你怎么做相比,老板们应该更关心你做了什么、达到的效果。所以,效率,还是效率,希望这些实用小技巧对大家有所帮助。             1、两分钟法则           如果一件事可以在两分钟内完成,比如回复邮件,一个简单的家务,就立即完成,因为记住它、计划时间、在后来完成它,可能会花费五分钟甚至更多的时间。           2、五分钟法则           拖延症是影响工作效率的大魁首之一,想要治愈它不是给自己定下目标、下定决心去完成一项大任务,而是只在那件事上花五分钟。你会发现在大多数情况下,它在超出五分钟的时候依旧很顺利,因为 ...
Linux日志分析常用命令-备忘  1.查看文件内容 cat  -n 显示行号 2.分页显示 more Enter 显示下一行 空格 显示下一页 F 显示下一屏 B 显示上一屏 less /get 查询"get"字符串并高亮显示 3.显示文件尾 tail -f 不退出持续 ...

箴言(转)

  1、每天晚上12点之前睡觉,早上8点起床 2、努力学习赚钱的本领,钱是生活的保障 3、锻炼身体,身体垮了就什么都没有了,对自己好一点 4、每天提醒自己看下今天都干了什么 5、常回家看看,常给家里打电话,亲情是最珍贵的。 6、交往的人没必要那么多,知己几个足够。不求数量追求质量。
hadoop 学习计划   hadoop中级 (11.5-11.9)   hadoop 高级(11.10-11.16)   hadoop项目 (11.17-11.23)   hadoop 提升,基础巩固(11.23-11.30)
我一直在测试和调整各种生产效率的技术,在过去的五年中,阅读了大量的书籍(其中大多数是重复的) ,这里是我的一些结论: 这不是一个关于时间的问题,而是关于精力。 为了“有效率”,我们试图在一个工作日内塞进尽 ...
 1,事业永远第一   虽然金钱不是万能的,但没有钱是万万不能的,虽然这句话很俗,但绝对有道理,所以30岁之前,请把你大部分精力放在你的事业上.   2,别把钱看得太重   不要抱怨自己现在工资低,银行存款4位数以下,看不到 ...
  曾经有很长的一段时间一直在学习和探索提升工作效率&身心健康的方法。讲讲我个人的经历吧!   加速度(一个电脑的有用程度和它里面装的软件数成反比)   给电脑换上SSD吧,你再也不用为了打开Photoshop而等待一分钟了,只需3秒!   给电脑加条内存吧,开虚拟机再也不用等待菊花了   IDE上哪些从来都不用的Plugin给Remove掉吧   Chrome上打开chrome://memory-redirect/你会惊奇的发现一个再简单不过的Extension也得占用几十M内存,长时间不用的扩展还是删掉吧   开机启动项赶紧T掉(Mac用户不在此列,我们都是几个月不关机的)   ...
Global site tag (gtag.js) - Google Analytics