ITeye博客

小野bupt的博客

小野bupt · 共 17 篇文章

有关线程中断和线程阻塞

一个线程都要从运行到结束都要经过3个阶段: 1、正在运行 2、准备结束运行 3、结束运行 那么怎么结束这个线程呢?可以通过下面这三个方法结束一个线程。 1、使用stop()方法强制结束线程。 2、使用thread.interrupt()方法发送中断。 3、在Thread对象中设置共享变量,通过在run方法中不断检测该变量的值来决定是否结束。 第一种方法,stop()方法 。 臭名昭著的stop()停止线程的方法已不提倡使用了,原因是什么呢?当在一个线程对象上调用stop()方法时,这个线程对象所运行的线程就会立即停止,并抛出特殊的ThreadDeath()异常。这里的“立即”因为太“立即”了…

2014-05-24 15:49 · 评论(0)

Vector和List 有关线程安全和线程同步的理解

最近在学习的时候,一直很疑惑Vector和List的两个容器的区别。 在网上查了好多资料,知道Vector的许多方法都是线程同步的,在多线程访问的时候,是线程安全的(这里的线程安全是有限的)。而List在多线程访问的时候,是非线程安全的。 原因是由于Vector在好多方法中加入了sychronized关键字修饰。比如addElement方法中: public synchronized void addElement(E obj) { modCount++; ensureCapacityHelper(elementCount + 1); elementData[elementCount++] …

2014-05-23 23:30 · 评论(0)

HashMap解决hash冲突的方法

原文地址:http://xiaolu123456.iteye.com/blog/1485349 在Java编程语言中,最基本的结构就是两种,一种是数组,一种是模拟指针(引用),所有的数据结构都可以用这两个基本结构构造,HashMap也一样。当程序试图将多个 key-value 放入 HashMap 中时,以如下代码片段为例: HashMap<String,Object> m=new HashMap<String,Object>(); m.put("a", "rrr1"); m.put("b", "tt9"); m.put("c", "tt8"); m.put("d", "g7"); m.pu…

2014-05-23 16:21 · 评论(0)

ThreadLocal-分析-总结

原文地址:http://www.iteye.com/topic/777716 ThreadLocal<T>类在Spring,Hibernate等框架中起到了很大的作用,对于其工作原理,很多网上的文章分析的不够彻底,甚至有些误解。 首先,为了解释ThreadLocal类的工作原理,必须同时介绍与其工作甚密的其他几个类(内部类) 1.ThreadLocalMap 2.Thread 可能有人会觉得Thread与ThreadLocal有什么关系,其实真正的奥秘就在Thread类中的一行: Java代码 ThreadLocal.ThreadLocalMapthreadLocals=null; 其中Th…

2014-05-23 08:55 · 评论(0)

StringUtils说明

原文地址:http://abeetle.iteye.com/blog/233896 今天刚发现StringUtils,觉得不错,特意深入了解了一下,做个说明,以供今后参考: 类包是:org.apache.commons.lang.StringUtils Java1.4的文字处理上支持regular expression了。这可是个重量级而方便的东东啊,缺点是太复杂,学习起来有难度。相较而言,Jakarta Commons提供的StringUtils和WordUtils至今还维持着那种简洁而强大的美,使用起来也很顺手。Commons Lang的StringUtils包加入到类路径中。Strin…

2014-05-21 10:33 · 评论(0)

Integer大小的比较

原文地址:http://angelinafan.blog.163.com/blog/static/1361727982011224112444751/ 今天发现一个挺诡异的问题,先来看看下面这段代码: view plain copy to clipboard print ? publicclassTest{ publicstaticvoidmain(String[]args){ Integera=1000; Integerb=1000; System.out.println("a==b:"+(a==b)); System.out.println("a.equals(b):"+a.equals…

2014-05-18 11:44 · 评论(0)

关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”

原文链接:http://my.oschina.net/leejun2005/blog/131744 之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。。。事实果真如此吗? 还是用代码说话: package com.test; import java.util.ArrayList; import java.util.Iterator; import java.util.List; public class T { public static v…

2014-05-17 14:55 · 评论(0)

Hadoop 稀疏矩阵乘法的MapReduce计算

我们在用矩阵处理真实数据的时候,一般都是非常稀疏矩阵,为了节省存储空间,通常只会存储非0的数据。 下面我们来做一个稀疏矩阵: 新建2个稀疏矩阵数据文件sm1.csv, sm2.csv 只存储非0的数据,3列存储,第一列“原矩阵行”,第二列“原矩阵列”,第三列“原矩阵值”。 sm1.csv 1,1,1 1,4,3 2,1,2 2,2,5 2,4,4 3,4,1 4,1,4 4,2,7 4,3,1 4,4,2 sm2.csv 1,1,5 2,2,2 4,1,3 4,2,1 代码: package org.edu.bupt.xiaoye.sparsemartrix; import java.io.…

2014-05-16 15:38 · 评论(0)

Hadoop MapReduce实现矩阵的乘法

算法的实现思路: 图片和思路来自于http://blog.fens.me/hadoop-mapreduce-matrix/ 新建2个矩阵数据文件:m1, m2 m1 1,0,2 -1,3,1 m2 3,1 2,1 1,0 新建启动程序:MainRun.java 新建MR程序:MartrixMultiply.java MainRun.java public class MainRun { public static final String HDFS = "hdfs://10.103.240.160:9000"; public static final Pattern DELIMITER = …

2014-05-16 09:42 · 评论(0)

MyEclipse 打包到hadoop集群上运行MR程序提示ClassNotFoundException的两种原因

今天写MR程序,原来用TextInputFormat改为用KeyValueTextInputFormat类提交到hadoop上一直提示ClassNotFoundException的异常。 百思不得其解,后来查看源码时发现没有KeyValueTextInputFormat的源代码。 这时候我注意到我的集群上hadoop版本号是1.0.0,Win7上的jar包和源代码都是1.0.0. 记得刚开始配机群环境时,由于win7提交到hadoop时 源码有bug导致会导致权限的异常,我曾经把core包换成了1.0.4-modified.jar的包。 应该是这个原因,希望能提供给遇到同样问题的朋友提供一种…

2014-05-14 00:19 · 评论(0)

R语言实现MapReduce的协同过滤算法

原文地址:http://www.tuicool.com/articles/63Ejqi Author:张丹(Conan) Date: 2013-04-07 Weibo: @Conan_Z Email: bsspirit@gmail.com Blog: http://www.fens.me/blog APPs: @晒粉丝 http://www.fens.me @每日中国天气 http://apps.weibo.com/chinaweatherapp RHadoop实践系列文章 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据,R语言完…

2014-05-13 14:14 · 评论(0)

UserCF和ItemCF的联系和区别

原文地址:http://www.douban.com/note/205755213/ 之前一直觉得user-based和item-based差别不大,算法的差异小的我每次和别人说起都解释一下。后来慢慢的才发现丢脸了,其实从物理意义上2者差别大着呢,想想自己以前一直喜欢从物理角度给别人解说算法我就脸红。 UserCF和ItemCF是协同过滤中最为古老的两种算法,早在20多年前就有学着提出来,由于简单,很多网站都应用。以我现在的阅读论文经验来说,youtobe等各大网站应用的算法,概括点说就是在数据清洗阶段不同,数据组织成矩阵存储之后,差不多都是有user-based和item-based的影子…

2014-05-13 11:37 · 评论(0)

MapReduce:默认Counter的含义

原文地址:http://langyu.iteye.com/blog/1171091 MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据。今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我分析下这些默认Counter的含义,方便大家观察job结果。 我的分析是基于Hadoop0.21,我也看过Hadoop其它版本的Counter展现,细节大同小异,如果有差异的地方,以事实版本为主。 Count…

2014-05-12 22:44 · 评论(0)

MapReduce: 提高MapReduce性能的七点建议

原文地址:http://langyu.iteye.com/blog/1171091 Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统,并且它们运行着各式各样用户的代码,这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来,调整cluster或job的运行更像一个医生对待病人一样,找出关键的“症状”,对于不同的症状有不同的诊断和处理方式。 在医学领域,没有什么可以代替一位经验丰富的医生;在复杂的分布式系统上,这个道理依然正确—有经验的用户和操作者在面对很多常见问题上都会有“第六感”。我曾经…

2014-05-12 22:42 · 评论(0)

重写RecordReader和InputFormat实现单个文件不分片,整个分片作为一条记录处理。(倒排索引)

比较简单,直接上代码: 这是MapReduce功能代码: package org.edu.bupt.xiaoye.hadooptest; import java.io.IOException; import java.net.URI; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem;…

2014-05-12 16:00 · 评论(0)