疯狂java


您现在的位置: 疯狂软件 >> 新闻资讯 >> 正文

这短短几行代码价值一万


 

 先说一下发生的事情吧。

  去年某时,一位朋友找到我,说他面临一个很严重的问题,如果此问题解决不了,他们的产品就不能被用户所接受,说白了就是白做了,拿不到钱。

  他们给用户开发一套软件,但是用户通过文本导入数据过程中,软件直接假死,通过检查,用户导入数据大概有50万条之多,平时做测试时,他们通过文本导入数据大概在1万条左右,没想到数据量从1万增加到50万,程序竟然会假死。此问题如果不能很好解决,估计用户是不会买账了。

  通过分析,他所要做的事情大致可以缩减如下:

    1.总共10万个电话号码;

    2.电话号码中有重复和错误;

    3.查找出正确的号码(不重复)。

  问题经过精简之后,我看着似曾相似,当然估计有些读者应该知道怎么做了。

 

  我先说一下朋友的做法,大致如下(精简,剔除不必要的成份):

    1.先用正则过滤一遍10万条数据,找出错误的;

    2.用List.Contains验证重复数据,List.Add添加不重复数据;

    3.最终从List中取出正确的数据。

  当然朋友将List换成Hash是做了一些效率上的提升,但是不明显。

 

  听他把事情讲清楚后,看着他满面愁容,能理解他的心情,我以前私接项目,也懂得一个道理:要么不做,要么就做好;半途而废,耗时耗力耗财。而且一个人到了这种状态,成与不成的命运竟然跟一个小小的常备功能息息相关,而自己又做不出这个功能,眼看自己耗费那么多的精力、心血、时间在上面的一个产品,就要变成废品,就像是亲手养育的孩子要被无情扼杀,那种心情可想而知。

  万事开头难,闯过这一关,之后道路就相对平坦了,任谁都不想在起步的道路中被阻碍,这个世界上没有那么多打不到、压不扁、锤不烂的刚豆豆型人物,一旦信心被磨灭,就再也走不远了。

  我只是劝他别着急,然后给他做了两段测试代码,他看完后像抓到了救命稻草一般,都把我这个大活人给漠视了,仓皇离席。

  我的做法大致如下(精简):

    1.先对10万数据排序

    2.对比前后两条数据(这个我之后会详细说明为什么这么做)

    3.筛选出正确数据

  这么改动之后,朋友的一个假死功能,瞬间生龙活虎,在数秒就能处理好50万的数据样本。

  作为报酬,朋友事后往我账户里打入一万,这也是我们聊天时他半开玩笑的一个承诺,也就区区几行代码,这几行代码确实值钱了。按照他原想,是要拿出三至五万找人来优化代码的。

 

  说道这里 ,貌似部分读者还是摸不着头脑。那么我就上测试代码以及测试结果。也许用实验证明远比语言要来的简单和真实。

以下是我写的一段Java测试代码:

复制代码
1 public class appMain {
2 final static int _capacity = 1000000;
3 final static Random rand = new Random(System.currentTimeMillis() + _capacity);
4 static ArrayList<String> list = new ArrayList<String>(_capacity);
5 static ArrayList<String> newlist = new ArrayList<String>(_capacity);
6
7 public static void main(String[] args) throws InterruptedException {
8 long ts = System.currentTimeMillis();
9 int modVal = _capacity / 3;
10 for (int i = 0; i < _capacity; i++) {
11 rand.setSeed(i);
12 list.add(Integer.toString(Math.abs(rand.nextInt() % modVal)));
13 }
14 ts = System.currentTimeMillis() - ts;
15 System.out.println("生成时间 :" + ts);
16
17 test1();
18 test2();
19 }
20
21 static void test1() {
22 newlist.clear();
23 int repetition = 0;
24 long ts = System.currentTimeMillis();
25 for (String s : list) {
26 if (!newlist.contains(s))
27 newlist.add(s);
28 else {
29 repetition++;
30 }
31 }
32 ts = System.currentTimeMillis() - ts;
33 System.out.println("------ 插入检查方法 -------");
34 System.out.println("查找时间 :" + ts);
35 System.out.println("重复 :" + repetition);
36 System.out.println("正确 :" + newlist.size());
37 }
38
39 static void test2() {
40 newlist.clear();
41 int repetition = 0;
42 long ts = System.currentTimeMillis();
43
44 Collections.sort(list);
45 String str = list.get(0);
46 int max = list.size();
47 for (int i = 1; i < max; i++) {
48 if (str.equals(list.get(i))) {
49 repetition++;
50 continue;
51 }
52 newlist.add(str);
53 str = list.get(i);
54 }
55 newlist.add(str);
56
57 ts = System.currentTimeMillis() - ts;
58 System.out.println("------ 排序检查方法 -------");
59 System.out.println("查找时间 :" + ts);
60 System.out.println("重复 :" + repetition);
61 System.out.println("正确 :" + newlist.size());
62 }
63 }
复制代码

test1(),是我朋友使用的方式,test2()是我提供朋友的方式,运行结果出乎意料。

复制代码
/*
条件:capacity = 100000
结果:
生成时间 :33
------ 插入检查方法 -------
查找时间 :6612
重复 :76871
正确 :23129
------ 排序检查方法 -------
查找时间 :91
重复 :76871
正确 :23129
*/
/*
条件:capacity = 1000000
结果:
生成时间 :392
------ 插入检查方法 -------
查找时间 :1033818
重复 :703036
正确 :296964
------ 排序检查方法 -------
查找时间 :1367
重复 :703036
正确 :296964
*/
复制代码

当数据量达到10万条的时候,查找时间比差不多90倍的差距了;当数据量达到100万时,我这边测试数据已经卡死在test1(),而test2()依然能在数十秒内反馈结果。

先来说一下我这些代码:

复制代码
1 Collections.sort(list);
2 String str = list.get(0);
3 int max = list.size();
4 for (int i = 1; i < max; i++) {
5 if (str.equals(list.get(i))) {
6 repetition++;
7 continue;
8 }
9 newlist.add(str);
10 str = list.get(i);
11 }
复制代码

Line 1:排序,加入list排序后的结果是[1,2,2,3,3,3,4,4,4,4,5,5,5,5,5]

Line 2:初始str = 1;

从Line 4开始进入循环:

Line 5:判断str是否和当先selector值相等(暂借我们认为list.get(i)是一个指针),如果相等则跳过以下步骤进入下一个循环

Line 9:将str = 1,加入newlist尾

Line10:将当前selector值赋给str,此时str=2,进入下一个循环

...

这种语言解释我个人觉得特别麻烦,我还是写段代码让程序告诉你它怎么执行的。

复制代码
1 public class appList {
2 static ArrayList<String> list = new ArrayList<String>();
3 static ArrayList<String> newlist = new ArrayList<String>();
4
5 public static void main(String[] args) {
6 for (int i = 1; i < 5 + 1; i++) {
7 for (int j = 0; j < i; j++) {
8 list.add(Integer.toString(i));
9 }
10 }
11 System.out.println("list初始值 " + list.toString());
12 // print输出值 [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]
13
14 String str = list.get(0);
15 int max = list.size();
16 for (int i = 1; i < max; i++) {
17 Print(i);
18 if (str.equals(list.get(i))) {
19 PrintNew();
20 continue;
21 }
22 newlist.add(str);
23 System.out.println("add " + str);
24 str = list.get(i);
25 PrintNew();
26 }
27
28 newlist.add(str);
29 System.out.println("add " + str);
30 PrintNew();
31
32 System.out.println("newlist值 " + newlist.toString());
33 // print输出值 [1, 2, 3, 4, 5]
34 }
35
36 static void PrintNew(){
37 StringBuilder stringBuilder = new StringBuilder();
38 stringBuilder.append("newlist ");
39 for (int i = 0; i < newlist.size(); i++) {
40 stringBuilder.append(newlist.get(i));
41 stringBuilder.append(",");
42 }
43 System.out.println(stringBuilder.toString());
44 System.out.println();
45 }
46 static void Print(int pos) {
47 StringBuilder stringBuilder = new StringBuilder();
48 stringBuilder.append("list ");
49 for (int i = 0; i < list.size(); i++) {
50 if (i == pos) {
51 stringBuilder.append("[");
52 stringBuilder.append(list.get(i));
53 stringBuilder.append("],");
54 } else {
55 stringBuilder.append(list.get(i));
56 stringBuilder.append(",");
57 }
58 }
59 System.out.println(stringBuilder.toString());
60 }
复制代码

以上代码执行结果:

 

复制代码
list初始值 [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]
list 1,[2],2,3,3,3,4,4,4,4,5,5,5,5,5,
add 1
newlist 1,

list 1,2,[2],3,3,3,4,4,4,4,5,5,5,5,5,
newlist 1,

list 1,2,2,[3],3,3,4,4,4,4,5,5,5,5,5,
add 2
newlist 1,2,

list 1,2,2,3,[3],3,4,4,4,4,5,5,5,5,5,
newlist 1,2,

list 1,2,2,3,3,[3],4,4,4,4,5,5,5,5,5,
newlist 1,2,

list 1,2,2,3,3,3,[4],4,4,4,5,5,5,5,5,
add 3
newlist 1,2,3,

list 1,2,2,3,3,3,4,[4],4,4,5,5,5,5,5,
newlist 1,2,3,

list 1,2,2,3,3,3,4,4,[4],4,5,5,5,5,5,
newlist 1,2,3,

list 1,2,2,3,3,3,4,4,4,[4],5,5,5,5,5,
newlist 1,2,3,

list 1,2,2,3,3,3,4,4,4,4,[5],5,5,5,5,
add 4
newlist 1,2,3,4,

list 1,2,2,3,3,3,4,4,4,4,5,[5],5,5,5,
newlist 1,2,3,4,

list 1,2,2,3,3,3,4,4,4,4,5,5,[5],5,5,
newlist 1,2,3,4,

list 1,2,2,3,3,3,4,4,4,4,5,5,5,[5],5,
newlist 1,2,3,4,

list 1,2,2,3,3,3,4,4,4,4,5,5,5,5,[5],
newlist 1,2,3,4,

add 5
newlist 1,2,3,4,5,

newlist值 [1, 2, 3, 4, 5]
复制代码