1. fail-fast簡介
“快速失敗”也就是fail-fast,它是Java集合的一種錯誤檢測機制。某個線程在對collection進行迭代時,不允許其他線程對該collection進行結構上的修改。
例如:假設存在兩個線程(線程1、線程2),線程1通過Iterator在遍歷集合A中的元素,在某個時候線程2修改了集合A的結構(是結構上面的修改,而不是簡單的修改集合元素的內容),那么這個時候程序就會拋出 ConcurrentModificationException 異常,從而產生fail-fast。
迭代器的快速失敗行為無法得到保證,它不能保證一定會出現該錯誤,因此,ConcurrentModificationException應該僅用于檢測 bug。
Java.util包中的所有集合類都是快速失敗的,而java.util.concurrent包中的集合類都是安全失敗的;
快速失敗的迭代器拋出ConcurrentModificationException,而安全失敗的迭代器從不拋出這個異常。
2 fail-fast示例
示例代碼:(FastFailTest.java)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
|
import java.util.*; import java.util.concurrent.*; /* * @desc java集合中Fast-Fail的測試程序。 * * fast-fail事件產生的條件:當多個線程對Collection進行操作時,若其中某一個線程通過iterator去遍歷集合時,該集合的內容被其他線程所改變;則會拋出ConcurrentModificationException異常。 * fast-fail解決辦法:通過util.concurrent集合包下的相應類去處理,則不會產生fast-fail事件。 * * 本例中,分別測試ArrayList和CopyOnWriteArrayList這兩種情況。ArrayList會產生fast-fail事件,而CopyOnWriteArrayList不會產生fast-fail事件。 * (01) 使用ArrayList時,會產生fast-fail事件,拋出ConcurrentModificationException異常;定義如下: * private static List<String> list = new ArrayList<String>(); * (02) 使用時CopyOnWriteArrayList,不會產生fast-fail事件;定義如下: * private static List<String> list = new CopyOnWriteArrayList<String>(); * * @author skywang */ public class FastFailTest { private static List<String> list = new ArrayList<String>(); //private static List<String> list = new CopyOnWriteArrayList<String>(); public static void main(String[] args) { // 同時啟動兩個線程對list進行操作! new ThreadOne().start(); new ThreadTwo().start(); } private static void printAll() { System.out.println(""); String value = null; Iterator iter = list.iterator(); while(iter.hasNext()) { value = (String)iter.next(); System.out.print(value+", "); } } /** * 向list中依次添加0,1,2,3,4,5,每添加一個數之后,就通過printAll()遍歷整個list */ private static class ThreadOne extends Thread { public void run() { int i = 0; while (i<6) { list.add(String.valueOf(i)); printAll(); i++; } } } /** * 向list中依次添加10,11,12,13,14,15,每添加一個數之后,就通過printAll()遍歷整個list */ private static class ThreadTwo extends Thread { public void run() { int i = 10 ; while (i< 16 ) { list.add(String.valueOf(i)); printAll(); i++; } } } } |
運行結果
運行該代碼,拋出異常java.util.ConcurrentModificationException!即,產生fail-fast事件!
結果說明
(01) FastFailTest中通過 new ThreadOne().start() 和 new ThreadTwo().start() 同時啟動兩個線程去操作list。
ThreadOne線程:向list中依次添加0,1,2,3,4,5。每添加一個數之后,就通過printAll()遍歷整個list。
ThreadTwo線程:向list中依次添加10,11,12,13,14,15。每添加一個數之后,就通過printAll()遍歷整個list。
(02) 當某一個線程遍歷list的過程中,list的內容被另外一個線程所改變了;就會拋出ConcurrentModificationException異常,產生fail-fast事件。
3. fail-fast解決辦法
fail-fast機制,是一種錯誤檢測機制。它只能被用來檢測錯誤,因為JDK并不保證fail-fast機制一定會發生。若在多線程環境下使用fail-fast機制的集合,建議使用“java.util.concurrent包下的類”去取代“java.util包下的類”。
所以,本例中只需要將ArrayList替換成java.util.concurrent包下對應的類即可。 即,將代碼
private static List<String> list = new ArrayList<String>();
替換為
private static List<String> list = new CopyOnWriteArrayList<String>();
則可以解決該辦法。
4. fail-fast原理
產生fail-fast事件,是通過拋出ConcurrentModificationException異常來觸發的。
那么,ArrayList是如何拋出ConcurrentModificationException異常的呢?
我們知道,ConcurrentModificationException是在操作Iterator時拋出的異常。我們先看看Iterator的源碼。ArrayList的Iterator是在父類AbstractList.java中實現的。代碼如下:
package java.util;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
|
public abstract class AbstractList<E> extends AbstractCollection<E> implements List<E> { ... // AbstractList中唯一的屬性 // 用來記錄List修改的次數:每修改一次(添加/刪除等操作),將modCount+1 protected transient int modCount = 0 ; // 返回List對應迭代器。實際上,是返回Itr對象。 public Iterator<E> iterator() { return new Itr(); } // Itr是Iterator(迭代器)的實現類 private class Itr implements Iterator<E> { int cursor = 0 ; int lastRet = - 1 ; // 修改數的記錄值。 // 每次新建Itr()對象時,都會保存新建該對象時對應的modCount; // 以后每次遍歷List中的元素的時候,都會比較expectedModCount和modCount是否相等; // 若不相等,則拋出ConcurrentModificationException異常,產生fail-fast事件。 int expectedModCount = modCount; public boolean hasNext() { return cursor != size(); } public E next() { // 獲取下一個元素之前,都會判斷“新建Itr對象時保存的modCount”和“當前的modCount”是否相等; // 若不相等,則拋出ConcurrentModificationException異常,產生fail-fast事件。 checkForComodification(); try { E next = get(cursor); lastRet = cursor++; return next; } catch (IndexOutOfBoundsException e) { checkForComodification(); throw new NoSuchElementException(); } } public void remove() { if (lastRet == - 1 ) throw new IllegalStateException(); checkForComodification(); try { AbstractList. this .remove(lastRet); if (lastRet < cursor) cursor--; lastRet = - 1 ; expectedModCount = modCount; } catch (IndexOutOfBoundsException e) { throw new ConcurrentModificationException(); } } final void checkForComodification() { if (modCount != expectedModCount) throw new ConcurrentModificationException(); } } ... } |
從中,我們可以發現在調用 next() 和 remove()時,都會執行 checkForComodification()。若 “modCount 不等于 expectedModCount”,則拋出ConcurrentModificationException異常,產生fail-fast事件。
要搞明白 fail-fast機制,我們就要需要理解什么時候“modCount 不等于 expectedModCount”!
從Itr類中,我們知道 expectedModCount 在創建Itr對象時,被賦值為 modCount。通過Itr,我們知道:expectedModCount不可能被修改為不等于 modCount。所以,需要考證的就是modCount何時會被修改。
接下來,我們查看ArrayList的源碼,來看看modCount是如何被修改的。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
|
package java.util; public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable { ... // list中容量變化時,對應的同步函數 public void ensureCapacity( int minCapacity) { modCount++; int oldCapacity = elementData.length; if (minCapacity > oldCapacity) { Object oldData[] = elementData; int newCapacity = (oldCapacity * 3 )/ 2 + 1 ; if (newCapacity < minCapacity) newCapacity = minCapacity; // minCapacity is usually close to size, so this is a win: elementData = Arrays.copyOf(elementData, newCapacity); } } // 添加元素到隊列最后 public boolean add(E e) { // 修改modCount ensureCapacity(size + 1 ); // Increments modCount!! elementData[size++] = e; return true ; } // 添加元素到指定的位置 public void add( int index, E element) { if (index > size || index < 0 ) throw new IndexOutOfBoundsException( "Index: " +index+ ", Size: " +size); // 修改modCount ensureCapacity(size+ 1 ); // Increments modCount!! System.arraycopy(elementData, index, elementData, index + 1 , size - index); elementData[index] = element; size++; } // 添加集合 public boolean addAll(Collection<? extends E> c) { Object[] a = c.toArray(); int numNew = a.length; // 修改modCount ensureCapacity(size + numNew); // Increments modCount System.arraycopy(a, 0 , elementData, size, numNew); size += numNew; return numNew != 0 ; } // 刪除指定位置的元素 public E remove( int index) { RangeCheck(index); // 修改modCount modCount++; E oldValue = (E) elementData[index]; int numMoved = size - index - 1 ; if (numMoved > 0 ) System.arraycopy(elementData, index+ 1 , elementData, index, numMoved); elementData[--size] = null ; // Let gc do its work return oldValue; } // 快速刪除指定位置的元素 private void fastRemove( int index) { // 修改modCount modCount++; int numMoved = size - index - 1 ; if (numMoved > 0 ) System.arraycopy(elementData, index+ 1 , elementData, index, numMoved); elementData[--size] = null ; // Let gc do its work } // 清空集合 public void clear() { // 修改modCount modCount++; // Let gc do its work for ( int i = 0 ; i < size; i++) elementData[i] = null ; size = 0 ; } ... } |
從中,我們發現:無論是add()、remove(),還是clear(),只要涉及到修改集合中的元素個數時,都會改變modCount的值。
接下來,我們再系統的梳理一下fail-fast是怎么產生的。步驟如下:
(01) 新建了一個ArrayList,名稱為arrayList。
(02) 向arrayList中添加內容。
(03) 新建一個“線程a”,并在“線程a”中通過Iterator反復的讀取arrayList的值。
(04) 新建一個“線程b”,在“線程b”中刪除arrayList中的一個“節點A”。
(05) 這時,就會產生有趣的事件了。
在某一時刻,“線程a”創建了arrayList的Iterator。此時“節點A”仍然存在于arrayList中,創建arrayList時,expectedModCount = modCount(假設它們此時的值為N)。
在“線程a”在遍歷arrayList過程中的某一時刻,“線程b”執行了,并且“線程b”刪除了arrayList中的“節點A”。“線程b”執行remove()進行刪除操作時,在remove()中執行了“modCount++”,此時modCount變成了N+1!
“線程a”接著遍歷,當它執行到next()函數時,調用checkForComodification()比較“expectedModCount”和“modCount”的大小;而“expectedModCount=N”,“modCount=N+1”,這樣,便拋出ConcurrentModificationException異常,產生fail-fast事件。
至此,我們就完全了解了fail-fast是如何產生的!
即,當多個線程對同一個集合進行操作的時候,某線程訪問集合的過程中,該集合的內容被其他線程所改變(即其它線程通過add、remove、clear等方法,改變了modCount的值);這時,就會拋出ConcurrentModificationException異常,產生fail-fast事件。
5. 解決fail-fast的原理
上面,說明了“解決fail-fast機制的辦法”,也知道了“fail-fast產生的根本原因”。接下來,我們再進一步談談java.util.concurrent包中是如何解決fail-fast事件的。
還是以和ArrayList對應的CopyOnWriteArrayList進行說明。我們先看看CopyOnWriteArrayList的源碼:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
|
package java.util.concurrent; import java.util.*; import java.util.concurrent.locks.*; import sun.misc.Unsafe; public class CopyOnWriteArrayList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable { ... // 返回集合對應的迭代器 public Iterator<E> iterator() { return new 集合類中的fast-fail實現方式都差不多,我們以最簡單的ArrayList為例吧。 protected transient int modCount = 0 ;記錄的是我們對ArrayList修改的次數,比如我們調用 add(),remove()等改變數據的操作時,會將modCount++。 protected transient int modCount = 0 ;記錄的是我們對ArrayList修改的次數,比如我們調用 add(),remove()等改變數據的操作時,會將modCount++。 COWIterator<E>(getArray(), 0 ); } ... private static class COWIterator<E> implements ListIterator<E> { private final Object[] snapshot; private int cursor; private COWIterator(Object[] elements, int initialCursor) { cursor = initialCursor; // 新建COWIterator時,將集合中的元素保存到一個新的拷貝數組中。 // 這樣,當原始集合的數據改變,拷貝數據中的值也不會變化。 snapshot = elements; } public boolean hasNext() { return cursor < snapshot.length; } public boolean hasPrevious() { return cursor > 0 ; } public E next() { if (! hasNext()) throw new NoSuchElementException(); return (E) snapshot[cursor++]; } public E previous() { if (! hasPrevious()) throw new NoSuchElementException(); return (E) snapshot[--cursor]; } public int nextIndex() { return cursor; } public int previousIndex() { return cursor- 1 ; } public void remove() { throw new UnsupportedOperationException(); } public void set(E e) { throw new UnsupportedOperationException(); } public void add(E e) { throw new UnsupportedOperationException(); } } ... } |
從中,我們可以看出:
(01) 和ArrayList繼承于AbstractList不同,CopyOnWriteArrayList沒有繼承于AbstractList,它僅僅只是實現了List接口。
(02) ArrayList的iterator()函數返回的Iterator是在AbstractList中實現的;而CopyOnWriteArrayList是自己實現Iterator。
(03) ArrayList的Iterator實現類中調用next()時,會“調用checkForComodification()比較‘expectedModCount'和‘modCount'的大小”;但是,CopyOnWriteArrayList的Iterator實現類中,沒有所謂的checkForComodification(),更不會拋出ConcurrentModificationException異常!
6. 總結
由于HashMap(ArrayList)并不是線程安全的,因此如果在使用迭代器的過程中有其他線程修改了map(這里的修改是指結構上的修改,并非指單純修改集合內容的元素),那么將要拋出ConcurrentModificationException 即為fail-fast策略
主要通過modCount域來實現,保證線程之間的可見性,modCount即為修改次數,對于HashMap(ArrayList)內容的修改就會增加這個值, 那么在迭代器的初始化過程中就會將這個值賦值給迭代器的expectedModCount
但是fail-fast行為并不能保證,因此依賴于此異常的程序的做法是錯誤的