wangpengfei
2023-06-02 064c0874e5fd041c4641ef873d1bf72ac98a184d
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
/*
Copyright 2014 The Kubernetes Authors.
 
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
 
    http://www.apache.org/licenses/LICENSE-2.0
 
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
*/
 
package flowcontrol
 
import (
    "context"
    "fmt"
    "sync"
    "testing"
    "time"
)
 
func TestMultithreadedThrottling(t *testing.T) {
    // Bucket with 100QPS and no burst
    r := NewTokenBucketRateLimiter(100, 1)
 
    // channel to collect 100 tokens
    taken := make(chan bool, 100)
 
    // Set up goroutines to hammer the throttler
    startCh := make(chan bool)
    endCh := make(chan bool)
    for i := 0; i < 10; i++ {
        go func() {
            // wait for the starting signal
            <-startCh
            for {
                // get a token
                r.Accept()
                select {
                // try to add it to the taken channel
                case taken <- true:
                    continue
                // if taken is full, notify and return
                default:
                    endCh <- true
                    return
                }
            }
        }()
    }
 
    // record wall time
    startTime := time.Now()
    // take the initial capacity so all tokens are the result of refill
    r.Accept()
    // start the thundering herd
    close(startCh)
    // wait for the first signal that we collected 100 tokens
    <-endCh
    // record wall time
    endTime := time.Now()
 
    // tolerate a 1% clock change because these things happen
    if duration := endTime.Sub(startTime); duration < (time.Second * 99 / 100) {
        // We shouldn't be able to get 100 tokens out of the bucket in less than 1 second of wall clock time, no matter what
        t.Errorf("Expected it to take at least 1 second to get 100 tokens, took %v", duration)
    } else {
        t.Logf("Took %v to get 100 tokens", duration)
    }
}
 
func TestBasicThrottle(t *testing.T) {
    r := NewTokenBucketRateLimiter(1, 3)
    for i := 0; i < 3; i++ {
        if !r.TryAccept() {
            t.Error("unexpected false accept")
        }
    }
    if r.TryAccept() {
        t.Error("unexpected true accept")
    }
}
 
func TestIncrementThrottle(t *testing.T) {
    r := NewTokenBucketRateLimiter(1, 1)
    if !r.TryAccept() {
        t.Error("unexpected false accept")
    }
    if r.TryAccept() {
        t.Error("unexpected true accept")
    }
 
    // Allow to refill
    time.Sleep(2 * time.Second)
 
    if !r.TryAccept() {
        t.Error("unexpected false accept")
    }
}
 
func TestThrottle(t *testing.T) {
    r := NewTokenBucketRateLimiter(10, 5)
 
    // Should consume 5 tokens immediately, then
    // the remaining 11 should take at least 1 second (0.1s each)
    expectedFinish := time.Now().Add(time.Second * 1)
    for i := 0; i < 16; i++ {
        r.Accept()
    }
    if time.Now().Before(expectedFinish) {
        t.Error("rate limit was not respected, finished too early")
    }
}
 
func TestAlwaysFake(t *testing.T) {
    rl := NewFakeAlwaysRateLimiter()
    if !rl.TryAccept() {
        t.Error("TryAccept in AlwaysFake should return true.")
    }
    // If this will block the test will timeout
    rl.Accept()
}
 
func TestNeverFake(t *testing.T) {
    rl := NewFakeNeverRateLimiter()
    if rl.TryAccept() {
        t.Error("TryAccept in NeverFake should return false.")
    }
 
    finished := false
    wg := sync.WaitGroup{}
    wg.Add(1)
    go func() {
        rl.Accept()
        finished = true
        wg.Done()
    }()
 
    // Wait some time to make sure it never finished.
    time.Sleep(time.Second)
    if finished {
        t.Error("Accept should block forever in NeverFake.")
    }
 
    rl.Stop()
    wg.Wait()
    if !finished {
        t.Error("Stop should make Accept unblock in NeverFake.")
    }
}
 
func TestWait(t *testing.T) {
    r := NewTokenBucketRateLimiter(0.0001, 1)
 
    ctx, cancelFn := context.WithTimeout(context.Background(), time.Second)
    defer cancelFn()
    if err := r.Wait(ctx); err != nil {
        t.Errorf("unexpected wait failed, err: %v", err)
    }
 
    ctx2, cancelFn2 := context.WithTimeout(context.Background(), time.Second)
    defer cancelFn2()
    if err := r.Wait(ctx2); err == nil {
        t.Errorf("unexpected wait success")
    } else {
        t.Log(fmt.Sprintf("wait err: %v", err))
    }
}