Add git url for slides to last page
[obnox/slides/2016-04-vault.git] / multichannel.wiki
1 <[sambabg]
2
3 ==== ====[plain]
4
5 <[center]
6 \Large
7 '''Multi-Channel'''
8 [center]>
9
10 [frame]>
11 [sambabg]>
12
13
14 ==== Multi-Channel - General ====
15
16 <[block]{multiple transport connections in one SMB(3) session}
17 * '''channel''': transport connection bound to a session
18 * client decides which connections to bind and to use
19 * session is valid as long as at least one channel is intact
20 [block]>
21
22 <[block]{two purposes}
23 # increase throughput:
24 #* use multiple connections of same type
25 # improve fault tolerance:
26 #* channel failure: replay/retry detection
27 %%#* session is valid as long as one channel is still intact
28 [block]>
29
30 ==== Multi-Channel - General ====
31
32 <[block]{use case: channels of different type/quality}
33 * use only the channels of best quality
34 * fall back to inferior channels if superior ones fail
35 * e.g.: laptop switching between WiFi and LAN (?)
36 [block]>
37
38 ==== Multi-Channel - Windows/Protocol ====
39
40 # establish initial session on TCP connection
41 # find interfaces with interface discovery: \\ %
42 @FSCTL\_QUERY\_NETWORK\_INTERFACE\_INFO@
43 # bind additional TCP (or later RDMA) connection (channel) to established SMB3 session (''session bind'')
44 # Windows: uses connections of same (and best) quality
45 # Windows: binds only to a single node
46 # replay / retry mechanisms, epoch numbers
47
48 ==== Multi-Channel $\in$ Samba ====
49
50 <[block]{samba/smbd: multi-process}
51 * '''Originally:''' process $\Leftrightarrow$ TCP connection
52 *<0> '''Idea:''' transfer new TCP connection to existing smbd
53 *<0> '''How?''' ==> use fd-passing (sendmsg/recvmsg)
54 *<0> '''When?'''
55 ** ''Natural choice'': at SessionSetup (Bind)
56 ** !Idea!: as early as possible, based on ClientGUID \\ %
57 ==> per ClientGUID single process model
58 %%*<0> !But!: This may not work! \frownie
59 [block]>
60
61 ==== Multi-Channel $\in$ Samba ====
62
63 <[center]
64 <<<smb3-mc-daemons-n1.png,width=.9\textwidth>>>
65 [center]>
66
67 ==== Multi-Channel $\in$ Samba ====
68
69 <[block]{samba/smbd: multi-process}
70 * '''Originally:''' process $\Leftrightarrow$ TCP connection
71 * '''Idea:''' transfer new TCP connection to existing smbd
72 *<0> '''How?''' ==> use fd-passing (sendmsg/recvmsg)
73 *<0> '''When?'''
74 ** ''Natural choice'': at SessionSetup (Bind)
75 ** !Idea!: as early as possible, based on ClientGUID \\ %
76 ==> per ClientGUID single process model
77 %%*<0> !But!: There may be problems! ... \frownie
78 [block]>
79
80
81 ==== Multi-Channel $\in$ Samba ====
82
83 -<1>{
84 <[center]
85 <<<smb3-mc-daemons-n1a.png,width=.9\textwidth>>>
86 [center]>
87 }
88
89 -<2>{
90 <[center]
91 <<<smb3-mc-daemons-n2.png,width=.9\textwidth>>>
92 [center]>
93 }
94
95 -<3>{
96 <[center]
97 <<<smb3-mc-daemons-n3.png,width=.9\textwidth>>>
98 [center]>
99 }
100
101
102 ==== Multi-Channel $\in$ Samba ====
103
104 <[block]{samba/smbd: multi-process}
105 * '''Originally:''' process $\Leftrightarrow$ TCP connection
106 * '''Idea:''' transfer new TCP connection to existing smbd
107 * '''How?''' ==> use fd-passing (sendmsg/recvmsg)
108 *<2-> '''When?'''
109 ** ''Natural choice'': at SessionSetup (Bind)
110 ** !Idea!: as early as possible, based on ClientGUID \\ %
111 ==> per ClientGUID single process model
112 %%*<0> !But!: There may be problems! ... \frownie
113 [block]>
114
115
116 ==== Multi-Channel $\in$ Samba : pass by ClientGUID ====
117
118 <[center]
119 %%<<<smb3-mc-samba_exp.png,height=.9\textheight>>>
120 <<<smb3-mc-samba.png,height=.9\textheight>>>
121 [center]>
122
123
124 ==== Multi-Channel $\in$ Samba : pass by ClientGUID ====
125
126 <[block]{Wait a minute - what about performance?}
127 * Single process...
128 * But we use short-lived worker-pthreads for I/O ops!
129 * Benchmarks and tunings still to be done.
130 [block]>
131
132 %%%% ==== Multi-Channel $\in$ Samba ====
133 %%%% 
134 %%%% <[block]{samba/smbd: multi-process}
135 %%%% * '''Orignally:''' process $\Leftrightarrow$ TCP connection
136 %%%% * '''Idea:''' transfer new TCP connection to existing smbd
137 %%%% * '''How?''' ==> use fd-passing (sendmsg/recvmsg)
138 %%%% * '''When?'''
139 %%%% ** ''Natural choice'': at SessionSetup (Bind)
140 %%%% ** ''Idea'': as early as possible, based on ClientGUID \\ %
141 %%%% ==> per ClientGUID single process model
142 %%%% * !But!: There may be problems! ... \frownie
143 %%%% [block]>
144 %%%% 
145 %%%% 
146 %%%% ==== The Relevance of the ClientGUID ====
147 %%%% 
148 %%%% +<1->{
149 %%%% <[block]{Assumption was:}
150 %%%% * All channels in a session have the same ClientGUID
151 %%%% * The server enforces this
152 %%%% [block]>
153 %%%% }
154 %%%% 
155 %%%% +<2->{
156 %%%% <[block]{Evidence from [MS-SMB2]:}
157 %%%% * 3.3.5.9 Receiving an SMB2 CREATE Request:
158 %%%% ** sets Open.ClientGuid to Connection.ClientGuid
159 %%%% ** replay detection checks \\ %
160 %%%% Open.ClientGuid == Connection.ClientGuid
161 %%%% * 3.3.5.9.7/12 Durable (v2) Reconnect Create Context:
162 %%%% ** check Open.ClientGuid == Connection.ClientGuid
163 %%%% [block]>
164 %%%% }
165 %%%% 
166 %%%% +<3->{
167 %%%% <[block]{The truth is...}
168 %%%% The Windows server does not enforce it!
169 %%%% [block]>
170 %%%% }
171 %%%% 
172 %%%% 
173 %%%% ==== The Relevance of the ClientGUID ====
174 %%%% 
175 %%%% <[block]{Windows behaviour according to MS}
176 %%%% * The server does NOT enforce same ClientGUID in a session.
177 %%%% * But clients can be expected to do it.
178 %%%% * But it is not explicitly documented like this.
179 %%%% [block]>
180 %%%% 
181 %%%% +<2->{
182 %%%% <[block]{The good news:}
183 %%%% There will be documentation notes:
184 %%%% * Things will not work as expected when clients behave differently.
185 %%%% * It is OK for a server to enforce equality of ClientGUID within session.
186 %%%% [block]>
187 %%%% }
188 %%%% 
189 %%%% ==== More digression on ClientGUID : Leases ====
190 %%%% 
191 %%%% <[block]{According to [MS-SMB2]}
192 %%%% * Server Global data Structures:
193 %%%% ** GlobalLeaseTableList indexed by ClientGuid (3.3.1.5)
194 %%%% *** LeaseTable indexed by LeaseKey (3.3.1.11)
195 %%%% * Requesting a lease (3.3.1.4):
196 %%%% ** Object store takes an abstract ClientLeaseId
197 %%%% *** Win7: combination of ClientGuid and LeaseKey
198 %%%% *** Win8+: LeaseKey
199 %%%% * Object store indicates a lease break (3.3.4.7):
200 %%%% ** smb server uses ClientGuid and LeaseKey given by ObjectStore
201 %%%% 
202 %%%%  ==> !Inconsistent\! -- What to do?!
203 %%%% [block]>
204 %%%% 
205 %%%% 
206 %%%% ==== Multi-Channel $\in$ Samba : pass by SessionID (plan B) ====
207 %%%% 
208 %%%% <[center]
209 %%%% <<<smb3-mc-samba-v2.png,height=.9\textheight>>>
210 %%%% [center]>
211
212
213 ==== Multi-Channel $\in$ Samba : Status ====
214
215 +<2->{
216 # messaging rewrite using unix dgm sockets with sendmsg [DONE,4.2]
217 # add fd-passing to messaging [DONE,4.2]
218 # preparations in internal structures [DONE,4.4]
219 # prepare code to cope with multiple channels [DONE,4.4]
220 # implement smbd message to pass a tcp socket [DONE,4.4]
221 # transfer connection in Negotiate (by ClientGUID) [DONE,4.4]
222 # implement session bind [DONE,4.4]
223 # implement channel epoch numbers [DONE,4.4]
224 # implement interface discovery [DONE(linux/conf),4.4]
225 # implement test cases [WIP(isn't it always?... $\smiley$)]
226 # implement fd-passing in socket-wrapper [WIP]
227 # implement lease break replay [TODO]
228 }
229
230 ==== Multi-Channel $\in$ Samba : Details from @smbXsrv.idl@ ====
231 %%==== @MSG\_SMBXSRV\_CONNECTION\_PASS@ ====
232
233 <[block]{for @MSG\_SMBXSRV\_CONNECTION\_PASS@}
234 <[code]
235 typedef struct {
236     NTTIME                 initial_connect_time;
237     GUID                   client_guid;
238     hyper                  seq_low;
239     DATA_BLOB              negotiate_request;
240 } smbXsrv_connection_pass0;
241 [code]>
242 [block]>
243
244 %%==== Internal Structures (@smbXsrv.idl@) ====
245 ==== Multi-Channel $\in$ Samba : Details from @smbXsrv.idl@ ====
246
247
248 <[block]{layering before}
249 <[code]
250 smbXsrv_session
251   ->smbXsrv_connection
252 [code]>
253 [block]>
254
255 <[block]{layering now}
256 <[code]
257 smbXsrv_session
258   ->smbXsrv_client
259     ->smbXsrv_connections
260 [code]>
261 [block]>
262
263
264 %%% ==== Multi-Channel $\in$ Samba : Status ====
265 %%% 
266 %%% <[block]{WIP code}
267 %%% * @git://git.samba.org/obnox/samba/samba-obnox.git@
268 %%% * branch: @master-multi-channel-obnox@
269 %%% [block]>
270
271
272 ==== Multi-Channel $\in$ Samba: TODOs ====
273
274 * Replay lease breaks upon channel failure (server $\rightarrow$ client)
275 * teach socket\_wrapper fd-passing ( ==> selftest...)
276 * clustering integration (CTDB)
277
278 ==== Multi-Channel $\in$ Samba : Clustering/CTDB ====
279
280 +<2->{
281 <[block]{Special considerations}
282 * channels of one session only to one node !
283 * do not bind connections to CTDB public IPs (can move)!
284 * ==> !add static IPs on public interfaces! \\ %
285 use these for interface discovery
286 [block]>
287 }
288
289
290
291 [frame]>
292
293 <[sambabg]
294
295
296 ==== ====[plain]
297
298 <[center]
299 \Large
300 Multi-Channel Demo
301 [center]>
302
303 [frame]>
304 [sambabg]>