s4:dsdb Fix tests for samba3sam to pass after partitions module changes
[ira/wip.git] / source4 / dsdb / samdb / ldb_modules / partition_init.c
1 /* 
2    Partitions ldb module
3
4    Copyright (C) Andrew Bartlett <abartlet@samba.org> 2006
5    Copyright (C) Stefan Metzmacher <metze@samba.org> 2007
6
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 /*
22  *  Name: ldb
23  *
24  *  Component: ldb partitions module
25  *
26  *  Description: Implement LDAP partitions
27  *
28  *  Author: Andrew Bartlett
29  *  Author: Stefan Metzmacher
30  */
31
32 #include "dsdb/samdb/ldb_modules/partition.h"
33 static int partition_sort_compare(const void *v1, const void *v2)
34 {
35         const struct dsdb_partition *p1;
36         const struct dsdb_partition *p2;
37
38         p1 = *((struct dsdb_partition * const*)v1);
39         p2 = *((struct dsdb_partition * const*)v2);
40
41         return ldb_dn_compare(p1->ctrl->dn, p2->ctrl->dn);
42 }
43
44 /* Load the list of DNs that we must replicate to all partitions */
45 static int partition_load_replicate_dns(struct ldb_context *ldb, struct partition_private_data *data, struct ldb_message *msg) 
46 {
47         struct ldb_message_element *replicate_attributes = ldb_msg_find_element(msg, "replicateEntries");
48
49         talloc_free(data->replicate);
50         if (!replicate_attributes) {
51                 data->replicate = NULL;
52         } else {
53                 int i;
54                 data->replicate = talloc_array(data, struct ldb_dn *, replicate_attributes->num_values + 1);
55                 if (!data->replicate) {
56                         return LDB_ERR_OPERATIONS_ERROR;
57                 }
58
59                 for (i=0; i < replicate_attributes->num_values; i++) {
60                         data->replicate[i] = ldb_dn_from_ldb_val(data->replicate, ldb, &replicate_attributes->values[i]);
61                         if (!ldb_dn_validate(data->replicate[i])) {
62                                 ldb_asprintf_errstring(ldb,
63                                                         "partition_init: "
64                                                         "invalid DN in partition replicate record: %s", 
65                                                         replicate_attributes->values[i].data);
66                                 return LDB_ERR_CONSTRAINT_VIOLATION;
67                         }
68                 }
69                 data->replicate[i] = NULL;
70         }
71         return LDB_SUCCESS;
72 }
73
74 /* Load the list of modules for the partitions */
75 static int partition_load_modules(struct ldb_context *ldb, 
76                                   struct partition_private_data *data, struct ldb_message *msg) 
77 {
78         int i;
79         struct ldb_message_element *modules_attributes = ldb_msg_find_element(msg, "modules");
80         talloc_free(data->modules);
81         if (!modules_attributes) {
82                 return LDB_SUCCESS;
83         }
84         
85         data->modules = talloc_array(data, struct partition_module *, modules_attributes->num_values + 1);
86         if (!data->modules) {
87                 ldb_oom(ldb);
88                 return LDB_ERR_OPERATIONS_ERROR;
89         }
90         
91         for (i=0; i < modules_attributes->num_values; i++) {
92                 char *base;
93                 char *p;
94
95                 data->modules[i] = talloc(data->modules, struct partition_module);
96                 if (!data->modules[i]) {
97                         ldb_oom(ldb);
98                         return LDB_ERR_OPERATIONS_ERROR;
99                 }
100
101                 base = talloc_strdup(data->partitions, (char *)modules_attributes->values[i].data);
102                 p = strchr(base, ':');
103                 if (!p) {
104                         ldb_asprintf_errstring(ldb, 
105                                                "partition_load_modules: "
106                                                "invalid form for partition module record (missing ':'): %s", base);
107                         return LDB_ERR_CONSTRAINT_VIOLATION;
108                 }
109                 p[0] = '\0';
110                 p++;
111                 data->modules[i]->modules = ldb_modules_list_from_string(ldb, data->modules[i],
112                                                                          p);
113                 
114                 if (strcmp(base, "*") == 0) {
115                         data->modules[i]->dn = NULL;
116                 } else {
117                         data->modules[i]->dn = ldb_dn_new(data->modules[i], ldb, base);
118                         if (!data->modules[i]->dn || !ldb_dn_validate(data->modules[i]->dn)) {
119                                 return LDB_ERR_OPERATIONS_ERROR;
120                         }
121                 }
122         }
123         return LDB_SUCCESS;
124 }
125
126 static int partition_reload_metadata(struct ldb_module *module, struct partition_private_data *data, TALLOC_CTX *mem_ctx, struct ldb_message **_msg) 
127 {
128         int ret;
129         struct ldb_message *msg;
130         struct ldb_result *res;
131         struct ldb_context *ldb = ldb_module_get_ctx(module);
132         const char *attrs[] = { "partition", "replicateEntries", "modules", NULL };
133         /* perform search for @PARTITION, looking for module, replicateEntries and ldapBackend */
134         ret = dsdb_module_search_dn(module, mem_ctx, &res, 
135                                     ldb_dn_new(mem_ctx, ldb, DSDB_PARTITION_DN),
136                                     attrs);
137         if (ret != LDB_SUCCESS) {
138                 return ret;
139         }
140
141         msg = res->msgs[0];
142
143         ret = partition_load_replicate_dns(ldb, data, msg);
144         if (ret != LDB_SUCCESS) {
145                 return ret;
146         }
147
148         ret = partition_load_modules(ldb, data, msg);                   
149         if (ret != LDB_SUCCESS) {
150                 return ret;
151         }
152
153         data->ldapBackend = talloc_steal(data, ldb_msg_find_attr_as_string(msg, "ldapBackend", NULL));
154         if (_msg) {
155                 *_msg = msg;
156         } else {
157                 talloc_free(msg);
158         }
159         return LDB_SUCCESS;
160 }
161
162 static const char **find_modules_for_dn(struct partition_private_data *data, struct ldb_dn *dn) 
163 {
164         int i;
165         struct partition_module *default_mod = NULL;
166         for (i=0; data->modules && data->modules[i]; i++) {
167                 if (!data->modules[i]->dn) {
168                         default_mod = data->modules[i];
169                 } else if (ldb_dn_compare(dn, data->modules[i]->dn) == 0) {
170                         return data->modules[i]->modules;
171                 }
172         }
173         if (default_mod) {
174                 return default_mod->modules;
175         } else {
176                 return NULL;
177         }
178 }
179
180 static int new_partition_from_dn(struct ldb_context *ldb, struct partition_private_data *data, 
181                           TALLOC_CTX *mem_ctx, 
182                           struct ldb_dn *dn,
183                           struct dsdb_partition **partition) {
184         const char *backend_name;
185         const char *full_backend;
186         struct dsdb_control_current_partition *ctrl;
187         struct ldb_module *module;
188         const char **modules;
189         int ret;
190
191         (*partition) = talloc(mem_ctx, struct dsdb_partition);
192         if (!*partition) {
193                 return LDB_ERR_OPERATIONS_ERROR;
194         }
195
196         (*partition)->ctrl = ctrl = talloc((*partition), struct dsdb_control_current_partition);
197         if (!ctrl) {
198                 talloc_free(*partition);
199                 ldb_oom(ldb);
200                 return LDB_ERR_OPERATIONS_ERROR;
201         }
202
203         /* See if an LDAP backend has been specified */
204         if (data->ldapBackend) {
205                 backend_name = data->ldapBackend;
206         } else {
207
208                 /* the backend LDB is the DN (base64 encoded if not 'plain') followed by .ldb */
209                 const char *p;
210                 const char *backend_dn  = ldb_dn_get_casefold(dn);
211                 char *base64_dn = NULL;
212                 for (p = backend_dn; *p; p++) {
213                         /* We have such a strict check because I don't want shell metacharacters in the file name, nor ../ */
214                         if (!(isalnum(*p) || *p == ' ' || *p == '=' || *p == ',')) {
215                                 break;
216                         }
217                 }
218                 if (*p) {
219                         backend_dn = base64_dn = ldb_base64_encode(data, backend_dn, strlen(backend_dn));
220                 }
221                 
222                 backend_name = talloc_asprintf(data, "%s.ldb", backend_dn); 
223                 if (base64_dn) {
224                         talloc_free(base64_dn);
225                 }
226         }
227
228         ctrl->version = DSDB_CONTROL_CURRENT_PARTITION_VERSION;
229         ctrl->dn = talloc_steal(ctrl, dn);
230         
231         full_backend = samdb_relative_path(ldb, 
232                                            *partition, 
233                                            backend_name);
234         if (!full_backend) {
235                 ldb_asprintf_errstring(ldb_module_get_ctx(module), 
236                                        "partition_init: unable to determine an relative path for partition: %s", backend_name);
237                 talloc_free(*partition);
238                 return LDB_ERR_OPERATIONS_ERROR;                
239         }
240
241         ret = ldb_connect_backend(ldb, full_backend, NULL, &module);
242         if (ret != LDB_SUCCESS) {
243                 return ret;
244         }
245
246         modules = find_modules_for_dn(data, dn);
247
248         ret = ldb_load_modules_list(ldb, modules, module, &(*partition)->module);
249         if (ret != LDB_SUCCESS) {
250                 ldb_asprintf_errstring(ldb, 
251                                        "partition_init: "
252                                        "loading backend for %s failed: %s", 
253                                        ldb_dn_get_linearized(dn), ldb_errstring(ldb));
254                 talloc_free(*partition);
255                 return ret;
256         }
257         ret = ldb_init_module_chain(ldb, (*partition)->module);
258         if (ret != LDB_SUCCESS) {
259                 ldb_asprintf_errstring(ldb,
260                                        "partition_init: "
261                                        "initialising backend for %s failed: %s", 
262                                        ldb_dn_get_linearized(dn), ldb_errstring(ldb));
263                 talloc_free(*partition);
264                 return ret;
265         }
266
267         talloc_steal((*partition), (*partition)->module);
268
269         return ret;
270 }
271
272 static int partition_register(struct ldb_context *ldb, struct dsdb_control_current_partition *ctrl, TALLOC_CTX *mem_ctx) 
273 {
274         struct ldb_request *req;
275         int ret;
276
277         req = talloc_zero(mem_ctx, struct ldb_request);
278         if (req == NULL) {
279                 ldb_oom(ldb);
280                 return LDB_ERR_OPERATIONS_ERROR;
281         }
282                 
283         req->operation = LDB_REQ_REGISTER_PARTITION;
284         req->op.reg_partition.dn = ctrl->dn;
285         req->callback = ldb_op_default_callback;
286
287         ldb_set_timeout(ldb, req, 0);
288         
289         req->handle = ldb_handle_new(req, ldb);
290         if (req->handle == NULL) {
291                 return LDB_ERR_OPERATIONS_ERROR;
292         }
293         
294         ret = ldb_request(ldb, req);
295         if (ret == LDB_SUCCESS) {
296                 ret = ldb_wait(req->handle, LDB_WAIT_ALL);
297         }
298         if (ret != LDB_SUCCESS) {
299                 ldb_debug(ldb, LDB_DEBUG_ERROR, "partition: Unable to register partition with rootdse!\n");
300                 talloc_free(mem_ctx);
301                 return LDB_ERR_OTHER;
302         }
303         talloc_free(req);
304
305         return LDB_SUCCESS;
306 }
307
308 int partition_create(struct ldb_module *module, struct ldb_request *req)
309 {
310         int i, ret;
311         struct ldb_context *ldb = ldb_module_get_ctx(module);
312         struct ldb_request *mod_req;
313         struct ldb_message *mod_msg;
314         struct partition_private_data *data;
315         struct dsdb_partition *partition;
316
317         /* Check if this is already a partition */
318
319         struct dsdb_create_partition_exop *ex_op = talloc_get_type(req->op.extended.data, struct dsdb_create_partition_exop);
320         struct ldb_dn *dn = ex_op->new_dn;
321
322         data = talloc_get_type(module->private_data, struct partition_private_data);
323         if (!data) {
324                 return LDB_ERR_OPERATIONS_ERROR;
325         }
326         
327         if (!data) {
328                 /* We are not going to create a partition before we are even set up */
329                 return LDB_ERR_UNWILLING_TO_PERFORM;
330         }
331
332         for (i=0; data->partitions && data->partitions[i]; i++) {
333                 if (ldb_dn_compare(data->partitions[i]->ctrl->dn, dn) == 0) {
334                         return LDB_ERR_ATTRIBUTE_OR_VALUE_EXISTS;
335                 }
336         }
337
338         mod_msg = ldb_msg_new(req);
339         if (!mod_msg) {
340                 ldb_oom(ldb);
341                 return LDB_ERR_OPERATIONS_ERROR;
342         }
343
344         mod_msg->dn = ldb_dn_new(mod_msg, ldb, DSDB_PARTITION_DN);
345         ret = ldb_msg_add_empty(mod_msg, DSDB_PARTITION_ATTR, LDB_FLAG_MOD_ADD, NULL);
346         if (ret != LDB_SUCCESS) {
347                 return ret;
348         }
349         ret = ldb_msg_add_string(mod_msg, DSDB_PARTITION_ATTR, ldb_dn_get_casefold(dn));
350         if (ret != LDB_SUCCESS) {
351                 return ret;
352         }
353
354         /* Perform modify on @PARTITION record */
355         ret = ldb_build_mod_req(&mod_req, ldb, req, mod_msg, NULL, NULL, 
356                                 ldb_op_default_callback, req);
357
358         if (ret != LDB_SUCCESS) {
359                 return ret;
360         }
361                 
362         ret = ldb_next_request(module, mod_req);
363         if (ret == LDB_SUCCESS) {
364                 ret = ldb_wait(mod_req->handle, LDB_WAIT_ALL);
365         }
366
367         if (ret != LDB_SUCCESS) {
368                 return ret;
369         }
370
371         ret = partition_reload_metadata(module, data, req, NULL);
372         if (ret != LDB_SUCCESS) {
373                 return ret;
374         }
375
376         /* Make a partition structure for this new partition, so we can copy in the template structure */ 
377         ret = new_partition_from_dn(ldb, data, req, ldb_dn_copy(req, dn), &partition);
378         if (ret != LDB_SUCCESS) {
379                 return ret;
380         }
381
382         /* Start a transaction on the DB (as it won't be in one being brand new) */
383         {
384                 struct ldb_module *next = partition->module;
385                 PARTITION_FIND_OP(next, start_transaction);
386
387                 ret = next->ops->start_transaction(next);
388                 if (ret != LDB_SUCCESS) {
389                         return ret;
390                 }
391         }
392         
393         /* otherwise, for each replicate, copy from main partition.  If we get an error, we report it up the chain */
394
395         for (i=0; data->replicate && data->replicate[i]; i++) {
396                 struct ldb_result *replicate_res;
397                 struct ldb_request *add_req;
398                 ret = dsdb_module_search_dn(module, req, &replicate_res, 
399                                             data->replicate[i],
400                                             NULL);
401                 if (ret == LDB_ERR_NO_SUCH_OBJECT) {
402                         continue;
403                 }
404                 if (ret != LDB_SUCCESS) {
405                         ldb_asprintf_errstring(ldb,
406                                                "Failed to search for %s from " DSDB_PARTITION_DN 
407                                                " replicateEntries for new partition at %s: %s", 
408                                                ldb_dn_get_linearized(data->replicate[i]), 
409                                                ldb_dn_get_linearized(partition->ctrl->dn), 
410                                                ldb_errstring(ldb));
411                         return ret;
412                 }
413
414                 /* Build add request */
415                 ret = ldb_build_add_req(&add_req, ldb, replicate_res, replicate_res->msgs[0], NULL, NULL, 
416                                         ldb_op_default_callback, mod_req);
417                 if (ret != LDB_SUCCESS) {
418                         /* return directly, this is a very unlikely error */
419                         return ret;
420                 }
421                 /* do request */
422                 ret = ldb_next_request(partition->module, add_req);
423                 
424                 /* wait */
425                 if (ret == LDB_SUCCESS) {
426                         ret = ldb_wait(add_req->handle, LDB_WAIT_ALL);
427                 }
428                 
429                 switch (ret) {
430                 case LDB_SUCCESS:
431                         break;
432                 case LDB_ERR_ENTRY_ALREADY_EXISTS:
433                 {
434                         struct ldb_request *del_req;
435                         
436                         /* Don't leave a confusing string in the ldb_errstring() */
437                         ldb_reset_err_string(ldb);
438                         /* Build del request */
439                         ret = ldb_build_del_req(&del_req, ldb, replicate_res, replicate_res->msgs[0]->dn, NULL, NULL, 
440                                                 ldb_op_default_callback, add_req);
441                         if (ret != LDB_SUCCESS) {
442                                 /* return directly, this is a very unlikely error */
443                                 return ret;
444                         }
445                         /* do request */
446                         ret = ldb_next_request(partition->module, del_req);
447                         
448                         /* wait */
449                         if (ret == LDB_SUCCESS) {
450                                 ret = ldb_wait(del_req->handle, LDB_WAIT_ALL);
451                         }
452                         if (ret != LDB_SUCCESS) {
453                                 ldb_asprintf_errstring(ldb,
454                                                        "Failed to delete  (for re-add) %s from " DSDB_PARTITION_DN 
455                                                        " replicateEntries in new partition at %s: %s", 
456                                                        ldb_dn_get_linearized(data->replicate[i]), 
457                                                        ldb_dn_get_linearized(partition->ctrl->dn), 
458                                                        ldb_errstring(ldb));
459                                 return ret;
460                         }
461                         
462                         /* Build add request */
463                         ret = ldb_build_add_req(&add_req, ldb, replicate_res, replicate_res->msgs[0], NULL, NULL, 
464                                                 ldb_op_default_callback, mod_req);
465                         if (ret != LDB_SUCCESS) {
466                                 /* return directly, this is a very unlikely error */
467                                 return ret;
468                         }
469                         
470                         /* do the add again */
471                         ret = ldb_next_request(partition->module, add_req);
472                         
473                         /* wait */
474                         if (ret == LDB_SUCCESS) {
475                                 ret = ldb_wait(add_req->handle, LDB_WAIT_ALL);
476                         }
477                         ldb_asprintf_errstring(ldb,
478                                                "Failed to add (after delete) %s from " DSDB_PARTITION_DN 
479                                                " replicateEntries to new partition at %s: %s", 
480                                                ldb_dn_get_linearized(data->replicate[i]), 
481                                                ldb_dn_get_linearized(partition->ctrl->dn), 
482                                                ldb_errstring(ldb));
483                         return ret;
484                 }
485                 default: 
486                 {
487                         ldb_asprintf_errstring(ldb,
488                                                "Failed to add %s from " DSDB_PARTITION_DN 
489                                                " replicateEntries to new partition at %s: %s", 
490                                                ldb_dn_get_linearized(data->replicate[i]), 
491                                                ldb_dn_get_linearized(partition->ctrl->dn), 
492                                                ldb_errstring(ldb));
493                         return ret;
494                 }
495                 }
496                 talloc_free(replicate_res);
497
498                 /* And around again, for the next thing we must merge */
499         }
500
501         /* Count the partitions */
502         for (i=0; data->partitions && data->partitions[i]; i++) { /* noop */};
503         
504         /* Add partition to list of partitions */
505         data->partitions = talloc_realloc(data, data->partitions, struct dsdb_partition *, i + 2);
506         if (!data->partitions) {
507                 ldb_oom(ldb);
508                 return LDB_ERR_OPERATIONS_ERROR;
509         }
510         data->partitions[i] = talloc_steal(data->partitions, partition);
511         data->partitions[i+1] = NULL;
512                 
513         /* Sort again (should use binary insert) */
514         qsort(data->partitions, i+1,
515               sizeof(*data->partitions), partition_sort_compare);
516
517         ret = partition_register(ldb, partition->ctrl, req);
518         if (ret != LDB_SUCCESS) {
519                 return ret;
520         }               
521
522         /* send request done */
523         return ldb_module_done(req, NULL, NULL, LDB_SUCCESS);
524 }
525
526
527 int partition_init(struct ldb_module *module)
528 {
529         int ret, i;
530         TALLOC_CTX *mem_ctx = talloc_new(module);
531         struct ldb_context *ldb = ldb_module_get_ctx(module);
532         struct ldb_message *msg;
533         struct ldb_message_element *partition_attributes;
534
535         struct partition_private_data *data;
536
537         if (!mem_ctx) {
538                 return LDB_ERR_OPERATIONS_ERROR;
539         }
540
541         data = talloc_zero(mem_ctx, struct partition_private_data);
542         if (data == NULL) {
543                 return LDB_ERR_OPERATIONS_ERROR;
544         }
545
546         ret = partition_reload_metadata(module, data, mem_ctx, &msg);
547         if (ret != LDB_SUCCESS) {
548                 return ret;
549         }
550
551         partition_attributes = ldb_msg_find_element(msg, "partition");
552         if (!partition_attributes) {
553                 data->partitions = NULL;
554         } else {
555                 data->partitions = talloc_array(data, struct dsdb_partition *, partition_attributes->num_values + 1);
556                 if (!data->partitions) {
557                         ldb_oom(ldb_module_get_ctx(module));
558                         talloc_free(mem_ctx);
559                         return LDB_ERR_OPERATIONS_ERROR;
560                 }
561         }
562         for (i=0; partition_attributes && i < partition_attributes->num_values; i++) {
563                 struct ldb_dn *dn = ldb_dn_from_ldb_val(mem_ctx, ldb, &partition_attributes->values[i]);
564                 if (!dn) {
565                         ldb_asprintf_errstring(ldb_module_get_ctx(module), 
566                                                "partition_init: invalid DN in partition record: %s", (const char *)partition_attributes->values[i].data);
567                         talloc_free(mem_ctx);
568                         return LDB_ERR_CONSTRAINT_VIOLATION;
569                 }
570         
571                 ret = new_partition_from_dn(ldb, data, data->partitions, dn, &data->partitions[i]);
572                 if (ret != LDB_SUCCESS) {
573                         talloc_free(mem_ctx);
574                         return ret;
575                 }
576         }
577
578         if (data->partitions) {
579                 data->partitions[i] = NULL;
580
581                 /* sort these into order, most to least specific */
582                 qsort(data->partitions, partition_attributes->num_values,
583                       sizeof(*data->partitions), partition_sort_compare);
584         }
585
586         for (i=0; data->partitions && data->partitions[i]; i++) {
587                 ret = partition_register(ldb, data->partitions[i]->ctrl, mem_ctx);
588                 if (ret != LDB_SUCCESS) {
589                         return ret;
590                 }
591         }
592
593         ret = ldb_mod_register_control(module, LDB_CONTROL_DOMAIN_SCOPE_OID);
594         if (ret != LDB_SUCCESS) {
595                 ldb_debug(ldb_module_get_ctx(module), LDB_DEBUG_ERROR,
596                         "partition: Unable to register control with rootdse!\n");
597                 return LDB_ERR_OPERATIONS_ERROR;
598         }
599
600         ret = ldb_mod_register_control(module, LDB_CONTROL_SEARCH_OPTIONS_OID);
601         if (ret != LDB_SUCCESS) {
602                 ldb_debug(ldb_module_get_ctx(module), LDB_DEBUG_ERROR,
603                         "partition: Unable to register control with rootdse!\n");
604                 return LDB_ERR_OPERATIONS_ERROR;
605         }
606
607         module->private_data = talloc_steal(module, data);
608
609         talloc_free(mem_ctx);
610         return ldb_next_init(module);
611 }