s4:dsdb Don't try and casefold DNs during startup for partition load
[ira/wip.git] / source4 / dsdb / samdb / ldb_modules / partition_init.c
1 /* 
2    Partitions ldb module
3
4    Copyright (C) Andrew Bartlett <abartlet@samba.org> 2006
5    Copyright (C) Stefan Metzmacher <metze@samba.org> 2007
6
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 /*
22  *  Name: ldb
23  *
24  *  Component: ldb partitions module
25  *
26  *  Description: Implement LDAP partitions
27  *
28  *  Author: Andrew Bartlett
29  *  Author: Stefan Metzmacher
30  */
31
32 #include "dsdb/samdb/ldb_modules/partition.h"
33 static int partition_sort_compare(const void *v1, const void *v2)
34 {
35         const struct dsdb_partition *p1;
36         const struct dsdb_partition *p2;
37
38         p1 = *((struct dsdb_partition * const*)v1);
39         p2 = *((struct dsdb_partition * const*)v2);
40
41         return ldb_dn_compare(p1->ctrl->dn, p2->ctrl->dn);
42 }
43
44 /* Load the list of DNs that we must replicate to all partitions */
45 static int partition_load_replicate_dns(struct ldb_context *ldb, struct partition_private_data *data, struct ldb_message *msg) 
46 {
47         struct ldb_message_element *replicate_attributes = ldb_msg_find_element(msg, "replicateEntries");
48
49         talloc_free(data->replicate);
50         if (!replicate_attributes) {
51                 data->replicate = NULL;
52         } else {
53                 int i;
54                 data->replicate = talloc_array(data, struct ldb_dn *, replicate_attributes->num_values + 1);
55                 if (!data->replicate) {
56                         return LDB_ERR_OPERATIONS_ERROR;
57                 }
58
59                 for (i=0; i < replicate_attributes->num_values; i++) {
60                         data->replicate[i] = ldb_dn_from_ldb_val(data->replicate, ldb, &replicate_attributes->values[i]);
61                         if (!ldb_dn_validate(data->replicate[i])) {
62                                 ldb_asprintf_errstring(ldb,
63                                                         "partition_init: "
64                                                         "invalid DN in partition replicate record: %s", 
65                                                         replicate_attributes->values[i].data);
66                                 return LDB_ERR_CONSTRAINT_VIOLATION;
67                         }
68                 }
69                 data->replicate[i] = NULL;
70         }
71         return LDB_SUCCESS;
72 }
73
74 /* Load the list of modules for the partitions */
75 static int partition_load_modules(struct ldb_context *ldb, 
76                                   struct partition_private_data *data, struct ldb_message *msg) 
77 {
78         int i;
79         struct ldb_message_element *modules_attributes = ldb_msg_find_element(msg, "modules");
80         talloc_free(data->modules);
81         if (!modules_attributes) {
82                 return LDB_SUCCESS;
83         }
84         
85         data->modules = talloc_array(data, struct partition_module *, modules_attributes->num_values + 1);
86         if (!data->modules) {
87                 ldb_oom(ldb);
88                 return LDB_ERR_OPERATIONS_ERROR;
89         }
90         
91         for (i=0; i < modules_attributes->num_values; i++) {
92                 char *base;
93                 char *p;
94
95                 data->modules[i] = talloc(data->modules, struct partition_module);
96                 if (!data->modules[i]) {
97                         ldb_oom(ldb);
98                         return LDB_ERR_OPERATIONS_ERROR;
99                 }
100
101                 base = talloc_strdup(data->partitions, (char *)modules_attributes->values[i].data);
102                 p = strchr(base, ':');
103                 if (!p) {
104                         ldb_asprintf_errstring(ldb, 
105                                                "partition_load_modules: "
106                                                "invalid form for partition module record (missing ':'): %s", base);
107                         return LDB_ERR_CONSTRAINT_VIOLATION;
108                 }
109                 p[0] = '\0';
110                 p++;
111                 data->modules[i]->modules = ldb_modules_list_from_string(ldb, data->modules[i],
112                                                                          p);
113                 
114                 if (strcmp(base, "*") == 0) {
115                         data->modules[i]->dn = NULL;
116                 } else {
117                         data->modules[i]->dn = ldb_dn_new(data->modules[i], ldb, base);
118                         if (!data->modules[i]->dn || !ldb_dn_validate(data->modules[i]->dn)) {
119                                 return LDB_ERR_OPERATIONS_ERROR;
120                         }
121                 }
122         }
123         return LDB_SUCCESS;
124 }
125
126 static int partition_reload_metadata(struct ldb_module *module, struct partition_private_data *data, TALLOC_CTX *mem_ctx, struct ldb_message **_msg) 
127 {
128         int ret;
129         struct ldb_message *msg;
130         struct ldb_result *res;
131         struct ldb_context *ldb = ldb_module_get_ctx(module);
132         const char *attrs[] = { "partition", "replicateEntries", "modules", NULL };
133         /* perform search for @PARTITION, looking for module, replicateEntries and ldapBackend */
134         ret = dsdb_module_search_dn(module, mem_ctx, &res, 
135                                     ldb_dn_new(mem_ctx, ldb, DSDB_PARTITION_DN),
136                                     attrs);
137         if (ret != LDB_SUCCESS) {
138                 return ret;
139         }
140
141         msg = res->msgs[0];
142
143         ret = partition_load_replicate_dns(ldb, data, msg);
144         if (ret != LDB_SUCCESS) {
145                 return ret;
146         }
147
148         ret = partition_load_modules(ldb, data, msg);                   
149         if (ret != LDB_SUCCESS) {
150                 return ret;
151         }
152
153         data->ldapBackend = talloc_steal(data, ldb_msg_find_attr_as_string(msg, "ldapBackend", NULL));
154         if (_msg) {
155                 *_msg = msg;
156         } else {
157                 talloc_free(msg);
158         }
159         return LDB_SUCCESS;
160 }
161
162 static const char **find_modules_for_dn(struct partition_private_data *data, struct ldb_dn *dn) 
163 {
164         int i;
165         struct partition_module *default_mod = NULL;
166         for (i=0; data->modules && data->modules[i]; i++) {
167                 if (!data->modules[i]->dn) {
168                         default_mod = data->modules[i];
169                 } else if (ldb_dn_compare(dn, data->modules[i]->dn) == 0) {
170                         return data->modules[i]->modules;
171                 }
172         }
173         if (default_mod) {
174                 return default_mod->modules;
175         } else {
176                 return NULL;
177         }
178 }
179
180 static int new_partition_from_dn(struct ldb_context *ldb, struct partition_private_data *data, 
181                                  TALLOC_CTX *mem_ctx, 
182                                  struct ldb_dn *dn, const char *casefold_dn,
183                                  struct dsdb_partition **partition) {
184         const char *backend_name;
185         const char *full_backend;
186         struct dsdb_control_current_partition *ctrl;
187         struct ldb_module *module;
188         const char **modules;
189         int ret;
190
191         (*partition) = talloc(mem_ctx, struct dsdb_partition);
192         if (!*partition) {
193                 return LDB_ERR_OPERATIONS_ERROR;
194         }
195
196         (*partition)->ctrl = ctrl = talloc((*partition), struct dsdb_control_current_partition);
197         if (!ctrl) {
198                 talloc_free(*partition);
199                 ldb_oom(ldb);
200                 return LDB_ERR_OPERATIONS_ERROR;
201         }
202
203         /* See if an LDAP backend has been specified */
204         if (data->ldapBackend) {
205                 backend_name = data->ldapBackend;
206         } else {
207
208                 /* the backend LDB is the DN (base64 encoded if not 'plain') followed by .ldb */
209                 const char *p;
210                 char *base64_dn = NULL;
211                 for (p = casefold_dn; *p; p++) {
212                         /* We have such a strict check because I don't want shell metacharacters in the file name, nor ../ */
213                         if (!(isalnum(*p) || *p == ' ' || *p == '=' || *p == ',')) {
214                                 break;
215                         }
216                 }
217                 if (*p) {
218                         casefold_dn = base64_dn = ldb_base64_encode(data, casefold_dn, strlen(casefold_dn));
219                 }
220                 
221                 backend_name = talloc_asprintf(data, "%s.ldb", casefold_dn); 
222                 if (base64_dn) {
223                         talloc_free(base64_dn);
224                 }
225         }
226
227         ctrl->version = DSDB_CONTROL_CURRENT_PARTITION_VERSION;
228         ctrl->dn = talloc_steal(ctrl, dn);
229         
230         full_backend = samdb_relative_path(ldb, 
231                                            *partition, 
232                                            backend_name);
233         if (!full_backend) {
234                 ldb_asprintf_errstring(ldb_module_get_ctx(module), 
235                                        "partition_init: unable to determine an relative path for partition: %s", backend_name);
236                 talloc_free(*partition);
237                 return LDB_ERR_OPERATIONS_ERROR;                
238         }
239
240         ret = ldb_connect_backend(ldb, full_backend, NULL, &module);
241         if (ret != LDB_SUCCESS) {
242                 return ret;
243         }
244
245         modules = find_modules_for_dn(data, dn);
246
247         ret = ldb_load_modules_list(ldb, modules, module, &(*partition)->module);
248         if (ret != LDB_SUCCESS) {
249                 ldb_asprintf_errstring(ldb, 
250                                        "partition_init: "
251                                        "loading backend for %s failed: %s", 
252                                        ldb_dn_get_linearized(dn), ldb_errstring(ldb));
253                 talloc_free(*partition);
254                 return ret;
255         }
256         ret = ldb_init_module_chain(ldb, (*partition)->module);
257         if (ret != LDB_SUCCESS) {
258                 ldb_asprintf_errstring(ldb,
259                                        "partition_init: "
260                                        "initialising backend for %s failed: %s", 
261                                        ldb_dn_get_linearized(dn), ldb_errstring(ldb));
262                 talloc_free(*partition);
263                 return ret;
264         }
265
266         talloc_steal((*partition), (*partition)->module);
267
268         return ret;
269 }
270
271 static int partition_register(struct ldb_context *ldb, struct dsdb_control_current_partition *ctrl, TALLOC_CTX *mem_ctx) 
272 {
273         struct ldb_request *req;
274         int ret;
275
276         req = talloc_zero(mem_ctx, struct ldb_request);
277         if (req == NULL) {
278                 ldb_oom(ldb);
279                 return LDB_ERR_OPERATIONS_ERROR;
280         }
281                 
282         req->operation = LDB_REQ_REGISTER_PARTITION;
283         req->op.reg_partition.dn = ctrl->dn;
284         req->callback = ldb_op_default_callback;
285
286         ldb_set_timeout(ldb, req, 0);
287         
288         req->handle = ldb_handle_new(req, ldb);
289         if (req->handle == NULL) {
290                 return LDB_ERR_OPERATIONS_ERROR;
291         }
292         
293         ret = ldb_request(ldb, req);
294         if (ret == LDB_SUCCESS) {
295                 ret = ldb_wait(req->handle, LDB_WAIT_ALL);
296         }
297         if (ret != LDB_SUCCESS) {
298                 ldb_debug(ldb, LDB_DEBUG_ERROR, "partition: Unable to register partition with rootdse!\n");
299                 talloc_free(mem_ctx);
300                 return LDB_ERR_OTHER;
301         }
302         talloc_free(req);
303
304         return LDB_SUCCESS;
305 }
306
307 int partition_create(struct ldb_module *module, struct ldb_request *req)
308 {
309         int i, ret;
310         struct ldb_context *ldb = ldb_module_get_ctx(module);
311         struct ldb_request *mod_req, *last_req;
312         struct ldb_message *mod_msg;
313         struct partition_private_data *data;
314         struct dsdb_partition *partition;
315         const char *casefold_dn;
316
317         /* Check if this is already a partition */
318
319         struct dsdb_create_partition_exop *ex_op = talloc_get_type(req->op.extended.data, struct dsdb_create_partition_exop);
320         struct ldb_dn *dn = ex_op->new_dn;
321
322         data = talloc_get_type(module->private_data, struct partition_private_data);
323         if (!data) {
324                 return LDB_ERR_OPERATIONS_ERROR;
325         }
326         
327         if (!data) {
328                 /* We are not going to create a partition before we are even set up */
329                 return LDB_ERR_UNWILLING_TO_PERFORM;
330         }
331
332         for (i=0; data->partitions && data->partitions[i]; i++) {
333                 if (ldb_dn_compare(data->partitions[i]->ctrl->dn, dn) == 0) {
334                         return LDB_ERR_ATTRIBUTE_OR_VALUE_EXISTS;
335                 }
336         }
337
338         mod_msg = ldb_msg_new(req);
339         if (!mod_msg) {
340                 ldb_oom(ldb);
341                 return LDB_ERR_OPERATIONS_ERROR;
342         }
343
344         mod_msg->dn = ldb_dn_new(mod_msg, ldb, DSDB_PARTITION_DN);
345         ret = ldb_msg_add_empty(mod_msg, DSDB_PARTITION_ATTR, LDB_FLAG_MOD_ADD, NULL);
346         if (ret != LDB_SUCCESS) {
347                 return ret;
348         }
349
350         casefold_dn = ldb_dn_get_casefold(dn);
351
352         ret = ldb_msg_add_string(mod_msg, DSDB_PARTITION_ATTR, casefold_dn);
353         if (ret != LDB_SUCCESS) {
354                 return ret;
355         }
356
357         /* Perform modify on @PARTITION record */
358         ret = ldb_build_mod_req(&mod_req, ldb, req, mod_msg, NULL, NULL, 
359                                 ldb_op_default_callback, req);
360
361         if (ret != LDB_SUCCESS) {
362                 return ret;
363         }
364                 
365         ret = ldb_next_request(module, mod_req);
366         if (ret == LDB_SUCCESS) {
367                 ret = ldb_wait(mod_req->handle, LDB_WAIT_ALL);
368         }
369
370         if (ret != LDB_SUCCESS) {
371                 return ret;
372         }
373
374         ret = partition_reload_metadata(module, data, req, NULL);
375         if (ret != LDB_SUCCESS) {
376                 return ret;
377         }
378
379         /* Make a partition structure for this new partition, so we can copy in the template structure */ 
380         ret = new_partition_from_dn(ldb, data, req, ldb_dn_copy(req, dn), casefold_dn, &partition);
381         if (ret != LDB_SUCCESS) {
382                 return ret;
383         }
384
385         /* Start a transaction on the DB (as it won't be in one being brand new) */
386         {
387                 struct ldb_module *next = partition->module;
388                 PARTITION_FIND_OP(next, start_transaction);
389
390                 ret = next->ops->start_transaction(next);
391                 if (ret != LDB_SUCCESS) {
392                         return ret;
393                 }
394         }
395         
396         /* otherwise, for each replicate, copy from main partition.  If we get an error, we report it up the chain */
397         last_req = mod_req;
398         for (i=0; data->replicate && data->replicate[i]; i++) {
399                 struct ldb_result *replicate_res;
400                 struct ldb_request *add_req;
401                 ret = dsdb_module_search_dn(module, req, &replicate_res, 
402                                             data->replicate[i],
403                                             NULL);
404                 if (ret == LDB_ERR_NO_SUCH_OBJECT) {
405                         continue;
406                 }
407                 if (ret != LDB_SUCCESS) {
408                         ldb_asprintf_errstring(ldb,
409                                                "Failed to search for %s from " DSDB_PARTITION_DN 
410                                                " replicateEntries for new partition at %s: %s", 
411                                                ldb_dn_get_linearized(data->replicate[i]), 
412                                                ldb_dn_get_linearized(partition->ctrl->dn), 
413                                                ldb_errstring(ldb));
414                         return ret;
415                 }
416
417                 /* Build add request */
418                 ret = ldb_build_add_req(&add_req, ldb, replicate_res, replicate_res->msgs[0], NULL, NULL, 
419                                         ldb_op_default_callback, last_req);
420                 last_req = add_req;
421                 if (ret != LDB_SUCCESS) {
422                         /* return directly, this is a very unlikely error */
423                         return ret;
424                 }
425                 /* do request */
426                 ret = ldb_next_request(partition->module, add_req);
427                 /* wait */
428                 if (ret == LDB_SUCCESS) {
429                         ret = ldb_wait(add_req->handle, LDB_WAIT_ALL);
430                 }
431                 
432                 switch (ret) {
433                 case LDB_SUCCESS:
434                         break;
435
436                 case LDB_ERR_ENTRY_ALREADY_EXISTS:
437                         /* Handle this case specially - if the
438                          * metadata already exists, replace it */
439                 {
440                         struct ldb_request *del_req;
441                         
442                         /* Don't leave a confusing string in the ldb_errstring() */
443                         ldb_reset_err_string(ldb);
444                         /* Build del request */
445                         ret = ldb_build_del_req(&del_req, ldb, replicate_res, replicate_res->msgs[0]->dn, NULL, NULL, 
446                                                 ldb_op_default_callback, last_req);
447                         last_req = del_req;
448                         if (ret != LDB_SUCCESS) {
449                                 /* return directly, this is a very unlikely error */
450                                 return ret;
451                         }
452                         /* do request */
453                         ret = ldb_next_request(partition->module, del_req);
454                         
455                         /* wait */
456                         if (ret == LDB_SUCCESS) {
457                                 ret = ldb_wait(del_req->handle, LDB_WAIT_ALL);
458                         }
459                         if (ret != LDB_SUCCESS) {
460                                 ldb_asprintf_errstring(ldb,
461                                                        "Failed to delete  (for re-add) %s from " DSDB_PARTITION_DN 
462                                                        " replicateEntries in new partition at %s: %s", 
463                                                        ldb_dn_get_linearized(data->replicate[i]), 
464                                                        ldb_dn_get_linearized(partition->ctrl->dn), 
465                                                        ldb_errstring(ldb));
466                                 return ret;
467                         }
468                         
469                         /* Build add request */
470                         ret = ldb_build_add_req(&add_req, ldb, replicate_res, replicate_res->msgs[0], NULL, NULL, 
471                                                 ldb_op_default_callback, last_req);
472                         last_req = add_req;
473                         if (ret != LDB_SUCCESS) {
474                                 /* return directly, this is a very unlikely error */
475                                 return ret;
476                         }
477                         
478                         /* do the add again */
479                         ret = ldb_next_request(partition->module, add_req);
480                         
481                         /* wait */
482                         if (ret == LDB_SUCCESS) {
483                                 ret = ldb_wait(add_req->handle, LDB_WAIT_ALL);
484                         }
485
486                         if (ret != LDB_SUCCESS) {
487                                 ldb_asprintf_errstring(ldb,
488                                                        "Failed to add (after delete) %s from " DSDB_PARTITION_DN 
489                                                        " replicateEntries to new partition at %s: %s", 
490                                                        ldb_dn_get_linearized(data->replicate[i]), 
491                                                        ldb_dn_get_linearized(partition->ctrl->dn), 
492                                                        ldb_errstring(ldb));
493                                 return ret;
494                         }
495                         break;
496                 }
497                 default: 
498                 {
499                         ldb_asprintf_errstring(ldb,
500                                                "Failed to add %s from " DSDB_PARTITION_DN 
501                                                " replicateEntries to new partition at %s: %s", 
502                                                ldb_dn_get_linearized(data->replicate[i]), 
503                                                ldb_dn_get_linearized(partition->ctrl->dn), 
504                                                ldb_errstring(ldb));
505                         return ret;
506                 }
507                 }
508
509                 /* And around again, for the next thing we must merge */
510         }
511
512         /* Count the partitions */
513         for (i=0; data->partitions && data->partitions[i]; i++) { /* noop */};
514         
515         /* Add partition to list of partitions */
516         data->partitions = talloc_realloc(data, data->partitions, struct dsdb_partition *, i + 2);
517         if (!data->partitions) {
518                 ldb_oom(ldb);
519                 return LDB_ERR_OPERATIONS_ERROR;
520         }
521         data->partitions[i] = talloc_steal(data->partitions, partition);
522         data->partitions[i+1] = NULL;
523                 
524         /* Sort again (should use binary insert) */
525         qsort(data->partitions, i+1,
526               sizeof(*data->partitions), partition_sort_compare);
527
528         ret = partition_register(ldb, partition->ctrl, req);
529         if (ret != LDB_SUCCESS) {
530                 return ret;
531         }               
532
533         /* send request done */
534         return ldb_module_done(req, NULL, NULL, LDB_SUCCESS);
535 }
536
537
538 int partition_init(struct ldb_module *module)
539 {
540         int ret, i;
541         TALLOC_CTX *mem_ctx = talloc_new(module);
542         struct ldb_context *ldb = ldb_module_get_ctx(module);
543         struct ldb_message *msg;
544         struct ldb_message_element *partition_attributes;
545
546         struct partition_private_data *data;
547
548         if (!mem_ctx) {
549                 return LDB_ERR_OPERATIONS_ERROR;
550         }
551
552         data = talloc_zero(mem_ctx, struct partition_private_data);
553         if (data == NULL) {
554                 return LDB_ERR_OPERATIONS_ERROR;
555         }
556
557         ret = partition_reload_metadata(module, data, mem_ctx, &msg);
558         if (ret != LDB_SUCCESS) {
559                 return ret;
560         }
561
562         partition_attributes = ldb_msg_find_element(msg, "partition");
563         if (!partition_attributes) {
564                 data->partitions = NULL;
565         } else {
566                 data->partitions = talloc_array(data, struct dsdb_partition *, partition_attributes->num_values + 1);
567                 if (!data->partitions) {
568                         ldb_oom(ldb_module_get_ctx(module));
569                         talloc_free(mem_ctx);
570                         return LDB_ERR_OPERATIONS_ERROR;
571                 }
572         }
573         for (i=0; partition_attributes && i < partition_attributes->num_values; i++) {
574                 struct ldb_dn *dn = ldb_dn_from_ldb_val(mem_ctx, ldb, &partition_attributes->values[i]);
575                 if (!dn) {
576                         ldb_asprintf_errstring(ldb_module_get_ctx(module), 
577                                                "partition_init: invalid DN in partition record: %s", (const char *)partition_attributes->values[i].data);
578                         talloc_free(mem_ctx);
579                         return LDB_ERR_CONSTRAINT_VIOLATION;
580                 }
581         
582                 /* We call ldb_dn_get_linearized() because the DN in
583                  * partition_attributes is already casefolded
584                  * correctly.  We don't want to mess that up as the
585                  * schema isn't loaded yet */
586                 ret = new_partition_from_dn(ldb, data, data->partitions, dn, 
587                                             ldb_dn_get_linearized(dn),
588                                             &data->partitions[i]);
589                 if (ret != LDB_SUCCESS) {
590                         talloc_free(mem_ctx);
591                         return ret;
592                 }
593         }
594
595         if (data->partitions) {
596                 data->partitions[i] = NULL;
597
598                 /* sort these into order, most to least specific */
599                 qsort(data->partitions, partition_attributes->num_values,
600                       sizeof(*data->partitions), partition_sort_compare);
601         }
602
603         for (i=0; data->partitions && data->partitions[i]; i++) {
604                 ret = partition_register(ldb, data->partitions[i]->ctrl, mem_ctx);
605                 if (ret != LDB_SUCCESS) {
606                         return ret;
607                 }
608         }
609
610         ret = ldb_mod_register_control(module, LDB_CONTROL_DOMAIN_SCOPE_OID);
611         if (ret != LDB_SUCCESS) {
612                 ldb_debug(ldb_module_get_ctx(module), LDB_DEBUG_ERROR,
613                         "partition: Unable to register control with rootdse!\n");
614                 return LDB_ERR_OPERATIONS_ERROR;
615         }
616
617         ret = ldb_mod_register_control(module, LDB_CONTROL_SEARCH_OPTIONS_OID);
618         if (ret != LDB_SUCCESS) {
619                 ldb_debug(ldb_module_get_ctx(module), LDB_DEBUG_ERROR,
620                         "partition: Unable to register control with rootdse!\n");
621                 return LDB_ERR_OPERATIONS_ERROR;
622         }
623
624         module->private_data = talloc_steal(module, data);
625
626         talloc_free(mem_ctx);
627         return ldb_next_init(module);
628 }