r19831: Big ldb_dn optimization and interfaces enhancement patch
[jelmer/samba4-debian.git] / source / lib / ldb / ldb_tdb / ldb_tdb.c
index 1401052955a3b6a2272e0e8a7c8d2cf87ea754da..d950ab9cf02a2f4648582a1cbbe78373f5d868aa 100644 (file)
@@ -79,15 +79,14 @@ static int ltdb_err_map(enum TDB_ERROR tdb_code)
 
 
 struct ldb_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module *module,
-                                         void *context,
-                                         int (*callback)(struct ldb_context *, void *, struct ldb_reply *))
+                                   struct ldb_request *req)
 {
        struct ltdb_context *ac;
        struct ldb_handle *h;
 
-       h = talloc_zero(ltdb, struct ldb_handle);
+       h = talloc_zero(req, struct ldb_handle);
        if (h == NULL) {
-               ldb_set_errstring(module->ldb, talloc_asprintf(module, "Out of Memory"));
+               ldb_set_errstring(module->ldb, "Out of Memory");
                return NULL;
        }
 
@@ -95,7 +94,7 @@ struct ldb_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module
 
        ac = talloc_zero(h, struct ltdb_context);
        if (ac == NULL) {
-               ldb_set_errstring(module->ldb, talloc_asprintf(module, "Out of Memory"));
+               ldb_set_errstring(module->ldb, "Out of Memory");
                talloc_free(h);
                return NULL;
        }
@@ -106,8 +105,8 @@ struct ldb_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module
        h->status = LDB_SUCCESS;
 
        ac->module = module;
-       ac->context = context;
-       ac->callback = callback;
+       ac->context = req->context;
+       ac->callback = req->callback;
 
        return h;
 }
@@ -119,7 +118,7 @@ struct ldb_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module
   note that the key for a record can depend on whether the 
   dn refers to a case sensitive index record or not
 */
-struct TDB_DATA ltdb_key(struct ldb_module *module, const struct ldb_dn *dn)
+struct TDB_DATA ltdb_key(struct ldb_module *module, struct ldb_dn *dn)
 {
        struct ldb_context *ldb = module->ldb;
        TDB_DATA key;
@@ -138,15 +137,13 @@ struct TDB_DATA ltdb_key(struct ldb_module *module, const struct ldb_dn *dn)
             the rest
        */
 
-       dn_folded = ldb_dn_linearize_casefold(ldb, dn);
+       dn_folded = ldb_dn_get_casefold(dn);
        if (!dn_folded) {
                goto failed;
        }
 
        key_str = talloc_asprintf(ldb, "DN=%s", dn_folded);
 
-       talloc_free(dn_folded);
-
        if (!key_str) {
                goto failed;
        }
@@ -181,10 +178,7 @@ int ltdb_check_special_dn(struct ldb_module *module, const struct ldb_message *m
        for (i = 0; i < msg->num_elements; i++) {
                for (j = 0; j < msg->elements[i].num_values; j++) {
                        if (ltdb_check_at_attributes_values(&msg->elements[i].values[j]) != 0) {
-                               char *err_string = talloc_strdup(module, "Invalid attribute value in an @ATTRIBUTES entry");
-                               if (err_string) {
-                                       ldb_set_errstring(module->ldb, err_string);
-                               }
+                               ldb_set_errstring(module->ldb, "Invalid attribute value in an @ATTRIBUTES entry");
                                return LDB_ERR_INVALID_ATTRIBUTE_SYNTAX;
                        }
                }
@@ -198,7 +192,7 @@ int ltdb_check_special_dn(struct ldb_module *module, const struct ldb_message *m
   we've made a modification to a dn - possibly reindex and 
   update sequence number
 */
-static int ltdb_modified(struct ldb_module *module, const struct ldb_dn *dn)
+static int ltdb_modified(struct ldb_module *module, struct ldb_dn *dn)
 {
        int ret = 0;
 
@@ -222,7 +216,8 @@ static int ltdb_modified(struct ldb_module *module, const struct ldb_dn *dn)
 */
 int ltdb_store(struct ldb_module *module, const struct ldb_message *msg, int flgs)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key, tdb_data;
        int ret;
 
@@ -270,16 +265,27 @@ static int ltdb_add_internal(struct ldb_module *module, const struct ldb_message
        }
 
        ret = ltdb_store(module, msg, TDB_INSERT);
-       if (ret != LDB_SUCCESS) {
+
+       if (ret == LDB_ERR_ENTRY_ALREADY_EXISTS) {
+               char *dn;
+
+               dn = ldb_dn_linearize(module, msg->dn);
+               if (!dn) {
+                       return ret;
+               }
+               ldb_asprintf_errstring(module->ldb, "Entry %s already exists", dn);
+               talloc_free(dn);
                return ret;
        }
-
-       ret = ltdb_modified(module, msg->dn);
-       if (ret != LDB_SUCCESS) {
-               return LDB_ERR_OPERATIONS_ERROR;
+       
+       if (ret == LDB_SUCCESS) {
+               ret = ltdb_modified(module, msg->dn);
+               if (ret != LDB_SUCCESS) {
+                       return LDB_ERR_OPERATIONS_ERROR;
+               }
        }
 
-       return LDB_SUCCESS;
+       return ret;
 }
 
 /*
@@ -298,7 +304,7 @@ static int ltdb_add(struct ldb_module *module, struct ldb_request *req)
                }
        }
        
-       req->handle = init_ltdb_handle(ltdb, module, req->context, req->callback);
+       req->handle = init_ltdb_handle(ltdb, module, req);
        if (req->handle == NULL) {
                return LDB_ERR_OPERATIONS_ERROR;
        }
@@ -322,9 +328,10 @@ done:
   delete a record from the database, not updating indexes (used for deleting
   index records)
 */
-int ltdb_delete_noindex(struct ldb_module *module, const struct ldb_dn *dn)
+int ltdb_delete_noindex(struct ldb_module *module, struct ldb_dn *dn)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key;
        int ret;
 
@@ -343,7 +350,7 @@ int ltdb_delete_noindex(struct ldb_module *module, const struct ldb_dn *dn)
        return ret;
 }
 
-static int ltdb_delete_internal(struct ldb_module *module, const struct ldb_dn *dn)
+static int ltdb_delete_internal(struct ldb_module *module, struct ldb_dn *dn)
 {
        struct ldb_message *msg;
        int ret;
@@ -377,6 +384,7 @@ static int ltdb_delete_internal(struct ldb_module *module, const struct ldb_dn *
 
        ret = ltdb_modified(module, dn);
        if (ret != LDB_SUCCESS) {
+               talloc_free(msg);
                return LDB_ERR_OPERATIONS_ERROR;
        }
 
@@ -406,7 +414,7 @@ static int ltdb_delete(struct ldb_module *module, struct ldb_request *req)
                return LDB_ERR_OPERATIONS_ERROR;
        }
 
-       req->handle = init_ltdb_handle(ltdb, module, req->context, req->callback);
+       req->handle = init_ltdb_handle(ltdb, module, req);
        if (req->handle == NULL) {
                return LDB_ERR_OPERATIONS_ERROR;
        }
@@ -581,7 +589,8 @@ static int msg_delete_element(struct ldb_module *module,
 int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *msg)
 {
        struct ldb_context *ldb = module->ldb;
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key, tdb_data;
        struct ldb_message *msg2;
        unsigned i, j;
@@ -618,7 +627,6 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                struct ldb_message_element *el = &msg->elements[i];
                struct ldb_message_element *el2;
                struct ldb_val *vals;
-               char *err_string;
                char *dn;
 
                switch (msg->elements[i].flags & LDB_FLAG_MOD_MASK) {
@@ -643,8 +651,7 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
 
                        for (j=0;j<el->num_values;j++) {
                                if (ldb_msg_find_val(el2, &el->values[j])) {
-                                       err_string = talloc_strdup(module, "Type or value exists");
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_set_errstring(module->ldb, "Type or value exists");
                                        ret = LDB_ERR_ATTRIBUTE_OR_VALUE_EXISTS;
                                        goto failed;
                                }
@@ -694,8 +701,7 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                        if (msg->elements[i].num_values == 0) {
                                if (msg_delete_attribute(module, ldb, msg2, 
                                                         msg->elements[i].name) != 0) {
-                                       err_string = talloc_asprintf(module, "No such attribute: %s", msg->elements[i].name);
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_asprintf_errstring(module->ldb, "No such attribute: %s for delete on %s", msg->elements[i].name, dn);
                                        ret = LDB_ERR_NO_SUCH_ATTRIBUTE;
                                        goto failed;
                                }
@@ -706,8 +712,7 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                                                       msg2, 
                                                       msg->elements[i].name,
                                                       &msg->elements[i].values[j]) != 0) {
-                                       err_string = talloc_asprintf(module, "No such attribute: %s", msg->elements[i].name);
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_asprintf_errstring(module->ldb, "No matching attribute value when deleting attribute: %s on %s", msg->elements[i].name, dn);
                                        ret = LDB_ERR_NO_SUCH_ATTRIBUTE;
                                        goto failed;
                                }
@@ -718,10 +723,9 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                        }
                        break;
                default:
-                       err_string = talloc_asprintf(module, "Invalid ldb_modify flags on %s: 0x%x", 
-                                                    msg->elements[i].name, 
-                                                    msg->elements[i].flags & LDB_FLAG_MOD_MASK);
-                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                       ldb_asprintf_errstring(module->ldb, "Invalid ldb_modify flags on %s: 0x%x", 
+                                                            msg->elements[i].name, 
+                                                            msg->elements[i].flags & LDB_FLAG_MOD_MASK);
                        ret = LDB_ERR_PROTOCOL_ERROR;
                        goto failed;
                }
@@ -766,7 +770,7 @@ static int ltdb_modify(struct ldb_module *module, struct ldb_request *req)
        
        req->handle = NULL;
 
-       req->handle = init_ltdb_handle(ltdb, module, req->context, req->callback);
+       req->handle = init_ltdb_handle(ltdb, module, req);
        if (req->handle == NULL) {
                return LDB_ERR_OPERATIONS_ERROR;
        }
@@ -820,7 +824,7 @@ static int ltdb_rename(struct ldb_module *module, struct ldb_request *req)
                return LDB_ERR_OPERATIONS_ERROR;
        }
 
-       req->handle = init_ltdb_handle(ltdb, module, req->context, req->callback);
+       req->handle = init_ltdb_handle(ltdb, module, req);
        if (req->handle == NULL) {
                return LDB_ERR_OPERATIONS_ERROR;
        }
@@ -870,7 +874,8 @@ done:
 
 static int ltdb_start_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_start(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -881,7 +886,8 @@ static int ltdb_start_trans(struct ldb_module *module)
 
 static int ltdb_end_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_commit(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -892,7 +898,8 @@ static int ltdb_end_trans(struct ldb_module *module)
 
 static int ltdb_del_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_cancel(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -927,7 +934,7 @@ static int ltdb_sequence_number(struct ldb_module *module, struct ldb_request *r
 {
        TALLOC_CTX *tmp_ctx = talloc_new(req);
        struct ldb_message *msg = NULL;
-       struct ldb_dn *dn = ldb_dn_explode(tmp_ctx, LTDB_BASEINFO);
+       struct ldb_dn *dn = ldb_dn_new(tmp_ctx, module->ldb, LTDB_BASEINFO);
        int tret;
 
        if (tmp_ctx == NULL) {
@@ -941,6 +948,8 @@ static int ltdb_sequence_number(struct ldb_module *module, struct ldb_request *r
                return LDB_ERR_OPERATIONS_ERROR;
        }
 
+       req->op.seq_num.flags = 0;
+
        tret = ltdb_search_dn1(module, dn, msg);
        if (tret != 1) {
                talloc_free(tmp_ctx);
@@ -949,7 +958,26 @@ static int ltdb_sequence_number(struct ldb_module *module, struct ldb_request *r
                return LDB_SUCCESS;
        }
 
-       req->op.seq_num.seq_num = ldb_msg_find_uint64(msg, LTDB_SEQUENCE_NUMBER, 0);
+       switch (req->op.seq_num.type) {
+       case LDB_SEQ_HIGHEST_SEQ:
+               req->op.seq_num.seq_num = ldb_msg_find_attr_as_uint64(msg, LTDB_SEQUENCE_NUMBER, 0);
+               break;
+       case LDB_SEQ_NEXT:
+               req->op.seq_num.seq_num = ldb_msg_find_attr_as_uint64(msg, LTDB_SEQUENCE_NUMBER, 0);
+               req->op.seq_num.seq_num++;
+               break;
+       case LDB_SEQ_HIGHEST_TIMESTAMP:
+       {
+               const char *date = ldb_msg_find_attr_as_string(msg, LTDB_MOD_TIMESTAMP, NULL);
+               if (date) {
+                       req->op.seq_num.seq_num = ldb_string_to_time(date);
+               } else {
+                       req->op.seq_num.seq_num = 0;
+                       /* zero is as good as anything when we don't know */
+               }
+               break;
+       }
+       }
        talloc_free(tmp_ctx);
        return LDB_SUCCESS;
 }
@@ -991,7 +1019,7 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
                path = url;
        }
 
-       tdb_flags = TDB_DEFAULT;
+       tdb_flags = TDB_DEFAULT | TDB_SEQNUM;
 
        /* check for the 'nosync' option */
        if (flags & LDB_FLG_NOSYNC) {
@@ -1012,7 +1040,8 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
 
        /* note that we use quite a large default hash size */
        ltdb->tdb = ltdb_wrap_open(ltdb, path, 10000, 
-                                  tdb_flags, open_flags, 0666, ldb);
+                                  tdb_flags, open_flags, 
+                                  ldb->create_perms, ldb);
        if (!ltdb->tdb) {
                ldb_debug(ldb, LDB_DEBUG_ERROR, "Unable to open tdb '%s'\n", path);
                talloc_free(ltdb);
@@ -1027,11 +1056,18 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
                talloc_free(ltdb);
                return -1;
        }
+       talloc_set_name_const(*module, "ldb_tdb backend");
        (*module)->ldb = ldb;
        (*module)->prev = (*module)->next = NULL;
        (*module)->private_data = ltdb;
        (*module)->ops = &ltdb_ops;
 
+       if (ltdb_cache_load(*module) != 0) {
+               talloc_free(*module);
+               talloc_free(ltdb);
+               return -1;
+       }
+
        return 0;
 }