r19831: Big ldb_dn optimization and interfaces enhancement patch
[jelmer/samba4-debian.git] / source / lib / ldb / ldb_tdb / ldb_tdb.c
index c0e070de694855c1ba9abb0b87965e32a8b1c1df..d950ab9cf02a2f4648582a1cbbe78373f5d868aa 100644 (file)
@@ -78,33 +78,35 @@ static int ltdb_err_map(enum TDB_ERROR tdb_code)
 }
 
 
-struct ldb_async_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module *module,
-                                         void *context,
-                                         int (*callback)(struct ldb_context *, void *, struct ldb_async_result *))
+struct ldb_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_module *module,
+                                   struct ldb_request *req)
 {
-       struct ltdb_async_context *ac;
-       struct ldb_async_handle *h;
+       struct ltdb_context *ac;
+       struct ldb_handle *h;
 
-       h = talloc_zero(ltdb, struct ldb_async_handle);
+       h = talloc_zero(req, struct ldb_handle);
        if (h == NULL) {
-               ldb_set_errstring(module->ldb, talloc_asprintf(module, "Out of Memory"));
+               ldb_set_errstring(module->ldb, "Out of Memory");
                return NULL;
        }
 
        h->module = module;
 
-       ac = talloc_zero(h, struct ltdb_async_context);
+       ac = talloc_zero(h, struct ltdb_context);
        if (ac == NULL) {
-               ldb_set_errstring(module->ldb, talloc_asprintf(module, "Out of Memory"));
+               ldb_set_errstring(module->ldb, "Out of Memory");
                talloc_free(h);
                return NULL;
        }
 
        h->private_data = (void *)ac;
 
+       h->state = LDB_ASYNC_INIT;
+       h->status = LDB_SUCCESS;
+
        ac->module = module;
-       ac->context = context;
-       ac->callback = callback;
+       ac->context = req->context;
+       ac->callback = req->callback;
 
        return h;
 }
@@ -116,7 +118,7 @@ struct ldb_async_handle *init_ltdb_handle(struct ltdb_private *ltdb, struct ldb_
   note that the key for a record can depend on whether the 
   dn refers to a case sensitive index record or not
 */
-struct TDB_DATA ltdb_key(struct ldb_module *module, const struct ldb_dn *dn)
+struct TDB_DATA ltdb_key(struct ldb_module *module, struct ldb_dn *dn)
 {
        struct ldb_context *ldb = module->ldb;
        TDB_DATA key;
@@ -135,15 +137,13 @@ struct TDB_DATA ltdb_key(struct ldb_module *module, const struct ldb_dn *dn)
             the rest
        */
 
-       dn_folded = ldb_dn_linearize_casefold(ldb, dn);
+       dn_folded = ldb_dn_get_casefold(dn);
        if (!dn_folded) {
                goto failed;
        }
 
        key_str = talloc_asprintf(ldb, "DN=%s", dn_folded);
 
-       talloc_free(dn_folded);
-
        if (!key_str) {
                goto failed;
        }
@@ -178,10 +178,7 @@ int ltdb_check_special_dn(struct ldb_module *module, const struct ldb_message *m
        for (i = 0; i < msg->num_elements; i++) {
                for (j = 0; j < msg->elements[i].num_values; j++) {
                        if (ltdb_check_at_attributes_values(&msg->elements[i].values[j]) != 0) {
-                               char *err_string = talloc_strdup(module, "Invalid attribute value in an @ATTRIBUTES entry");
-                               if (err_string) {
-                                       ldb_set_errstring(module->ldb, err_string);
-                               }
+                               ldb_set_errstring(module->ldb, "Invalid attribute value in an @ATTRIBUTES entry");
                                return LDB_ERR_INVALID_ATTRIBUTE_SYNTAX;
                        }
                }
@@ -195,7 +192,7 @@ int ltdb_check_special_dn(struct ldb_module *module, const struct ldb_message *m
   we've made a modification to a dn - possibly reindex and 
   update sequence number
 */
-static int ltdb_modified(struct ldb_module *module, const struct ldb_dn *dn)
+static int ltdb_modified(struct ldb_module *module, struct ldb_dn *dn)
 {
        int ret = 0;
 
@@ -219,7 +216,8 @@ static int ltdb_modified(struct ldb_module *module, const struct ldb_dn *dn)
 */
 int ltdb_store(struct ldb_module *module, const struct ldb_message *msg, int flgs)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key, tdb_data;
        int ret;
 
@@ -253,65 +251,76 @@ done:
 }
 
 
-/*
-  add a record to the database
-*/
-static int ltdb_add_async(struct ldb_module *module, const struct ldb_message *msg,
-                         void *context,
-                         int (*callback)(struct ldb_context *, void *, struct ldb_async_result *),
-                         struct ldb_async_handle **handle)
+static int ltdb_add_internal(struct ldb_module *module, const struct ldb_message *msg)
 {
-       struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
-       struct ltdb_async_context *ltdb_ac;
-       int ret = LDB_ERR_OPERATIONS_ERROR;
-
-       *handle = init_ltdb_handle(ltdb, module, context, callback);
-       if (*handle == NULL) {
-               return ret;
-       }
-       ltdb_ac = talloc_get_type((*handle)->private_data, struct ltdb_async_context);
-       (*handle)->state = LDB_ASYNC_DONE;
-       (*handle)->status = LDB_SUCCESS;
-
+       int ret;
+       
        ret = ltdb_check_special_dn(module, msg);
        if (ret != LDB_SUCCESS) {
-               talloc_free(*handle);
                return ret;
        }
        
        if (ltdb_cache_load(module) != 0) {
-               talloc_free(*handle);
-               return LDB_ERR_OTHER;
+               return LDB_ERR_OPERATIONS_ERROR;
        }
 
        ret = ltdb_store(module, msg, TDB_INSERT);
 
-       if (ret != LDB_SUCCESS) {
-               (*handle)->status = ret;
-               return LDB_SUCCESS;
-       }
-
-       ltdb_modified(module, msg->dn);
+       if (ret == LDB_ERR_ENTRY_ALREADY_EXISTS) {
+               char *dn;
 
-       if (ltdb_ac->callback)
-               (*handle)->status = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
+               dn = ldb_dn_linearize(module, msg->dn);
+               if (!dn) {
+                       return ret;
+               }
+               ldb_asprintf_errstring(module->ldb, "Entry %s already exists", dn);
+               talloc_free(dn);
+               return ret;
+       }
        
-       return LDB_SUCCESS;
+       if (ret == LDB_SUCCESS) {
+               ret = ltdb_modified(module, msg->dn);
+               if (ret != LDB_SUCCESS) {
+                       return LDB_ERR_OPERATIONS_ERROR;
+               }
+       }
+
+       return ret;
 }
 
-static int ltdb_add(struct ldb_module *module, const struct ldb_message *msg)
+/*
+  add a record to the database
+*/
+static int ltdb_add(struct ldb_module *module, struct ldb_request *req)
 {
-       struct ldb_async_handle *handle;
-       int ret;
-
-       ret = ltdb_add_async(module, msg, NULL, NULL, &handle);
-
-       if (ret != LDB_SUCCESS)
-               return ret;
+       struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
+       struct ltdb_context *ltdb_ac;
+       int tret, ret = LDB_SUCCESS;
 
-       ret = ldb_async_wait(module->ldb, handle, LDB_WAIT_ALL);
+       if (req->controls != NULL) {
+               ldb_debug(module->ldb, LDB_DEBUG_WARNING, "Controls should not reach the ldb_tdb backend!\n");
+               if (check_critical_controls(req->controls)) {
+                       return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               }
+       }
+       
+       req->handle = init_ltdb_handle(ltdb, module, req);
+       if (req->handle == NULL) {
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
+       ltdb_ac = talloc_get_type(req->handle->private_data, struct ltdb_context);
 
-       talloc_free(handle);
+       tret = ltdb_add_internal(module, req->op.add.message);
+       if (tret != LDB_SUCCESS) {
+               req->handle->status = tret;
+               goto done;
+       }
+       
+       if (ltdb_ac->callback) {
+               ret = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
+       }
+done:
+       req->handle->state = LDB_ASYNC_DONE;
        return ret;
 }
 
@@ -319,9 +328,10 @@ static int ltdb_add(struct ldb_module *module, const struct ldb_message *msg)
   delete a record from the database, not updating indexes (used for deleting
   index records)
 */
-int ltdb_delete_noindex(struct ldb_module *module, const struct ldb_dn *dn)
+int ltdb_delete_noindex(struct ldb_module *module, struct ldb_dn *dn)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key;
        int ret;
 
@@ -340,36 +350,14 @@ int ltdb_delete_noindex(struct ldb_module *module, const struct ldb_dn *dn)
        return ret;
 }
 
-/*
-  delete a record from the database
-*/
-static int ltdb_delete_async(struct ldb_module *module, const struct ldb_dn *dn,
-                            void *context,
-                            int (*callback)(struct ldb_context *, void *, struct ldb_async_result *),
-                            struct ldb_async_handle **handle)
+static int ltdb_delete_internal(struct ldb_module *module, struct ldb_dn *dn)
 {
-       struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
-       struct ltdb_async_context *ltdb_ac;
        struct ldb_message *msg;
-       int ret = LDB_ERR_OPERATIONS_ERROR;
-
-       *handle = NULL;
-
-       if (ltdb_cache_load(module) != 0) {
-               goto failed;
-       }
-
-       *handle = init_ltdb_handle(ltdb, module, context, callback);
-       if (*handle == NULL) {
-               goto failed;
-       }
-       ltdb_ac = talloc_get_type((*handle)->private_data, struct ltdb_async_context);
-       (*handle)->state = LDB_ASYNC_DONE;
-       (*handle)->status = LDB_SUCCESS;
+       int ret;
 
-       msg = talloc(ltdb_ac, struct ldb_message);
+       msg = talloc(module, struct ldb_message);
        if (msg == NULL) {
-               goto failed;
+               return LDB_ERR_OPERATIONS_ERROR;
        }
 
        /* in case any attribute of the message was indexed, we need
@@ -377,49 +365,75 @@ static int ltdb_delete_async(struct ldb_module *module, const struct ldb_dn *dn,
        ret = ltdb_search_dn1(module, dn, msg);
        if (ret != 1) {
                /* not finding the old record is an error */
-               (*handle)->status = LDB_ERR_NO_SUCH_OBJECT;
-               return LDB_SUCCESS;
+               talloc_free(msg);
+               return LDB_ERR_NO_SUCH_OBJECT;
        }
 
        ret = ltdb_delete_noindex(module, dn);
        if (ret != LDB_SUCCESS) {
-               goto failed;
+               talloc_free(msg);
+               return LDB_ERR_NO_SUCH_OBJECT;
        }
 
        /* remove any indexed attributes */
        ret = ltdb_index_del(module, msg);
-       if (ret) {
-               goto failed;
+       if (ret != LDB_SUCCESS) {
+               talloc_free(msg);
+               return LDB_ERR_OPERATIONS_ERROR;
        }
-       ltdb_modified(module, dn);
 
-       if (ltdb_ac->callback)
-               (*handle)->status = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
-       
-       return LDB_SUCCESS;
+       ret = ltdb_modified(module, dn);
+       if (ret != LDB_SUCCESS) {
+               talloc_free(msg);
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
 
-failed:
-       talloc_free(*handle);
-       return ret;
+       talloc_free(msg);
+       return LDB_SUCCESS;
 }
 
-static int ltdb_delete(struct ldb_module *module, const struct ldb_dn *dn)
+/*
+  delete a record from the database
+*/
+static int ltdb_delete(struct ldb_module *module, struct ldb_request *req)
 {
-       struct ldb_async_handle *handle;
-       int ret;
+       struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
+       struct ltdb_context *ltdb_ac;
+       int tret, ret = LDB_SUCCESS;
 
-       ret = ltdb_delete_async(module, dn, NULL, NULL, &handle);
+       if (req->controls != NULL) {
+               ldb_debug(module->ldb, LDB_DEBUG_WARNING, "Controls should not reach the ldb_tdb backend!\n");
+               if (check_critical_controls(req->controls)) {
+                       return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               }
+       }
+       
+       req->handle = NULL;
 
-       if (ret != LDB_SUCCESS)
-               return ret;
+       if (ltdb_cache_load(module) != 0) {
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
 
-       ret = ldb_async_wait(module->ldb, handle, LDB_WAIT_ALL);
+       req->handle = init_ltdb_handle(ltdb, module, req);
+       if (req->handle == NULL) {
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
+       ltdb_ac = talloc_get_type(req->handle->private_data, struct ltdb_context);
 
-       talloc_free(handle);
+       tret = ltdb_delete_internal(module, req->op.del.dn);
+       if (tret != LDB_SUCCESS) {
+               req->handle->status = tret; 
+               goto done;
+       }
+
+       if (ltdb_ac->callback) {
+               ret = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
+       }
+done:
+       req->handle->state = LDB_ASYNC_DONE;
        return ret;
 }
 
-
 /*
   find an element by attribute name. At the moment this does a linear search, it should
   be re-coded to use a binary search once all places that modify records guarantee
@@ -575,7 +589,8 @@ static int msg_delete_element(struct ldb_module *module,
 int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *msg)
 {
        struct ldb_context *ldb = module->ldb;
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
        TDB_DATA tdb_key, tdb_data;
        struct ldb_message *msg2;
        unsigned i, j;
@@ -600,9 +615,8 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
 
        ret = ltdb_unpack_data(module, &tdb_data, msg2);
        if (ret == -1) {
-               talloc_free(tdb_key.dptr);
-               free(tdb_data.dptr);
-               return LDB_ERR_OTHER;
+               ret = LDB_ERR_OTHER;
+               goto failed;
        }
 
        if (!msg2->dn) {
@@ -613,7 +627,6 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                struct ldb_message_element *el = &msg->elements[i];
                struct ldb_message_element *el2;
                struct ldb_val *vals;
-               char *err_string;
                char *dn;
 
                switch (msg->elements[i].flags & LDB_FLAG_MOD_MASK) {
@@ -638,8 +651,7 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
 
                        for (j=0;j<el->num_values;j++) {
                                if (ldb_msg_find_val(el2, &el->values[j])) {
-                                       err_string = talloc_strdup(module, "Type or value exists");
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_set_errstring(module->ldb, "Type or value exists");
                                        ret = LDB_ERR_ATTRIBUTE_OR_VALUE_EXISTS;
                                        goto failed;
                                }
@@ -648,8 +660,10 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                        vals = talloc_realloc(msg2->elements, el2->values, struct ldb_val,
                                                el2->num_values + el->num_values);
 
-                       if (vals == NULL)
+                       if (vals == NULL) {
+                               ret = LDB_ERR_OTHER;
                                goto failed;
+                       }
 
                        for (j=0;j<el->num_values;j++) {
                                vals[el2->num_values + j] =
@@ -669,6 +683,7 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                        /* add the replacement element, if not empty */
                        if (msg->elements[i].num_values != 0 &&
                            msg_add_element(ldb, msg2, &msg->elements[i]) != 0) {
+                               ret = LDB_ERR_OTHER;
                                goto failed;
                        }
                        break;
@@ -676,15 +691,17 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                case LDB_FLAG_MOD_DELETE:
 
                        dn = ldb_dn_linearize(msg2, msg->dn);
-                       if (dn == NULL) goto failed;
+                       if (dn == NULL) {
+                               ret = LDB_ERR_OTHER;
+                               goto failed;
+                       }
 
                        /* we could be being asked to delete all
                           values or just some values */
                        if (msg->elements[i].num_values == 0) {
                                if (msg_delete_attribute(module, ldb, msg2, 
                                                         msg->elements[i].name) != 0) {
-                                       err_string = talloc_asprintf(module, "No such attribute: %s", msg->elements[i].name);
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_asprintf_errstring(module->ldb, "No such attribute: %s for delete on %s", msg->elements[i].name, dn);
                                        ret = LDB_ERR_NO_SUCH_ATTRIBUTE;
                                        goto failed;
                                }
@@ -695,21 +712,20 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
                                                       msg2, 
                                                       msg->elements[i].name,
                                                       &msg->elements[i].values[j]) != 0) {
-                                       err_string = talloc_asprintf(module, "No such attribute: %s", msg->elements[i].name);
-                                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                                       ldb_asprintf_errstring(module->ldb, "No matching attribute value when deleting attribute: %s on %s", msg->elements[i].name, dn);
                                        ret = LDB_ERR_NO_SUCH_ATTRIBUTE;
                                        goto failed;
                                }
                                if (ltdb_index_del_value(module, dn, &msg->elements[i], j) != 0) {
+                                       ret = LDB_ERR_OTHER;
                                        goto failed;
                                }
                        }
                        break;
                default:
-                       err_string = talloc_asprintf(module, "Invalid ldb_modify flags on %s: 0x%x", 
-                                                    msg->elements[i].name, 
-                                                    msg->elements[i].flags & LDB_FLAG_MOD_MASK);
-                       if (err_string) ldb_set_errstring(module->ldb, err_string);
+                       ldb_asprintf_errstring(module->ldb, "Invalid ldb_modify flags on %s: 0x%x", 
+                                                            msg->elements[i].name, 
+                                                            msg->elements[i].flags & LDB_FLAG_MOD_MASK);
                        ret = LDB_ERR_PROTOCOL_ERROR;
                        goto failed;
                }
@@ -717,6 +733,14 @@ int ltdb_modify_internal(struct ldb_module *module, const struct ldb_message *ms
 
        /* we've made all the mods - save the modified record back into the database */
        ret = ltdb_store(module, msg2, TDB_MODIFY);
+       if (ret != LDB_SUCCESS) {
+               goto failed;
+       }
+
+       if (ltdb_modified(module, msg->dn) != LDB_SUCCESS) {
+               ret = LDB_ERR_OPERATIONS_ERROR;
+               goto failed;
+       }
 
        talloc_free(tdb_key.dptr);
        free(tdb_data.dptr);
@@ -731,156 +755,127 @@ failed:
 /*
   modify a record
 */
-static int ltdb_modify_async(struct ldb_module *module, const struct ldb_message *msg,
-                         void *context,
-                         int (*callback)(struct ldb_context *, void *, struct ldb_async_result *),
-                         struct ldb_async_handle **handle)
+static int ltdb_modify(struct ldb_module *module, struct ldb_request *req)
 {
        struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
-       struct ltdb_async_context *ltdb_ac;
-       int ret = LDB_ERR_OPERATIONS_ERROR;
+       struct ltdb_context *ltdb_ac;
+       int tret, ret = LDB_SUCCESS;
 
-       *handle = NULL;
+       if (req->controls != NULL) {
+               ldb_debug(module->ldb, LDB_DEBUG_WARNING, "Controls should not reach the ldb_tdb backend!\n");
+               if (check_critical_controls(req->controls)) {
+                       return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               }
+       }
+       
+       req->handle = NULL;
 
-       *handle = init_ltdb_handle(ltdb, module, context, callback);
-       if (*handle == NULL) {
-               return ret;
+       req->handle = init_ltdb_handle(ltdb, module, req);
+       if (req->handle == NULL) {
+               return LDB_ERR_OPERATIONS_ERROR;
        }
-       ltdb_ac = talloc_get_type((*handle)->private_data, struct ltdb_async_context);
-       (*handle)->state = LDB_ASYNC_DONE;
-       (*handle)->status = LDB_SUCCESS;
+       ltdb_ac = talloc_get_type(req->handle->private_data, struct ltdb_context);
 
-       ret = ltdb_check_special_dn(module, msg);
-       if (ret != LDB_SUCCESS) {
-               talloc_free(*handle);
-               return ret;
+       tret = ltdb_check_special_dn(module, req->op.mod.message);
+       if (tret != LDB_SUCCESS) {
+               req->handle->status = tret;
+               goto done;
        }
        
        if (ltdb_cache_load(module) != 0) {
-               talloc_free(*handle);
-               return LDB_ERR_OTHER;
+               ret = LDB_ERR_OPERATIONS_ERROR;
+               goto done;
        }
 
-       ret = ltdb_modify_internal(module, msg);
-
-       if (ret != LDB_SUCCESS) {
-               (*handle)->status = ret;
-               return LDB_SUCCESS;
+       tret = ltdb_modify_internal(module, req->op.mod.message);
+       if (tret != LDB_SUCCESS) {
+               req->handle->status = tret;
+               goto done;
        }
 
-       ltdb_modified(module, msg->dn);
-
-       if (ltdb_ac->callback)
-               (*handle)->status = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
-       
-       return LDB_SUCCESS;
-}
-
-static int ltdb_modify(struct ldb_module *module, const struct ldb_message *msg)
-{
-       struct ldb_async_handle *handle;
-       int ret;
-
-       ret = ltdb_modify_async(module, msg, NULL, NULL, &handle);
-
-       if (ret != LDB_SUCCESS)
-               return ret;
-
-       ret = ldb_async_wait(module->ldb, handle, LDB_WAIT_ALL);
-
-       talloc_free(handle);
+       if (ltdb_ac->callback) {
+               ret = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
+       }
+done:
+       req->handle->state = LDB_ASYNC_DONE;
        return ret;
 }
 
 /*
   rename a record
 */
-static int ltdb_rename_async(struct ldb_module *module, const struct ldb_dn *olddn, const struct ldb_dn *newdn,
-                            void *context,
-                            int (*callback)(struct ldb_context *, void *, struct ldb_async_result *),
-                            struct ldb_async_handle **handle)
+static int ltdb_rename(struct ldb_module *module, struct ldb_request *req)
 {
        struct ltdb_private *ltdb = talloc_get_type(module->private_data, struct ltdb_private);
-       struct ltdb_async_context *ltdb_ac;
+       struct ltdb_context *ltdb_ac;
        struct ldb_message *msg;
-       int ret = LDB_ERR_OPERATIONS_ERROR;
+       int tret, ret = LDB_SUCCESS;
 
-       *handle = NULL;
+       if (req->controls != NULL) {
+               ldb_debug(module->ldb, LDB_DEBUG_WARNING, "Controls should not reach the ldb_tdb backend!\n");
+               if (check_critical_controls(req->controls)) {
+                       return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               }
+       }
+       
+       req->handle = NULL;
 
        if (ltdb_cache_load(module) != 0) {
-               return ret;
+               return LDB_ERR_OPERATIONS_ERROR;
        }
 
-       *handle = init_ltdb_handle(ltdb, module, context, callback);
-       if (*handle == NULL) {
-               goto failed;
+       req->handle = init_ltdb_handle(ltdb, module, req);
+       if (req->handle == NULL) {
+               return LDB_ERR_OPERATIONS_ERROR;
        }
-       ltdb_ac = talloc_get_type((*handle)->private_data, struct ltdb_async_context);
-       (*handle)->state = LDB_ASYNC_DONE;
-       (*handle)->status = LDB_SUCCESS;
+       ltdb_ac = talloc_get_type(req->handle->private_data, struct ltdb_context);
 
        msg = talloc(ltdb_ac, struct ldb_message);
        if (msg == NULL) {
-               goto failed;
+               ret = LDB_ERR_OPERATIONS_ERROR;
+               goto done;
        }
 
        /* in case any attribute of the message was indexed, we need
           to fetch the old record */
-       ret = ltdb_search_dn1(module, olddn, msg);
-       if (ret != 1) {
+       tret = ltdb_search_dn1(module, req->op.rename.olddn, msg);
+       if (tret != 1) {
                /* not finding the old record is an error */
-               (*handle)->status = LDB_ERR_NO_SUCH_OBJECT;
-               return LDB_SUCCESS;
+               req->handle->status = LDB_ERR_NO_SUCH_OBJECT;
+               goto done;
        }
 
-       msg->dn = ldb_dn_copy(msg, newdn);
+       msg->dn = ldb_dn_copy(msg, req->op.rename.newdn);
        if (!msg->dn) {
                ret = LDB_ERR_OPERATIONS_ERROR;
-               goto failed;
+               goto done;
        }
 
-       ret = ltdb_add(module, msg);
-       if (ret != LDB_SUCCESS) {
-               (*handle)->status = LDB_ERR_OPERATIONS_ERROR;
-               return LDB_SUCCESS;
+       tret = ltdb_add_internal(module, msg);
+       if (tret != LDB_SUCCESS) {
+               ret = LDB_ERR_OPERATIONS_ERROR;
+               goto done;
        }
 
-       ret = ltdb_delete(module, olddn);
-       if (ret != LDB_SUCCESS) {
-               ltdb_delete(module, newdn);
-               (*handle)->status = ret;
-               return LDB_SUCCESS;
+       tret = ltdb_delete_internal(module, req->op.rename.olddn);
+       if (tret != LDB_SUCCESS) {
+               ltdb_delete_internal(module, req->op.rename.newdn);
+               ret = LDB_ERR_OPERATIONS_ERROR;
+               goto done;
        }
 
-       if (ltdb_ac->callback)
-               (*handle)->status = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
-
-       return LDB_SUCCESS;
-
-failed:
-       talloc_free(*handle);
-       return ret;
-}
-
-static int ltdb_rename(struct ldb_module *module, const struct ldb_dn *olddn, const struct ldb_dn *newdn)
-{
-       struct ldb_async_handle *handle;
-       int ret;
-
-       ret = ltdb_rename_async(module, olddn, newdn, NULL, NULL, &handle);
-
-       if (ret != LDB_SUCCESS)
-               return ret;
-
-       ret = ldb_async_wait(module->ldb, handle, LDB_WAIT_ALL);
-
-       talloc_free(handle);
+       if (ltdb_ac->callback) {
+               ret = ltdb_ac->callback(module->ldb, ltdb_ac->context, NULL);
+       }
+done:
+       req->handle->state = LDB_ASYNC_DONE;
        return ret;
 }
 
 static int ltdb_start_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_start(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -891,7 +886,8 @@ static int ltdb_start_trans(struct ldb_module *module)
 
 static int ltdb_end_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_commit(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -902,7 +898,8 @@ static int ltdb_end_trans(struct ldb_module *module)
 
 static int ltdb_del_trans(struct ldb_module *module)
 {
-       struct ltdb_private *ltdb = module->private_data;
+       struct ltdb_private *ltdb =
+               talloc_get_type(module->private_data, struct ltdb_private);
 
        if (tdb_transaction_cancel(ltdb->tdb) != 0) {
                return ltdb_err_map(tdb_error(ltdb->tdb));
@@ -911,7 +908,7 @@ static int ltdb_del_trans(struct ldb_module *module)
        return LDB_SUCCESS;
 }
 
-static int ltdb_async_wait(struct ldb_async_handle *handle, enum ldb_async_wait_type type)
+static int ltdb_wait(struct ldb_handle *handle, enum ldb_wait_type type)
 {
        return handle->status;
 }
@@ -919,124 +916,93 @@ static int ltdb_async_wait(struct ldb_async_handle *handle, enum ldb_async_wait_
 static int ltdb_request(struct ldb_module *module, struct ldb_request *req)
 {
        /* check for oustanding critical controls and return an error if found */
-
        if (req->controls != NULL) {
                ldb_debug(module->ldb, LDB_DEBUG_WARNING, "Controls should not reach the ldb_tdb backend!\n");
-       }
-
-       if (check_critical_controls(req->controls)) {
-               return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               if (check_critical_controls(req->controls)) {
+                       return LDB_ERR_UNSUPPORTED_CRITICAL_EXTENSION;
+               }
        }
        
-       switch (req->operation) {
-
-       case LDB_REQ_SEARCH:
-               return ltdb_search_bytree(module,
-                                         req->op.search.base,
-                                         req->op.search.scope, 
-                                         req->op.search.tree, 
-                                         req->op.search.attrs,
-                                         &req->op.search.res);
-
-       case LDB_REQ_ADD:
-               return ltdb_add(module, req->op.add.message);
-
-       case LDB_REQ_MODIFY:
-               return ltdb_modify(module, req->op.mod.message);
-
-       case LDB_REQ_DELETE:
-               return ltdb_delete(module, req->op.del.dn);
-
-       case LDB_REQ_RENAME:
-               return ltdb_rename(module,
-                                       req->op.rename.olddn,
-                                       req->op.rename.newdn);
-
-       case LDB_ASYNC_SEARCH:
-               return ltdb_search_async(module,
-                                       req->op.search.base,
-                                       req->op.search.scope, 
-                                       req->op.search.tree, 
-                                       req->op.search.attrs,
-                                       req->async.context,
-                                       req->async.callback,
-                                       &req->async.handle);
-
-       case LDB_ASYNC_ADD:
-               return ltdb_add_async(module,
-                                       req->op.add.message,
-                                       req->async.context,
-                                       req->async.callback,
-                                       &req->async.handle);
-
-       case LDB_ASYNC_MODIFY:
-               return ltdb_modify_async(module,
-                                       req->op.mod.message,
-                                       req->async.context,
-                                       req->async.callback,
-                                       &req->async.handle);
-
-       case LDB_ASYNC_DELETE:
-               return ltdb_delete_async(module,
-                                       req->op.del.dn,
-                                       req->async.context,
-                                       req->async.callback,
-                                       &req->async.handle);
-
-       case LDB_ASYNC_RENAME:
-               return ltdb_rename_async(module,
-                                       req->op.rename.olddn,
-                                       req->op.rename.newdn,
-                                       req->async.context,
-                                       req->async.callback,
-                                       &req->async.handle);
-
-       default:
-               return LDB_ERR_OPERATIONS_ERROR;
-
-       }
+       /* search, add, modify, delete, rename are handled by their own, no other op supported */
+       return LDB_ERR_OPERATIONS_ERROR;
 }
 
 /*
   return sequenceNumber from @BASEINFO
 */
-static uint64_t ltdb_sequence_number(struct ldb_context *ldb)
+static int ltdb_sequence_number(struct ldb_module *module, struct ldb_request *req)
 {
-       TALLOC_CTX *tmp_ctx = talloc_new(ldb);
-       const char *attrs[] = { "sequenceNumber", NULL };
-       struct ldb_result *res = NULL;
-       struct ldb_dn *dn = ldb_dn_explode(tmp_ctx, "@BASEINFO");
-       int ret;
-       uint64_t seq_num;
+       TALLOC_CTX *tmp_ctx = talloc_new(req);
+       struct ldb_message *msg = NULL;
+       struct ldb_dn *dn = ldb_dn_new(tmp_ctx, module->ldb, LTDB_BASEINFO);
+       int tret;
 
-       ret = ldb_search(ldb, dn, LDB_SCOPE_BASE, NULL, attrs, &res);
-       talloc_steal(tmp_ctx, res);
-       if (ret != LDB_SUCCESS || res->count != 1) {
+       if (tmp_ctx == NULL) {
                talloc_free(tmp_ctx);
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
+
+       msg = talloc(tmp_ctx, struct ldb_message);
+       if (msg == NULL) {
+               talloc_free(tmp_ctx);
+               return LDB_ERR_OPERATIONS_ERROR;
+       }
+
+       req->op.seq_num.flags = 0;
+
+       tret = ltdb_search_dn1(module, dn, msg);
+       if (tret != 1) {
+               talloc_free(tmp_ctx);
+               req->op.seq_num.seq_num = 0;
                /* zero is as good as anything when we don't know */
-               return 0;
+               return LDB_SUCCESS;
        }
 
-       seq_num = ldb_msg_find_uint64(res->msgs[0], "sequenceNumber", 0);
+       switch (req->op.seq_num.type) {
+       case LDB_SEQ_HIGHEST_SEQ:
+               req->op.seq_num.seq_num = ldb_msg_find_attr_as_uint64(msg, LTDB_SEQUENCE_NUMBER, 0);
+               break;
+       case LDB_SEQ_NEXT:
+               req->op.seq_num.seq_num = ldb_msg_find_attr_as_uint64(msg, LTDB_SEQUENCE_NUMBER, 0);
+               req->op.seq_num.seq_num++;
+               break;
+       case LDB_SEQ_HIGHEST_TIMESTAMP:
+       {
+               const char *date = ldb_msg_find_attr_as_string(msg, LTDB_MOD_TIMESTAMP, NULL);
+               if (date) {
+                       req->op.seq_num.seq_num = ldb_string_to_time(date);
+               } else {
+                       req->op.seq_num.seq_num = 0;
+                       /* zero is as good as anything when we don't know */
+               }
+               break;
+       }
+       }
        talloc_free(tmp_ctx);
-       return seq_num; 
+       return LDB_SUCCESS;
 }
 
 static const struct ldb_module_ops ltdb_ops = {
        .name              = "tdb",
+       .search            = ltdb_search,
+       .add               = ltdb_add,
+       .modify            = ltdb_modify,
+       .del               = ltdb_delete,
+       .rename            = ltdb_rename,
        .request           = ltdb_request,
        .start_transaction = ltdb_start_trans,
        .end_transaction   = ltdb_end_trans,
        .del_transaction   = ltdb_del_trans,
-       .async_wait        = ltdb_async_wait
+       .wait              = ltdb_wait,
+       .sequence_number   = ltdb_sequence_number
 };
 
-
 /*
   connect to the database
 */
 static int ltdb_connect(struct ldb_context *ldb, const char *url, 
-                unsigned int flags, const char *options[])
+                       unsigned int flags, const char *options[],
+                       struct ldb_module **module)
 {
        const char *path;
        int tdb_flags, open_flags;
@@ -1053,7 +1019,7 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
                path = url;
        }
 
-       tdb_flags = TDB_DEFAULT;
+       tdb_flags = TDB_DEFAULT | TDB_SEQNUM;
 
        /* check for the 'nosync' option */
        if (flags & LDB_FLG_NOSYNC) {
@@ -1073,7 +1039,9 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
        }
 
        /* note that we use quite a large default hash size */
-       ltdb->tdb = ltdb_wrap_open(ltdb, path, 10000, tdb_flags, open_flags, 0666);
+       ltdb->tdb = ltdb_wrap_open(ltdb, path, 10000, 
+                                  tdb_flags, open_flags, 
+                                  ldb->create_perms, ldb);
        if (!ltdb->tdb) {
                ldb_debug(ldb, LDB_DEBUG_ERROR, "Unable to open tdb '%s'\n", path);
                talloc_free(ltdb);
@@ -1082,22 +1050,28 @@ static int ltdb_connect(struct ldb_context *ldb, const char *url,
 
        ltdb->sequence_number = 0;
 
-       ldb->modules = talloc(ldb, struct ldb_module);
-       if (!ldb->modules) {
+       *module = talloc(ldb, struct ldb_module);
+       if (!module) {
                ldb_oom(ldb);
                talloc_free(ltdb);
                return -1;
        }
-       ldb->modules->ldb = ldb;
-       ldb->modules->prev = ldb->modules->next = NULL;
-       ldb->modules->private_data = ltdb;
-       ldb->modules->ops = &ltdb_ops;
-       ldb->sequence_number = ltdb_sequence_number;
+       talloc_set_name_const(*module, "ldb_tdb backend");
+       (*module)->ldb = ldb;
+       (*module)->prev = (*module)->next = NULL;
+       (*module)->private_data = ltdb;
+       (*module)->ops = &ltdb_ops;
+
+       if (ltdb_cache_load(*module) != 0) {
+               talloc_free(*module);
+               talloc_free(ltdb);
+               return -1;
+       }
 
        return 0;
 }
 
 int ldb_tdb_init(void)
 {
-       return ldb_register_backend("tdb:", ltdb_connect);
+       return ldb_register_backend("tdb", ltdb_connect);
 }