source/cluster/ctdb/opendb_ctdb.c

   1 /*
   2    Unix SMB/CIFS implementation.
   3
   4    Copyright (C) Ronnie Sahlberg 2007
   5    Copyright (C) Andrew Tridgell 2007
   6
   7    This program is free software; you can redistribute it and/or modify
   8    it under the terms of the GNU General Public License as published by
   9    the Free Software Foundation; either version 3 of the License, or
  10    (at your option) any later version.
  11
  12    This program is distributed in the hope that it will be useful,
  13    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15    GNU General Public License for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19 */
  20
  21 /*
  22   this is the open files database, ctdb backend. It implements shared
  23   storage of what files are open between server instances, and
  24   implements the rules of shared access to files.
  25
  26   The caller needs to provide a file_key, which specifies what file
  27   they are talking about. This needs to be a unique key across all
  28   filesystems, and is usually implemented in terms of a device/inode
  29   pair.
  30
  31   Before any operations can be performed the caller needs to establish
  32   a lock on the record associated with file_key. That is done by
  33   calling odb_lock(). The caller releases this lock by calling
  34   talloc_free() on the returned handle.
  35
  36   All other operations on a record are done by passing the odb_lock()
  37   handle back to this module. The handle contains internal
  38   information about what file_key is being operated on.
  39 */
  40
  41 #include "includes.h"
  42 #include "system/filesys.h"
  43 #include "lib/tdb/include/tdb.h"
  44 #include "messaging/messaging.h"
  45 #include "tdb_wrap.h"
  46 #include "lib/messaging/irpc.h"
  47 #include "librpc/gen_ndr/ndr_opendb.h"
  48 #include "ntvfs/ntvfs.h"
  49 #include "ntvfs/common/ntvfs_common.h"
  50 #include "cluster/cluster.h"
  51 #include "include/ctdb.h"
  52 #include "param/param.h"
  53
  54 struct odb_context {
  55         struct ctdb_context *ctdb;
  56         struct ctdb_db_context *ctdb_db;
  57         struct ntvfs_context *ntvfs_ctx;
  58         bool oplocks;
  59 };
  60
  61 /*
  62   an odb lock handle. You must obtain one of these using odb_lock() before doing
  63   any other operations.
  64 */
  65 struct odb_lock {
  66         struct odb_context *odb;
  67         struct ctdb_record_handle *rec;
  68         TDB_DATA key;
  69         TDB_DATA data;
  70 };
  71
  72 /*
  73   Open up the openfiles.tdb database. Close it down using
  74   talloc_free(). We need the messaging_ctx to allow for pending open
  75   notifications.
  76 */
  77 static struct odb_context *odb_ctdb_init(TALLOC_CTX *mem_ctx,
  78                                         struct ntvfs_context *ntvfs_ctx)
  79 {
  80         struct odb_context *odb;
  81         struct ctdb_context *ctdb = talloc_get_type(cluster_backend_handle(),
  82                                                     struct ctdb_context);
  83
  84         odb = talloc(mem_ctx, struct odb_context);
  85         if (odb == NULL) {
  86                 return NULL;
  87         }
  88
  89         odb->ctdb = ctdb;
  90         odb->ctdb_db = ctdb_attach(ctdb, "opendb");
  91         if (!odb->ctdb_db) {
  92                 DEBUG(0,("Failed to get attached ctdb db handle for opendb\n"));
  93                 talloc_free(odb);
  94                 return NULL;
  95         }
  96
  97         odb->ntvfs_ctx = ntvfs_ctx;
  98
  99         /* leave oplocks disabled by default until the code is working */
 100         odb->oplocks = lp_parm_bool(ntvfs_ctx->lp_ctx, NULL, "opendb", "oplocks", false);
 101
 102         return odb;
 103 }
 104
 105 /*
 106   get a lock on a entry in the odb. This call returns a lock handle,
 107   which the caller should unlock using talloc_free().
 108 */
 109 static struct odb_lock *odb_ctdb_lock(TALLOC_CTX *mem_ctx,
 110                                      struct odb_context *odb, DATA_BLOB *file_key)
 111 {
 112         struct odb_lock *lck;
 113
 114         lck = talloc(mem_ctx, struct odb_lock);
 115         if (lck == NULL) {
 116                 return NULL;
 117         }
 118
 119         lck->odb = talloc_reference(lck, odb);
 120         lck->key.dptr = talloc_memdup(lck, file_key->data, file_key->length);
 121         lck->key.dsize = file_key->length;
 122         if (lck->key.dptr == NULL) {
 123                 talloc_free(lck);
 124                 return NULL;
 125         }
 126
 127         lck->rec = ctdb_fetch_lock(odb->ctdb_db, (TALLOC_CTX *)lck, lck->key, &lck->data);
 128         if (!lck->rec) {
 129                 talloc_free(lck);
 130                 return NULL;
 131         }
 132
 133         return lck;
 134 }
 135
 136 /*
 137   determine if two odb_entry structures conflict
 138
 139   return NT_STATUS_OK on no conflict
 140 */
 141 static NTSTATUS share_conflict(struct opendb_entry *e1, struct opendb_entry *e2)
 142 {
 143         /* if either open involves no read.write or delete access then
 144            it can't conflict */
 145         if (!(e1->access_mask & (SEC_FILE_WRITE_DATA |
 146                                  SEC_FILE_APPEND_DATA |
 147                                  SEC_FILE_READ_DATA |
 148                                  SEC_FILE_EXECUTE |
 149                                  SEC_STD_DELETE))) {
 150                 return NT_STATUS_OK;
 151         }
 152         if (!(e2->access_mask & (SEC_FILE_WRITE_DATA |
 153                                  SEC_FILE_APPEND_DATA |
 154                                  SEC_FILE_READ_DATA |
 155                                  SEC_FILE_EXECUTE |
 156                                  SEC_STD_DELETE))) {
 157                 return NT_STATUS_OK;
 158         }
 159
 160         /* data IO access masks. This is skipped if the two open handles
 161            are on different streams (as in that case the masks don't
 162            interact) */
 163         if (e1->stream_id != e2->stream_id) {
 164                 return NT_STATUS_OK;
 165         }
 166
 167 #define CHECK_MASK(am, right, sa, share) \
 168         if (((am) & (right)) && !((sa) & (share))) return NT_STATUS_SHARING_VIOLATION
 169
 170         CHECK_MASK(e1->access_mask, SEC_FILE_WRITE_DATA | SEC_FILE_APPEND_DATA,
 171                    e2->share_access, NTCREATEX_SHARE_ACCESS_WRITE);
 172         CHECK_MASK(e2->access_mask, SEC_FILE_WRITE_DATA | SEC_FILE_APPEND_DATA,
 173                    e1->share_access, NTCREATEX_SHARE_ACCESS_WRITE);
 174
 175         CHECK_MASK(e1->access_mask, SEC_FILE_READ_DATA | SEC_FILE_EXECUTE,
 176                    e2->share_access, NTCREATEX_SHARE_ACCESS_READ);
 177         CHECK_MASK(e2->access_mask, SEC_FILE_READ_DATA | SEC_FILE_EXECUTE,
 178                    e1->share_access, NTCREATEX_SHARE_ACCESS_READ);
 179
 180         CHECK_MASK(e1->access_mask, SEC_STD_DELETE,
 181                    e2->share_access, NTCREATEX_SHARE_ACCESS_DELETE);
 182         CHECK_MASK(e2->access_mask, SEC_STD_DELETE,
 183                    e1->share_access, NTCREATEX_SHARE_ACCESS_DELETE);
 184
 185         return NT_STATUS_OK;
 186 }
 187
 188 /*
 189   pull a record, translating from the db format to the opendb_file structure defined
 190   in opendb.idl
 191 */
 192 static NTSTATUS odb_pull_record(struct odb_lock *lck, struct opendb_file *file)
 193 {
 194         TDB_DATA dbuf;
 195         DATA_BLOB blob;
 196         enum ndr_err_code ndr_err;
 197
 198         dbuf = lck->data;
 199
 200         if (dbuf.dsize == 0) {
 201                 /* empty record in ctdb means the record isn't there */
 202                 return NT_STATUS_OBJECT_NAME_NOT_FOUND;
 203         }
 204
 205         blob.data = dbuf.dptr;
 206         blob.length = dbuf.dsize;
 207
 208         ndr_err = ndr_pull_struct_blob(&blob, lck, lp_iconv_convenience(global_loadparm), file, (ndr_pull_flags_fn_t)ndr_pull_opendb_file);
 209         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
 210                 return ndr_map_error2ntstatus(ndr_err);
 211         }
 212
 213         return NT_STATUS_OK;
 214 }
 215
 216 /*
 217   push a record, translating from the opendb_file structure defined in opendb.idl
 218 */
 219 static NTSTATUS odb_push_record(struct odb_lock *lck, struct opendb_file *file)
 220 {
 221         TDB_DATA dbuf;
 222         DATA_BLOB blob;
 223         enum ndr_err_code ndr_err;
 224         int ret;
 225
 226         if (!file->num_entries) {
 227                 dbuf.dptr  = NULL;
 228                 dbuf.dsize = 0;
 229                 ctdb_record_store(lck->rec, dbuf);
 230                 talloc_free(lck->rec);
 231                 return NT_STATUS_OK;
 232         }
 233
 234         ndr_err = ndr_push_struct_blob(&blob, lck,
 235                                        lp_iconv_convenience(global_loadparm),
 236                                        file, (ndr_push_flags_fn_t)ndr_push_opendb_file);
 237         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
 238                 return ndr_map_error2ntstatus(ndr_err);
 239         }
 240
 241         dbuf.dptr = blob.data;
 242         dbuf.dsize = blob.length;
 243
 244         ret = ctdb_record_store(lck->rec, dbuf);
 245         talloc_free(lck->rec);
 246         data_blob_free(&blob);
 247         if (ret != 0) {
 248                 return NT_STATUS_INTERNAL_DB_CORRUPTION;
 249         }
 250
 251         return NT_STATUS_OK;
 252 }
 253
 254 /*
 255   send an oplock break to a client
 256 */
 257 static NTSTATUS odb_oplock_break_send(struct odb_context *odb, struct opendb_entry *e)
 258 {
 259         /* tell the server handling this open file about the need to send the client
 260            a break */
 261         return messaging_send_ptr(odb->ntvfs_ctx->msg_ctx, e->server,
 262                                   MSG_NTVFS_OPLOCK_BREAK, e->file_handle);
 263 }
 264
 265 /*
 266   register an open file in the open files database. This implements the share_access
 267   rules
 268
 269   Note that the path is only used by the delete on close logic, not
 270   for comparing with other filenames
 271 */
 272 static NTSTATUS odb_ctdb_open_file(struct odb_lock *lck, void *file_handle,
 273                                   uint32_t stream_id, uint32_t share_access,
 274                                   uint32_t access_mask, bool delete_on_close,
 275                                   const char *path,
 276                                   uint32_t oplock_level, uint32_t *oplock_granted)
 277 {
 278         struct odb_context *odb = lck->odb;
 279         struct opendb_entry e;
 280         int i;
 281         struct opendb_file file;
 282         NTSTATUS status;
 283
 284         if (odb->oplocks == false) {
 285                 oplock_level = OPLOCK_NONE;
 286         }
 287
 288         status = odb_pull_record(lck, &file);
 289         if (NT_STATUS_EQUAL(status, NT_STATUS_OBJECT_NAME_NOT_FOUND)) {
 290                 /* initialise a blank structure */
 291                 ZERO_STRUCT(file);
 292                 file.path = path;
 293         } else {
 294                 NT_STATUS_NOT_OK_RETURN(status);
 295         }
 296
 297         /* see if it conflicts */
 298         e.server          = odb->ntvfs_ctx->server_id;
 299         e.file_handle     = file_handle;
 300         e.stream_id       = stream_id;
 301         e.share_access    = share_access;
 302         e.access_mask     = access_mask;
 303         e.delete_on_close = delete_on_close;
 304         e.oplock_level    = OPLOCK_NONE;
 305
 306         /* see if anyone has an oplock, which we need to break */
 307         for (i=0;i<file.num_entries;i++) {
 308                 if (file.entries[i].oplock_level == OPLOCK_BATCH) {
 309                         /* a batch oplock caches close calls, which
 310                            means the client application might have
 311                            already closed the file. We have to allow
 312                            this close to propogate by sending a oplock
 313                            break request and suspending this call
 314                            until the break is acknowledged or the file
 315                            is closed */
 316                         odb_oplock_break_send(odb, &file.entries[i]);
 317                         return NT_STATUS_OPLOCK_NOT_GRANTED;
 318                 }
 319         }
 320
 321         if (file.delete_on_close ||
 322             (file.num_entries != 0 && delete_on_close)) {
 323                 /* while delete on close is set, no new opens are allowed */
 324                 return NT_STATUS_DELETE_PENDING;
 325         }
 326
 327         /* check for sharing violations */
 328         for (i=0;i<file.num_entries;i++) {
 329                 status = share_conflict(&file.entries[i], &e);
 330                 NT_STATUS_NOT_OK_RETURN(status);
 331         }
 332
 333         /* we now know the open could succeed, but we need to check
 334            for any exclusive oplocks. We can't grant a second open
 335            till these are broken. Note that we check for batch oplocks
 336            before checking for sharing violations, and check for
 337            exclusive oplocks afterwards. */
 338         for (i=0;i<file.num_entries;i++) {
 339                 if (file.entries[i].oplock_level == OPLOCK_EXCLUSIVE) {
 340                         odb_oplock_break_send(odb, &file.entries[i]);
 341                         return NT_STATUS_OPLOCK_NOT_GRANTED;
 342                 }
 343         }
 344
 345         /*
 346           possibly grant an exclusive or batch oplock if this is the only client
 347           with the file open. We don't yet grant levelII oplocks.
 348         */
 349         if (oplock_granted != NULL) {
 350                 if ((oplock_level == OPLOCK_BATCH ||
 351                      oplock_level == OPLOCK_EXCLUSIVE) &&
 352                     file.num_entries == 0) {
 353                         (*oplock_granted) = oplock_level;
 354                 } else {
 355                         (*oplock_granted) = OPLOCK_NONE;
 356                 }
 357                 e.oplock_level = (*oplock_granted);
 358         }
 359
 360         /* it doesn't conflict, so add it to the end */
 361         file.entries = talloc_realloc(lck, file.entries, struct opendb_entry,
 362                                       file.num_entries+1);
 363         NT_STATUS_HAVE_NO_MEMORY(file.entries);
 364
 365         file.entries[file.num_entries] = e;
 366         file.num_entries++;
 367
 368         return odb_push_record(lck, &file);
 369 }
 370
 371
 372 /*
 373   register a pending open file in the open files database
 374 */
 375 static NTSTATUS odb_ctdb_open_file_pending(struct odb_lock *lck, void *private)
 376 {
 377         struct odb_context *odb = lck->odb;
 378         struct opendb_file file;
 379         NTSTATUS status;
 380
 381         status = odb_pull_record(lck, &file);
 382         NT_STATUS_NOT_OK_RETURN(status);
 383
 384         file.pending = talloc_realloc(lck, file.pending, struct opendb_pending,
 385                                       file.num_pending+1);
 386         NT_STATUS_HAVE_NO_MEMORY(file.pending);
 387
 388         file.pending[file.num_pending].server = odb->ntvfs_ctx->server_id;
 389         file.pending[file.num_pending].notify_ptr = private;
 390
 391         file.num_pending++;
 392
 393         return odb_push_record(lck, &file);
 394 }
 395
 396
 397 /*
 398   remove a opendb entry
 399 */
 400 static NTSTATUS odb_ctdb_close_file(struct odb_lock *lck, void *file_handle)
 401 {
 402         struct odb_context *odb = lck->odb;
 403         struct opendb_file file;
 404         int i;
 405         NTSTATUS status;
 406
 407         status = odb_pull_record(lck, &file);
 408         NT_STATUS_NOT_OK_RETURN(status);
 409
 410         /* find the entry, and delete it */
 411         for (i=0;i<file.num_entries;i++) {
 412                 if (file_handle == file.entries[i].file_handle &&
 413                     cluster_id_equal(&odb->ntvfs_ctx->server_id, &file.entries[i].server)) {
 414                         if (file.entries[i].delete_on_close) {
 415                                 file.delete_on_close = true;
 416                         }
 417                         if (i < file.num_entries-1) {
 418                                 memmove(file.entries+i, file.entries+i+1,
 419                                         (file.num_entries - (i+1)) *
 420                                         sizeof(struct opendb_entry));
 421                         }
 422                         break;
 423                 }
 424         }
 425
 426         if (i == file.num_entries) {
 427                 return NT_STATUS_UNSUCCESSFUL;
 428         }
 429
 430         /* send any pending notifications, removing them once sent */
 431         for (i=0;i<file.num_pending;i++) {
 432                 messaging_send_ptr(odb->ntvfs_ctx->msg_ctx, file.pending[i].server,
 433                                    MSG_PVFS_RETRY_OPEN,
 434                                    file.pending[i].notify_ptr);
 435         }
 436         file.num_pending = 0;
 437
 438         file.num_entries--;
 439
 440         return odb_push_record(lck, &file);
 441 }
 442
 443
 444 /*
 445   remove a pending opendb entry
 446 */
 447 static NTSTATUS odb_ctdb_remove_pending(struct odb_lock *lck, void *private)
 448 {
 449         struct odb_context *odb = lck->odb;
 450         int i;
 451         NTSTATUS status;
 452         struct opendb_file file;
 453
 454         status = odb_pull_record(lck, &file);
 455         NT_STATUS_NOT_OK_RETURN(status);
 456
 457         /* find the entry, and delete it */
 458         for (i=0;i<file.num_pending;i++) {
 459                 if (private == file.pending[i].notify_ptr &&
 460                     cluster_id_equal(&odb->ntvfs_ctx->server_id, &file.pending[i].server)) {
 461                         if (i < file.num_pending-1) {
 462                                 memmove(file.pending+i, file.pending+i+1,
 463                                         (file.num_pending - (i+1)) *
 464                                         sizeof(struct opendb_pending));
 465                         }
 466                         break;
 467                 }
 468         }
 469
 470         if (i == file.num_pending) {
 471                 return NT_STATUS_UNSUCCESSFUL;
 472         }
 473
 474         file.num_pending--;
 475
 476         return odb_push_record(lck, &file);
 477 }
 478
 479
 480 /*
 481   rename the path in a open file
 482 */
 483 static NTSTATUS odb_ctdb_rename(struct odb_lock *lck, const char *path)
 484 {
 485         struct opendb_file file;
 486         NTSTATUS status;
 487
 488         status = odb_pull_record(lck, &file);
 489         if (NT_STATUS_EQUAL(NT_STATUS_OBJECT_NAME_NOT_FOUND, status)) {
 490                 /* not having the record at all is OK */
 491                 return NT_STATUS_OK;
 492         }
 493         NT_STATUS_NOT_OK_RETURN(status);
 494
 495         file.path = path;
 496         return odb_push_record(lck, &file);
 497 }
 498
 499 /*
 500   update delete on close flag on an open file
 501 */
 502 static NTSTATUS odb_ctdb_set_delete_on_close(struct odb_lock *lck, bool del_on_close)
 503 {
 504         NTSTATUS status;
 505         struct opendb_file file;
 506
 507         status = odb_pull_record(lck, &file);
 508         NT_STATUS_NOT_OK_RETURN(status);
 509
 510         file.delete_on_close = del_on_close;
 511
 512         return odb_push_record(lck, &file);
 513 }
 514
 515 /*
 516   return the current value of the delete_on_close bit, and how many
 517   people still have the file open
 518 */
 519 static NTSTATUS odb_ctdb_get_delete_on_close(struct odb_context *odb,
 520                                             DATA_BLOB *key, bool *del_on_close,
 521                                             int *open_count, char **path)
 522 {
 523         NTSTATUS status;
 524         struct opendb_file file;
 525         struct odb_lock *lck;
 526
 527         lck = odb_lock(odb, odb, key);
 528         NT_STATUS_HAVE_NO_MEMORY(lck);
 529
 530         status = odb_pull_record(lck, &file);
 531         if (NT_STATUS_EQUAL(NT_STATUS_OBJECT_NAME_NOT_FOUND, status)) {
 532                 talloc_free(lck);
 533                 (*del_on_close) = false;
 534                 return NT_STATUS_OK;
 535         }
 536         if (!NT_STATUS_IS_OK(status)) {
 537                 talloc_free(lck);
 538                 return status;
 539         }
 540
 541         (*del_on_close) = file.delete_on_close;
 542         if (open_count != NULL) {
 543                 (*open_count) = file.num_entries;
 544         }
 545         if (path != NULL) {
 546                 *path = talloc_strdup(odb, file.path);
 547                 NT_STATUS_HAVE_NO_MEMORY(*path);
 548                 if (file.num_entries == 1 && file.entries[0].delete_on_close) {
 549                         (*del_on_close) = true;
 550                 }
 551         }
 552
 553         talloc_free(lck);
 554
 555         return NT_STATUS_OK;
 556 }
 557
 558
 559 /*
 560   determine if a file can be opened with the given share_access,
 561   create_options and access_mask
 562 */
 563 static NTSTATUS odb_ctdb_can_open(struct odb_lock *lck,
 564                                  uint32_t share_access, uint32_t create_options,
 565                                  uint32_t access_mask)
 566 {
 567         struct odb_context *odb = lck->odb;
 568         NTSTATUS status;
 569         struct opendb_file file;
 570         struct opendb_entry e;
 571         int i;
 572
 573         status = odb_pull_record(lck, &file);
 574         if (NT_STATUS_EQUAL(status, NT_STATUS_OBJECT_NAME_NOT_FOUND)) {
 575                 return NT_STATUS_OK;
 576         }
 577         NT_STATUS_NOT_OK_RETURN(status);
 578
 579         if ((create_options & NTCREATEX_OPTIONS_DELETE_ON_CLOSE) &&
 580             file.num_entries != 0) {
 581                 return NT_STATUS_SHARING_VIOLATION;
 582         }
 583
 584         if (file.delete_on_close) {
 585                 return NT_STATUS_DELETE_PENDING;
 586         }
 587
 588         e.server       = odb->ntvfs_ctx->server_id;
 589         e.file_handle  = NULL;
 590         e.stream_id    = 0;
 591         e.share_access = share_access;
 592         e.access_mask  = access_mask;
 593
 594         for (i=0;i<file.num_entries;i++) {
 595                 status = share_conflict(&file.entries[i], &e);
 596                 if (!NT_STATUS_IS_OK(status)) {
 597                         /* note that we discard the error code
 598                            here. We do this as unless we are actually
 599                            doing an open (which comes via a different
 600                            function), we need to return a sharing
 601                            violation */
 602                         return NT_STATUS_SHARING_VIOLATION;
 603                 }
 604         }
 605
 606         return NT_STATUS_OK;
 607 }
 608
 609
 610 static const struct opendb_ops opendb_ctdb_ops = {
 611         .odb_init                = odb_ctdb_init,
 612         .odb_lock                = odb_ctdb_lock,
 613         .odb_open_file           = odb_ctdb_open_file,
 614         .odb_open_file_pending   = odb_ctdb_open_file_pending,
 615         .odb_close_file          = odb_ctdb_close_file,
 616         .odb_remove_pending      = odb_ctdb_remove_pending,
 617         .odb_rename              = odb_ctdb_rename,
 618         .odb_set_delete_on_close = odb_ctdb_set_delete_on_close,
 619         .odb_get_delete_on_close = odb_ctdb_get_delete_on_close,
 620         .odb_can_open            = odb_ctdb_can_open
 621 };
 622
 623
 624 void odb_ctdb_init_ops(void)
 625 {
 626         odb_set_ops(&opendb_ctdb_ops);
 627 }