source/cluster/ctdb/opendb_ctdb.c

   1 /*
   2    Unix SMB/CIFS implementation.
   3
   4    Copyright (C) Ronnie Sahlberg 2007
   5    Copyright (C) Andrew Tridgell 2007
   6
   7    This program is free software; you can redistribute it and/or modify
   8    it under the terms of the GNU General Public License as published by
   9    the Free Software Foundation; either version 3 of the License, or
  10    (at your option) any later version.
  11
  12    This program is distributed in the hope that it will be useful,
  13    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15    GNU General Public License for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19 */
  20
  21 /*
  22   this is the open files database, ctdb backend. It implements shared
  23   storage of what files are open between server instances, and
  24   implements the rules of shared access to files.
  25
  26   The caller needs to provide a file_key, which specifies what file
  27   they are talking about. This needs to be a unique key across all
  28   filesystems, and is usually implemented in terms of a device/inode
  29   pair.
  30
  31   Before any operations can be performed the caller needs to establish
  32   a lock on the record associated with file_key. That is done by
  33   calling odb_lock(). The caller releases this lock by calling
  34   talloc_free() on the returned handle.
  35
  36   All other operations on a record are done by passing the odb_lock()
  37   handle back to this module. The handle contains internal
  38   information about what file_key is being operated on.
  39 */
  40
  41 #include "includes.h"
  42 #include "system/filesys.h"
  43 #include "lib/tdb/include/tdb.h"
  44 #include "messaging/messaging.h"
  45 #include "db_wrap.h"
  46 #include "lib/messaging/irpc.h"
  47 #include "librpc/gen_ndr/ndr_opendb.h"
  48 #include "ntvfs/ntvfs.h"
  49 #include "ntvfs/common/ntvfs_common.h"
  50 #include "cluster/cluster.h"
  51 #include "include/ctdb.h"
  52 #include "param/param.h"
  53
  54 struct odb_context {
  55         struct ctdb_context *ctdb;
  56         struct ctdb_db_context *ctdb_db;
  57         struct ntvfs_context *ntvfs_ctx;
  58         bool oplocks;
  59 };
  60
  61 /*
  62   an odb lock handle. You must obtain one of these using odb_lock() before doing
  63   any other operations.
  64 */
  65 struct odb_lock {
  66         struct odb_context *odb;
  67         struct ctdb_record_handle *rec;
  68         TDB_DATA key;
  69         TDB_DATA data;
  70 };
  71
  72 /*
  73   Open up the openfiles.tdb database. Close it down using
  74   talloc_free(). We need the messaging_ctx to allow for pending open
  75   notifications.
  76 */
  77 static struct odb_context *odb_ctdb_init(TALLOC_CTX *mem_ctx,
  78                                         struct ntvfs_context *ntvfs_ctx)
  79 {
  80         struct odb_context *odb;
  81         struct ctdb_context *ctdb = talloc_get_type(cluster_backend_handle(),
  82                                                     struct ctdb_context);
  83
  84         odb = talloc(mem_ctx, struct odb_context);
  85         if (odb == NULL) {
  86                 return NULL;
  87         }
  88
  89         odb->ctdb = ctdb;
  90         odb->ctdb_db = ctdb_attach(ctdb, "opendb");
  91         if (!odb->ctdb_db) {
  92                 DEBUG(0,("Failed to get attached ctdb db handle for opendb\n"));
  93                 talloc_free(odb);
  94                 return NULL;
  95         }
  96
  97         odb->ntvfs_ctx = ntvfs_ctx;
  98
  99         /* leave oplocks disabled by default until the code is working */
 100         odb->oplocks = lp_parm_bool(global_loadparm, NULL, "opendb", "oplocks", false);
 101
 102         return odb;
 103 }
 104
 105 /*
 106   get a lock on a entry in the odb. This call returns a lock handle,
 107   which the caller should unlock using talloc_free().
 108 */
 109 static struct odb_lock *odb_ctdb_lock(TALLOC_CTX *mem_ctx,
 110                                      struct odb_context *odb, DATA_BLOB *file_key)
 111 {
 112         struct odb_lock *lck;
 113
 114         lck = talloc(mem_ctx, struct odb_lock);
 115         if (lck == NULL) {
 116                 return NULL;
 117         }
 118
 119         lck->odb = talloc_reference(lck, odb);
 120         lck->key.dptr = talloc_memdup(lck, file_key->data, file_key->length);
 121         lck->key.dsize = file_key->length;
 122         if (lck->key.dptr == NULL) {
 123                 talloc_free(lck);
 124                 return NULL;
 125         }
 126
 127         lck->rec = ctdb_fetch_lock(odb->ctdb_db, (TALLOC_CTX *)lck, lck->key, &lck->data);
 128         if (!lck->rec) {
 129                 talloc_free(lck);
 130                 return NULL;
 131         }
 132
 133         return lck;
 134 }
 135
 136 /*
 137   determine if two odb_entry structures conflict
 138
 139   return NT_STATUS_OK on no conflict
 140 */
 141 static NTSTATUS share_conflict(struct opendb_entry *e1, struct opendb_entry *e2)
 142 {
 143         /* if either open involves no read.write or delete access then
 144            it can't conflict */
 145         if (!(e1->access_mask & (SEC_FILE_WRITE_DATA |
 146                                  SEC_FILE_APPEND_DATA |
 147                                  SEC_FILE_READ_DATA |
 148                                  SEC_FILE_EXECUTE |
 149                                  SEC_STD_DELETE))) {
 150                 return NT_STATUS_OK;
 151         }
 152         if (!(e2->access_mask & (SEC_FILE_WRITE_DATA |
 153                                  SEC_FILE_APPEND_DATA |
 154                                  SEC_FILE_READ_DATA |
 155                                  SEC_FILE_EXECUTE |
 156                                  SEC_STD_DELETE))) {
 157                 return NT_STATUS_OK;
 158         }
 159
 160         /* data IO access masks. This is skipped if the two open handles
 161            are on different streams (as in that case the masks don't
 162            interact) */
 163         if (e1->stream_id != e2->stream_id) {
 164                 return NT_STATUS_OK;
 165         }
 166
 167 #define CHECK_MASK(am, right, sa, share) \
 168         if (((am) & (right)) && !((sa) & (share))) return NT_STATUS_SHARING_VIOLATION
 169
 170         CHECK_MASK(e1->access_mask, SEC_FILE_WRITE_DATA | SEC_FILE_APPEND_DATA,
 171                    e2->share_access, NTCREATEX_SHARE_ACCESS_WRITE);
 172         CHECK_MASK(e2->access_mask, SEC_FILE_WRITE_DATA | SEC_FILE_APPEND_DATA,
 173                    e1->share_access, NTCREATEX_SHARE_ACCESS_WRITE);
 174
 175         CHECK_MASK(e1->access_mask, SEC_FILE_READ_DATA | SEC_FILE_EXECUTE,
 176                    e2->share_access, NTCREATEX_SHARE_ACCESS_READ);
 177         CHECK_MASK(e2->access_mask, SEC_FILE_READ_DATA | SEC_FILE_EXECUTE,
 178                    e1->share_access, NTCREATEX_SHARE_ACCESS_READ);
 179
 180         CHECK_MASK(e1->access_mask, SEC_STD_DELETE,
 181                    e2->share_access, NTCREATEX_SHARE_ACCESS_DELETE);
 182         CHECK_MASK(e2->access_mask, SEC_STD_DELETE,
 183                    e1->share_access, NTCREATEX_SHARE_ACCESS_DELETE);
 184
 185         return NT_STATUS_OK;
 186 }
 187
 188 /*
 189   pull a record, translating from the db format to the opendb_file structure defined
 190   in opendb.idl
 191 */
 192 static NTSTATUS odb_pull_record(struct odb_lock *lck, struct opendb_file *file)
 193 {
 194         TDB_DATA dbuf;
 195         DATA_BLOB blob;
 196         enum ndr_err_code ndr_err;
 197
 198         dbuf = lck->data;
 199
 200         if (dbuf.dsize == 0) {
 201                 /* empty record in ctdb means the record isn't there */
 202                 return NT_STATUS_OBJECT_NAME_NOT_FOUND;
 203         }
 204
 205         blob.data = dbuf.dptr;
 206         blob.length = dbuf.dsize;
 207
 208         ndr_err = ndr_pull_struct_blob(&blob, lck, file, (ndr_pull_flags_fn_t)ndr_pull_opendb_file);
 209         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
 210                 return ndr_map_error2ntstatus(ndr_err);
 211         }
 212
 213         return NT_STATUS_OK;
 214 }
 215
 216 /*
 217   push a record, translating from the opendb_file structure defined in opendb.idl
 218 */
 219 static NTSTATUS odb_push_record(struct odb_lock *lck, struct opendb_file *file)
 220 {
 221         TDB_DATA dbuf;
 222         DATA_BLOB blob;
 223         enum ndr_err_code ndr_err;
 224         int ret;
 225
 226         if (!file->num_entries) {
 227                 dbuf.dptr  = NULL;
 228                 dbuf.dsize = 0;
 229                 ctdb_record_store(lck->rec, dbuf);
 230                 talloc_free(lck->rec);
 231                 return NT_STATUS_OK;
 232         }
 233
 234         ndr_err = ndr_push_struct_blob(&blob, lck, file, (ndr_push_flags_fn_t)ndr_push_opendb_file);
 235         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
 236                 return ndr_map_error2ntstatus(ndr_err);
 237         }
 238
 239         dbuf.dptr = blob.data;
 240         dbuf.dsize = blob.length;
 241
 242         ret = ctdb_record_store(lck->rec, dbuf);
 243         talloc_free(lck->rec);
 244         data_blob_free(&blob);
 245         if (ret != 0) {
 246                 return NT_STATUS_INTERNAL_DB_CORRUPTION;
 247         }
 248
 249         return NT_STATUS_OK;
 250 }
 251
 252 /*
 253   send an oplock break to a client
 254 */
 255 static NTSTATUS odb_oplock_break_send(struct odb_context *odb, struct opendb_entry *e)
 256 {
 257         /* tell the server handling this open file about the need to send the client
 258            a break */
 259         return messaging_send_ptr(odb->ntvfs_ctx->msg_ctx, e->server,
 260                                   MSG_NTVFS_OPLOCK_BREAK, e->file_handle);
 261 }
 262
 263 /*
 264   register an open file in the open files database. This implements the share_access
 265   rules
 266
 267   Note that the path is only used by the delete on close logic, not
 268   for comparing with other filenames
 269 */
 270 static NTSTATUS odb_ctdb_open_file(struct odb_lock *lck, void *file_handle,
 271                                   uint32_t stream_id, uint32_t share_access,
 272                                   uint32_t access_mask, bool delete_on_close,
 273                                   const char *path,
 274                                   uint32_t oplock_level, uint32_t *oplock_granted)
 275 {
 276         struct odb_context *odb = lck->odb;
 277         struct opendb_entry e;
 278         int i;
 279         struct opendb_file file;
 280         NTSTATUS status;
 281
 282         if (odb->oplocks == false) {
 283                 oplock_level = OPLOCK_NONE;
 284         }
 285
 286         status = odb_pull_record(lck, &file);
 287         if (NT_STATUS_EQUAL(status, NT_STATUS_OBJECT_NAME_NOT_FOUND)) {
 288                 /* initialise a blank structure */
 289                 ZERO_STRUCT(file);
 290                 file.path = path;
 291         } else {
 292                 NT_STATUS_NOT_OK_RETURN(status);
 293         }
 294
 295         /* see if it conflicts */
 296         e.server          = odb->ntvfs_ctx->server_id;
 297         e.file_handle     = file_handle;
 298         e.stream_id       = stream_id;
 299         e.share_access    = share_access;
 300         e.access_mask     = access_mask;
 301         e.delete_on_close = delete_on_close;
 302         e.oplock_level    = OPLOCK_NONE;
 303
 304         /* see if anyone has an oplock, which we need to break */
 305         for (i=0;i<file.num_entries;i++) {
 306                 if (file.entries[i].oplock_level == OPLOCK_BATCH) {
 307                         /* a batch oplock caches close calls, which
 308                            means the client application might have
 309                            already closed the file. We have to allow
 310                            this close to propogate by sending a oplock
 311                            break request and suspending this call
 312                            until the break is acknowledged or the file
 313                            is closed */
 314                         odb_oplock_break_send(odb, &file.entries[i]);
 315                         return NT_STATUS_OPLOCK_NOT_GRANTED;
 316                 }
 317         }
 318
 319         if (file.delete_on_close ||
 320             (file.num_entries != 0 && delete_on_close)) {
 321                 /* while delete on close is set, no new opens are allowed */
 322                 return NT_STATUS_DELETE_PENDING;
 323         }
 324
 325         /* check for sharing violations */
 326         for (i=0;i<file.num_entries;i++) {
 327                 status = share_conflict(&file.entries[i], &e);
 328                 NT_STATUS_NOT_OK_RETURN(status);
 329         }
 330
 331         /* we now know the open could succeed, but we need to check
 332            for any exclusive oplocks. We can't grant a second open
 333            till these are broken. Note that we check for batch oplocks
 334            before checking for sharing violations, and check for
 335            exclusive oplocks afterwards. */
 336         for (i=0;i<file.num_entries;i++) {
 337                 if (file.entries[i].oplock_level == OPLOCK_EXCLUSIVE) {
 338                         odb_oplock_break_send(odb, &file.entries[i]);
 339                         return NT_STATUS_OPLOCK_NOT_GRANTED;
 340                 }
 341         }
 342
 343         /*
 344           possibly grant an exclusive or batch oplock if this is the only client
 345           with the file open. We don't yet grant levelII oplocks.
 346         */
 347         if (oplock_granted != NULL) {
 348                 if ((oplock_level == OPLOCK_BATCH ||
 349                      oplock_level == OPLOCK_EXCLUSIVE) &&
 350                     file.num_entries == 0) {
 351                         (*oplock_granted) = oplock_level;
 352                 } else {
 353                         (*oplock_granted) = OPLOCK_NONE;
 354                 }
 355                 e.oplock_level = (*oplock_granted);
 356         }
 357
 358         /* it doesn't conflict, so add it to the end */
 359         file.entries = talloc_realloc(lck, file.entries, struct opendb_entry,
 360                                       file.num_entries+1);
 361         NT_STATUS_HAVE_NO_MEMORY(file.entries);
 362
 363         file.entries[file.num_entries] = e;
 364         file.num_entries++;
 365
 366         return odb_push_record(lck, &file);
 367 }
 368
 369
 370 /*
 371   register a pending open file in the open files database
 372 */
 373 static NTSTATUS odb_ctdb_open_file_pending(struct odb_lock *lck, void *private)
 374 {
 375         struct odb_context *odb = lck->odb;
 376         struct opendb_file file;
 377         NTSTATUS status;
 378
 379         status = odb_pull_record(lck, &file);
 380         NT_STATUS_NOT_OK_RETURN(status);
 381
 382         file.pending = talloc_realloc(lck, file.pending, struct opendb_pending,
 383                                       file.num_pending+1);
 384         NT_STATUS_HAVE_NO_MEMORY(file.pending);
 385
 386         file.pending[file.num_pending].server = odb->ntvfs_ctx->server_id;
 387         file.pending[file.num_pending].notify_ptr = private;
 388
 389         file.num_pending++;
 390
 391         return odb_push_record(lck, &file);
 392 }
 393
 394
 395 /*
 396   remove a opendb entry
 397 */
 398 static NTSTATUS odb_ctdb_close_file(struct odb_lock *lck, void *file_handle)
 399 {
 400         struct odb_context *odb = lck->odb;
 401         struct opendb_file file;
 402         int i;
 403         NTSTATUS status;
 404
 405         status = odb_pull_record(lck, &file);
 406         NT_STATUS_NOT_OK_RETURN(status);
 407
 408         /* find the entry, and delete it */
 409         for (i=0;i<file.num_entries;i++) {
 410                 if (file_handle == file.entries[i].file_handle &&
 411                     cluster_id_equal(&odb->ntvfs_ctx->server_id, &file.entries[i].server)) {
 412                         if (file.entries[i].delete_on_close) {
 413                                 file.delete_on_close = true;
 414                         }
 415                         if (i < file.num_entries-1) {
 416                                 memmove(file.entries+i, file.entries+i+1,
 417                                         (file.num_entries - (i+1)) *
 418                                         sizeof(struct opendb_entry));
 419                         }
 420                         break;
 421                 }
 422         }
 423
 424         if (i == file.num_entries) {
 425                 return NT_STATUS_UNSUCCESSFUL;
 426         }
 427
 428         /* send any pending notifications, removing them once sent */
 429         for (i=0;i<file.num_pending;i++) {
 430                 messaging_send_ptr(odb->ntvfs_ctx->msg_ctx, file.pending[i].server,
 431                                    MSG_PVFS_RETRY_OPEN,
 432                                    file.pending[i].notify_ptr);
 433         }
 434         file.num_pending = 0;
 435
 436         file.num_entries--;
 437
 438         return odb_push_record(lck, &file);
 439 }
 440
 441
 442 /*
 443   remove a pending opendb entry
 444 */
 445 static NTSTATUS odb_ctdb_remove_pending(struct odb_lock *lck, void *private)
 446 {
 447         struct odb_context *odb = lck->odb;
 448         int i;
 449         NTSTATUS status;
 450         struct opendb_file file;
 451
 452         status = odb_pull_record(lck, &file);
 453         NT_STATUS_NOT_OK_RETURN(status);
 454
 455         /* find the entry, and delete it */
 456         for (i=0;i<file.num_pending;i++) {
 457                 if (private == file.pending[i].notify_ptr &&
 458                     cluster_id_equal(&odb->ntvfs_ctx->server_id, &file.pending[i].server)) {
 459                         if (i < file.num_pending-1) {
 460                                 memmove(file.pending+i, file.pending+i+1,
 461                                         (file.num_pending - (i+1)) *
 462                                         sizeof(struct opendb_pending));
 463                         }
 464                         break;
 465                 }
 466         }
 467
 468         if (i == file.num_pending) {
 469                 return NT_STATUS_UNSUCCESSFUL;
 470         }
 471
 472         file.num_pending--;
 473
 474         return odb_push_record(lck, &file);
 475 }
 476
 477
 478 /*
 479   rename the path in a open file
 480 */
 481 static NTSTATUS odb_ctdb_rename(struct odb_lock *lck, const char *path)
 482 {
 483         struct opendb_file file;
 484         NTSTATUS status;
 485
 486         status = odb_pull_record(lck, &file);
 487         if (NT_STATUS_EQUAL(NT_STATUS_OBJECT_NAME_NOT_FOUND, status)) {
 488                 /* not having the record at all is OK */
 489                 return NT_STATUS_OK;
 490         }
 491         NT_STATUS_NOT_OK_RETURN(status);
 492
 493         file.path = path;
 494         return odb_push_record(lck, &file);
 495 }
 496
 497 /*
 498   update delete on close flag on an open file
 499 */
 500 static NTSTATUS odb_ctdb_set_delete_on_close(struct odb_lock *lck, bool del_on_close)
 501 {
 502         NTSTATUS status;
 503         struct opendb_file file;
 504
 505         status = odb_pull_record(lck, &file);
 506         NT_STATUS_NOT_OK_RETURN(status);
 507
 508         file.delete_on_close = del_on_close;
 509
 510         return odb_push_record(lck, &file);
 511 }
 512
 513 /*
 514   return the current value of the delete_on_close bit, and how many
 515   people still have the file open
 516 */
 517 static NTSTATUS odb_ctdb_get_delete_on_close(struct odb_context *odb,
 518                                             DATA_BLOB *key, bool *del_on_close,
 519                                             int *open_count, char **path)
 520 {
 521         NTSTATUS status;
 522         struct opendb_file file;
 523         struct odb_lock *lck;
 524
 525         lck = odb_lock(odb, odb, key);
 526         NT_STATUS_HAVE_NO_MEMORY(lck);
 527
 528         status = odb_pull_record(lck, &file);
 529         if (NT_STATUS_EQUAL(NT_STATUS_OBJECT_NAME_NOT_FOUND, status)) {
 530                 talloc_free(lck);
 531                 (*del_on_close) = false;
 532                 return NT_STATUS_OK;
 533         }
 534         if (!NT_STATUS_IS_OK(status)) {
 535                 talloc_free(lck);
 536                 return status;
 537         }
 538
 539         (*del_on_close) = file.delete_on_close;
 540         if (open_count != NULL) {
 541                 (*open_count) = file.num_entries;
 542         }
 543         if (path != NULL) {
 544                 *path = talloc_strdup(odb, file.path);
 545                 NT_STATUS_HAVE_NO_MEMORY(*path);
 546                 if (file.num_entries == 1 && file.entries[0].delete_on_close) {
 547                         (*del_on_close) = true;
 548                 }
 549         }
 550
 551         talloc_free(lck);
 552
 553         return NT_STATUS_OK;
 554 }
 555
 556
 557 /*
 558   determine if a file can be opened with the given share_access,
 559   create_options and access_mask
 560 */
 561 static NTSTATUS odb_ctdb_can_open(struct odb_lock *lck,
 562                                  uint32_t share_access, uint32_t create_options,
 563                                  uint32_t access_mask)
 564 {
 565         struct odb_context *odb = lck->odb;
 566         NTSTATUS status;
 567         struct opendb_file file;
 568         struct opendb_entry e;
 569         int i;
 570
 571         status = odb_pull_record(lck, &file);
 572         if (NT_STATUS_EQUAL(status, NT_STATUS_OBJECT_NAME_NOT_FOUND)) {
 573                 return NT_STATUS_OK;
 574         }
 575         NT_STATUS_NOT_OK_RETURN(status);
 576
 577         if ((create_options & NTCREATEX_OPTIONS_DELETE_ON_CLOSE) &&
 578             file.num_entries != 0) {
 579                 return NT_STATUS_SHARING_VIOLATION;
 580         }
 581
 582         if (file.delete_on_close) {
 583                 return NT_STATUS_DELETE_PENDING;
 584         }
 585
 586         e.server       = odb->ntvfs_ctx->server_id;
 587         e.file_handle  = NULL;
 588         e.stream_id    = 0;
 589         e.share_access = share_access;
 590         e.access_mask  = access_mask;
 591
 592         for (i=0;i<file.num_entries;i++) {
 593                 status = share_conflict(&file.entries[i], &e);
 594                 if (!NT_STATUS_IS_OK(status)) {
 595                         /* note that we discard the error code
 596                            here. We do this as unless we are actually
 597                            doing an open (which comes via a different
 598                            function), we need to return a sharing
 599                            violation */
 600                         return NT_STATUS_SHARING_VIOLATION;
 601                 }
 602         }
 603
 604         return NT_STATUS_OK;
 605 }
 606
 607
 608 static const struct opendb_ops opendb_ctdb_ops = {
 609         .odb_init                = odb_ctdb_init,
 610         .odb_lock                = odb_ctdb_lock,
 611         .odb_open_file           = odb_ctdb_open_file,
 612         .odb_open_file_pending   = odb_ctdb_open_file_pending,
 613         .odb_close_file          = odb_ctdb_close_file,
 614         .odb_remove_pending      = odb_ctdb_remove_pending,
 615         .odb_rename              = odb_ctdb_rename,
 616         .odb_set_delete_on_close = odb_ctdb_set_delete_on_close,
 617         .odb_get_delete_on_close = odb_ctdb_get_delete_on_close,
 618         .odb_can_open            = odb_ctdb_can_open
 619 };
 620
 621
 622 void odb_ctdb_init_ops(void)
 623 {
 624         odb_set_ops(&opendb_ctdb_ops);
 625 }