s3-passdb: Use pdb_get_nt_passwd() to get nt passwd.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3upgrade: Add idmap migration, users/groups import

Added users/groups import from s3 using python wrapper for passdb.
Fix idmap entries for users/groups when migrating from s3 idmap.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

provision: Add idmap database handle to the result of provision

It is required in s3_upgrade script to migrate idmap database from s3 to s4.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

samba3-python: Add methods to get any entry (user/group) and its sid from idmap

This is required in upgrade_s3 script to migrate idmap database from s3 to s4

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

py_security: Fix comparison between two dom_sid objects

dom_sid_compare() function can return values other than -1, 0, 1.
Python requires compare function to return value from [-1, 0, 1].

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Fix call for search_aliases(). It returns bool and not NTSTATUS.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Return list of sids from python wrapper enum_group_members

Instead of returning rids as the C api does, return sids, so it is
similar to enum_aliasmem and can be used easily in s3_upgrade.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Make arguments for python wrapper enum_group_mapping() optional

Set the defaults, if no arguments are provided.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Added python wrapper for passdb methods

Added following methods
 - uid_to_sid, gid_to_sid, sid_to_id, new_rid
 - get_trusteddom_pw, set_trusteddom_pw, del_trusteddom_pw, enum_trusteddoms
 - get_trusted_domain, get_trusted_domain_by_sid, set_trusted_domain,
   del_trusted_domain, enum_trusted_domains
 - get_secret, set_secret, delete_secret

Updated documentation for all methods

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Python wrapper for passdb

- Added Groupmap python wrapper
- Added passdb methods

   getgrsid, getgrgid, getgrnam
   create_dom_group, delete_dom_group
   add_group_mapping_entry, update_group_mapping_entry, delete_group_mapping_entry
   enum_group_mapping, enum_group_members
   add_groupmem, del_groupmem
   create_alias, delete_alias
   get_aliasinfo, set_aliasinfo
   add_aliasmem, del_aliasmem, enum_aliasmem
   get_account_policy, set_account_policy
   search_groups, search_aliases

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Replace SMB_MALLOC_ARRAY()/SAFE_FREE() with talloc equivalents.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

Fix bug #8370 - vfs_chown_fsp broken -- returns in the wrong directory

Ensure we always use vfs_ChDir() to keep the singleton cache coherent.

Autobuild-User: Jeremy Allison <jra@samba.org>
Autobuild-Date: Fri Aug 19 00:43:05 CEST 2011 on sn-devel-104

credentials: Rename library to samba-credentials to avoid name clashes.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Thu Aug 18 22:16:38 CEST 2011 on sn-devel-104

smb_common: Fix include paths.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Thu Aug 18 16:54:01 CEST 2011 on sn-devel-104

cli-raw: Add public libsmbclient-raw library.

libcliraw: Install more header files.

smb_common: Install some more headers.

libcliraw: Install request.h and signing.h.

smb_composite: Remove unnecessary include of signing header.

smb_composite: Integrate prototypes in header file.

Use public pytalloc header file.

s3/ldap: don't continue if we couldn't get the domain info on startup

while some things work without the domain info, some important things don't,
which is highly irritating. As even calls like EnumTrustDom fail and
thus clients' domain logins fail we are sufficiently broken to refuse to go on.

Autobuild-User: Björn Jacke <bj@sernet.de>
Autobuild-Date: Thu Aug 18 12:48:37 CEST 2011 on sn-devel-104

s4-test: use dbcheck on more of our selftest databases

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Thu Aug 18 02:58:55 CEST 2011 on sn-devel-104

s4-test: only check one database in quickcheck

s4-dsdb: fixed deletion of backlinks for fl2000 DCs

when in FL 2000 we were not correctly deleting backlinks as we uses
dsdb_find_dn_by_guid() which doesn't find deleted objects. Modules
should use dsdb_module_dn_by_guid() which prevents going to the top
level, and finds deleted objects

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added comments and fixed backlink check in repl_meta_data

added comments explaining the backlink deletion code, plus fix a use
of a bitwise operation in a boolean expression, and avoid calling
dsdb_functional_level() inside a loop

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dirsync: use dsdb_module_dn_by_guid() not dsdb_find_dn_by_guid() in modules

this prevents us going to the top level of the module stack

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

samba-tool: changed samba-tool user delete to use samdb instead of Net()

this makes it possible to use with -H, so you can delete users on
remote DCs or against local databases

s4-samdb: added deleteuser() to samdb

This is similar to deletegroup()

s4-test: prevent the utable test from crashing

Adapt del_sid_from_array to Samba coding style

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Wed Aug 17 16:46:24 CEST 2011 on sn-devel-104

Fix a typo

s3: Next step to fix MIT trusts

aa3f10c was not complete in the sense that it did not fully cover some
conditions that led to invalid domains in the winbind parent

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Wed Aug 17 13:59:06 CEST 2011 on sn-devel-104

s3: Increase a debug level in ads_find_dc

This message can happen with AD trusts that winbind can not cope with. The
message is not really clear and not worth spamming syslog always.

Remove unused "sid_equal"

Replace calls to sid_equal with calls to dom_sid_equal

s3-messaging: IDMAP_ messages belongs to the Winbind range

Autobuild-User: Simo Sorce <idra@samba.org>
Autobuild-Date: Tue Aug 16 22:27:05 CEST 2011 on sn-devel-104

s3: Use ZERO_STRUCT where appropriate

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Tue Aug 16 13:59:55 CEST 2011 on sn-devel-104

tdb: increment sequence number in tdb_wipe_all().

TDB2 testing revealed that tdb1 doesn't do this.  It's minor, but fix it.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date: Tue Aug 16 10:47:41 CEST 2011 on sn-devel-104

s3:registry: enhance debugging of deletekey_recursive

Autobuild-User: Michael Adam <obnox@samba.org>
Autobuild-Date: Mon Aug 15 19:34:44 CEST 2011 on sn-devel-104

s3:dbwrap_ctdb: improve transaction start/commit/cancel debugging

* also log nesting transaction start/commit/cancel
* unify transaction log messages slightly

s3:lib: fix a comment in tdb_unpack()

s3:registry: fix regdb_key_exists: the record has to contain at least the 4-byte subkey counter

More precisley, we return false if the record does not match the required
structure of a leading 4-byte subkey counter followed by the corresponding
number zero-terminated strings.

s3: avoid reading past the end of buffer in tdb_unpack 'f' if zero termination is missing

Signed-off-by: Michael Adam <obnox@samba.org>

s3: avoid reading past the end of buffer in tdb_unpack 'P' if zero termination is missing

Signed-off-by: Michael Adam <obnox@samba.org>

build: link pys3param against pytalloc-util not pytalloc

pytalloc is the python module, pytalloc-util is the library that we can depend on

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Mon Aug 15 09:54:02 CEST 2011 on sn-devel-104

s3-passdb Use supplied pdb_methods in default passdb search handlers

s3-prefork: Do not use mmap/mremap/munmap directly

Use the wrappers in util.h as they deal with trying to do the best they can on
platfroms that do not support mmap extensions.

Autobuild-User: Simo Sorce <idra@samba.org>
Autobuild-Date: Mon Aug 15 04:13:51 CEST 2011 on sn-devel-104

util: add function to extend anonymous shared memory

replace: Check if we have mremap() available

Use public pytalloc header file.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Sun Aug 14 17:18:46 CEST 2011 on sn-devel-104

s3: Fix bug 8360

OS/2 sends an unexpected write&x/read&x chain

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Sun Aug 14 08:48:58 CEST 2011 on sn-devel-104

s3-passdb: Fix python < 2.6 build errors in passdb python wrapper

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Sun Aug 14 03:59:48 CEST 2011 on sn-devel-104

s4:misc: remove last usage of legacy event_ fn names

Autobuild-User: Simo Sorce <idra@samba.org>
Autobuild-Date: Sun Aug 14 00:38:13 CEST 2011 on sn-devel-104

s4:lib: use tevent_ fns names instead of legcay event_ ones

s4:smbd: use tevent_ fn names instead of leagcy event_ ones

s4:ntvfs: use tevent_ fn names instead of legacy event_ ones

s4:librpc: use tevent_ fn names instead of legacy event_ ones

s4:libcli: use tevent_ fn names instead of legacy event_ ones

s4:dsdb: use tevent_ fn names instaed of legacy event_ ones

s4:messaging: use tevent_ function names instead of legacy event_ ones

torture: use tevent_ functions names instead of the legacy event_ ones

ldb: Remove use after free in error case

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Sat Aug 13 13:49:44 CEST 2011 on sn-devel-104

s4-provision Add support for fixing the DC rid to a particular value

This will allow an upgraded DC to keep its SID, while being upgraded
to AD.  We also watch for the highest RID in the existing DB to set
next_rid for other additional users.

Andrew Bartlett

s3-smbd Avoid races creating 'ncaclrpc dir' with epmd in a child process

s4-param Set szConfigFile even for s3 loadparm contexts

upgrade: Add missing bits for the s3 to s4 upgrade script

Use passdb backend to import/export users

Remove unused options for upgrade_from_s3 command (--blank) and credentials options
Config file is specified with -s/--configfile option and no need to specify as an argument.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

tests: Update test for s3 to s4 upgrade with two cases

S3-member to S4-member and S3-dc to S4-dc

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Added python method to get_global_sam_sid

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Return dom_sid and guid with correct python types.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

passdb: Move python wrapper for passdb in samba3 python package

py-samba3: Create samba3 python package to hold other modules

This will include passdb and param.

s3-param: Add python wrapper for s3 parameters

This provids a get_context() method to return s3 context as s4 context type.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Connect to specified samdb if location is provided, otherwise use default

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s3-passdb: Fix the error messages and return correct NTSTATUS

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: Provide additional method to connect to specified database path

samdb_connect() now calls samdb_connect_url() with default "sam.ldb".

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s3-param: Make sure we have talloc stack frame before calling in s3 code

When loading parameters as s4 context in s3 code, ensure we have a
talloc stack frame. This is required for python wrapping s3 params.

param: Add smb.conf loading support to s3/s4 loadparm bridge

s4-dsdb ensure we honour the hash_values control, even for really odd hashes

s4-dsdb Give a less worrying error message on failure to get a transaction

s4-scripting Rename passdb upgrade routine to avoid conflict with upgradeprovision

s3-passdb Add support for pdb_add_sam_account() and password hashes to pdb_samba4

This will help when using this as part of the Samba3 passdb -> Samba4
ldb database upgrade script.

Andrew Bartlett

s4-dsdb Add ability to force a particular SID in the upgrade case

s3-passdb Make pdb_element_is_changed available to all passdb modules

This will allow pdb_samba4 to use this

Andrew Bartlett

s4-dsdb Add flag to set DSDB_BYPASS_PASSWORD_HASH control

passdb: Allocate talloc stackframe before calling in pdb functions.

passdb: Call with correct backend methods instead of default methods

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

passdb: Added python wrapper to passdb

 - Added python wrapper for samu structure.

 - Added python wrapper for passdb methods:

   domain_info(), getsampwnam(), getsampwsid(), create_user(),
   delete_user(), add_sam_account(), delete_sam_account(),
   update_sam_account(), rename_sam_account(), search_users()

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

passdb: Add a function to read secrets db from a specified path

This allows to load secrets db from a different location. The original
secrets_init() now calls secrets_init_path() with lp_private_dir().

passdb: Add a function to expose loaded backend list.

This function is used in python wrapper to list available python backends.

waf: Add SAMBA3_PYTHON context to build python wrappers in samba3

samba-tool: Remove gpo setacl command

s3:smb2cli: pass more fields to smb2cli_req_create()/smb2cli_req_send()

The caller should take care of the global cli_state values.

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Aug 12 19:38:27 CEST 2011 on sn-devel-104

s3:smb2cli: allow 32bit dyn_len in smb2cli_req_create()/smb2cli_req_send()

metze

s3:libsmb: keep a cli_smb_state->one_way

This moves the SMB1 specific stuff to cli_smb_req_create(),
instead of having it in the core dispatching code.

metze

s3:libsmb: abstract the incoming dispatch function via a function pointer

This will allow handling of SMB2 in future.

metze

s3:libsmb: split out cli_state_dispatch_smb1() from cli_smb_received()

metze

s3:libsmb: add missing TALLOC_FREE(frame) to cli_smb_received()

metze

s3:smb2_server: make sure we prefer responses over requests on the client socket

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Aug 12 16:46:43 CEST 2011 on sn-devel-104

selftest:Samba4: test --domain-critical-only in provision_vampire_dc()

This way only only replicate critical objects during the initial join
as DC, then we'll replicate the whole domain while 'samba' is running.

metze

Signed-off-by: Andrew Tridgell <tridge@samba.org>
Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Aug 12 14:07:50 CEST 2011 on sn-devel-104