s3:idmap_tdb2: give idmap_tdb2_alloc_load() and idmap domain arguemnt

and use the ranges from the idmap domain for checking the HWM values

s3:idmap_tdb2: add an idmap_domain struct argument to idmap_tdb2_open_db()

s3:idmap_tdb2: remove filter_low_id and filter_high_id from idmap_tdb2_context

Now these are taken from the idmap_domain struct.

s3:idmap_tdb2: don't parse config and fill filter_low_id and filter_high_id

into idmap_tdb2_context in idmap_tdb2_db_init().
Now these are taken from the idmap_domain struct instead.

s3:idmap_tdb2: honour the "idmap read only" flag in the tdb2 module.

Note that this will not prevent the idmap script from writing its
mappings to the database, but no new unix ids will be allocated via
the allocator and hence no new mappings will be autogenerated.

s3:idmap_tdb2: use range from idmap_domain in idmap_tdb2_allocate_id

s3:idmap_tdb2: use filter from idmap_domain rather than from idmap_tdb2_context

s3:idmap_tdb2: pass idmap_domain (not idmap_tdb2_context) to idmap_tdb2_sid_to_id

s3:idmap_tdb2: pass idmap_domain instead of idmap_tdb2_context to idmap_tdb2_unixids_to_sids

The reason for this will become apparent later: The ranges are being moved to
the idmap_domain: They are universal.

s3:idmap_tdb2: also support idmap script for named domains

this can be configured via "idmap config DOMAIN : script = foobar"

s3:idmap_tdb2: move the idmap script from idmap_tdb2_state to idmap_tdb2_context

The state (aka idmap_tdb2_alloc_context) is being removed.
The (global) idmap script was wrong there anyways.
It belongs to the per-domain context.

s3:idmap_tdb2: remove use of idmap_tdb2_state from idmap_tdb2_allocate_id

idmap_tdb2_state should actually be called idmap_tdb2_alloc_context.
This is being removed as the idmap and allocation is moved together.
We use the idmap_tdb2_context * that is sitting in dom->private_data.
This contains the same ranges as those in the state anyways.
Later, when we can also allocate for named domains, this will become
necessary anyways.

s3:idmap_tdb2: move definition of struct idmap_tdb2_context up.

s3:idmap_tdb2: open the db after loading the ranges in idmap_tdb2_db_init().

s3:idmap_tdb2: add allocation of new mappings to idmap_tdb2_sids_to_unixids

This moves the new_mapping feature inside the tdb2 backend to make creations
of mappings atomic.

Note: The new internal function idmap_tdb2_get_new_id() that is used to allocate
a new unix id is prepared to function for multiple explicitly configured idmap
domains, but currently it does only work for the default domain. The extended
allocation support requires extension of the data base format to store multiple
counters (per domain). This will be added in a later step (TODO!).

s3:idmap_tdb2: re-implement allocated_id in idmap methods.

s3:idmap: add idmap_unix_id_is_in_range() for checking an id against an idmap range

s3:idmap: don't check range for passdb idmap domain

s3:idmap: parse ranges and "read only" in idmap_init_domain().

s3:idmap: add a read_only flag to the idmap_domain struct.

This will be used to mark "allocating backends" (tdb, tdb2, ldap) read-only.

s3:idmap: add low_id and high_id to the idmap_domain struct

This global data will replace the backend-specific filter_low_id
and filter_high_id. The presence of a range is generic to all
idmap configs.

s3:docs: fix net manpage to reflect removal of net "idmap secret alloc" feature

s3:net: remove the "net idmap secret alloc" functionality.

This is now not available any more, since allocation is moved
below the id mapping layer. The functionality could be
reintroduced on a per domain basis as an e.g
"net idmap secret <domain> alloc" command.

s3:docs: add documentation for new "idmap read only" parameter

s3:loadparm: add new boolean parameter "idmap read only"

This will be used to be able to put the default idmap config
read only. This can make sense for instance with the tdb2
idmap backend and using the idmap script feature.

s3:docs: remove documentation of removed parameter "idmap alloc backend"

s3:loadparm: remove parameter "idmap alloc backend"

s3:idmap: remove unused definition of idmap_alloc_methods.

Allocation is now completely handled in the allocating backends.

s3:idmap: remove idmap_alloc_context from idmap.c

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

No list of alloc backends is maintained any more in the top level.

s3:idmap: remove the alloc methods list from idmap.c

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

No list of alloc backends is maintained any more in the top level.

s3:idmap: remove unused get_alloc_methods().

s3:idmap: remove unused smb_register_idmap_alloc().

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

s3:idmap_ldap: remove unused idmap_ldap_alloc_methods.

s3:idmap_ldap: remoce unused idmap_alloc_ldap_init

s3:idmap_ldap: don't call idmap_alloc_ldap_init in idmap_ldap_init

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

s3:idmap_tdb: remove unused idmap_alloc_methods

s3:idmap_tdb: remove unused idmap_alloc_tdb_init()

s3:idmap_tdb: don't call idmap_alloc_tdb_init in idmap_tdb_init

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

s3:idmap_tdb2: remove unused idmap_tdb2_alloc_init().

s3:idmap_tdb2: remove unused idmap_tdb2_alloc_close().

s3:idmap_tdb2: remove unused idmap_alloc_methods.

s3:idmap_tdb2: don't call smb_register_idmap_alloc() in idmap_tdb2_init

The registering of alloc backends is being removed.
The idmap backends are responsible for initializing
their alloc code on their own if necessary.

s3:idmap_tdb: make idmap_alloc_tdb_init() static.

s3:idmap: remove unused idmap_alloc_init().

s3:idmap: use allocate_id() from the idmap_methods in idmap_allocate_unixid()

The idmap alloc methods are being removed.

s3:idmap: add an allocate_id method to the idmap_methods struct.

The idmap_alloc_methods are being removed, but this single "alloc" method
is still needed for the samba-wide Unix-ID allocator, which is used in
group-mapping and ldapsam:editposix.
This method should ultimately also disappear.

s3:idmap: factor out common code of idmap_allocate_uid|gid()

into new idmap_allocate_unixid().

s3:idmap: remove the set_mapping method from the idmap API

s3:idmap: remove idmap_new_mapping() - now implemented in the backends

s3:idmap: add a debug message to idmap_sid_to_gid

s3:idmap: add a debug message to idmap_sid_to_uid

s3:idmap: don't call idmap_new_mapping idmap_sid_to_gid

The setting of a new mapping is moved into the backend code
to achieve atomicity and greater flexibility.

Michael

s3:idmap: don't call idmap_new_mapping idmap_sid_to_unixid.

The setting of a new mapping is moved into the backend code
to achieve atomicity and greater flexibility.

Michael

s3:winbind: increase interface version after removing calls

Michael

s3:idmap: remove unused method set_id_hwm from idmap API

Michael

s3:idmap: remove unused alloc method get_id_hwm from idmap API

Michael

s3:idmap: remove unused method dump_data() from the idmap API

Michael

s3:idmap: remove the remove_mapping method from API and backends

Michael

s3:idmap: remove unused idmap_remove_mapping().

Michael

s4: remove REMOVE_MAPPING from wb_samba3_protocol

Michael

s3:winbind: remove the method REMOVE_MAPPING from winbind's API

Michael

s3:idmap: remove unused idmap_set_mapping().

Michael

s4: remove SET_MAPPING from wb_samba3_protocol

Michael

s3:winbind: remove the method SET_MAPPING from winbind's API

Michael

libwbclient: unimplement wbcRemoveGidMapping()

Michael

libwbclient: unimplement wbcRemoveUidMapping()

Michael

libwbclient: unimplement wbcSetGidMapping()

Michael

libwbclient: unimplement wbcSetUidMapping()

Michael

s3:idmap: remove unused idmap_set_gid_hwm()

Michael

s3:idmap: remove unused idmap_set_uid_hwm()

Michael

s4: remove SET_HWM and SET_DUAL_HWM from wb_samba3_protocol

Michael

s3:winbind: remove SET_HWM from winbind's API.

libwbclient: unimplement wbcSetGidHwm()

Michael

libwbclient: unimplement wbcSetUidHwm()

Michael

s3:net: rewrite "net idmap restore" using dbwrap

This removes the use of libwbclient from "net idmap".

This detects the idmap backend from the current smb.conf
and stores the id mapping tables in the corresponding data bases.
Currently, only tdb and tdb2 backends are supported.
Support for the ldap backend may be implemented later.

s3:net: change "net idmap dump" to use dbwrap instead of direct tdb access

This way, it will also work in a samba-ctdb cluster.

s3:net sam provision: compose sid before getting uid for Guest

Michael

s3:net sam provision: allocate the uid after composing the sid for Administrator

Michael

s3:pdb_ldap: move some code in ldapsam_create_dom_group()

to make the flow more similar to ldapsam_create_user().
This prepares for calling winbind_sid_to_gid() instead of
winbind_allocate_gid(): we need the group_sid for this...

Michael

s3:groupdb: allocate a gid after allocating a rid in pdb_default_create_alias()

Michael

s3:idmap_tdb2: fix a debug message

s3:test: add a new "valgrindtestenv" target, similar to gdbtestenv

this runs the daemins in xterm under valgrind instead of in gdb

s3:gdbtestenv: also start an xterm with nmbd. and start winbindd before smbd.

s3:gdbtestenv: also set the xterm's window title appropriately

s3:gdbtestenv: print the server's name in the icontitle instead of "server"

pidl: fix printing of server side ndr request debug messages

The macros NDR_PRINT_IN_DEBUG and NDR_PRINT_OUT_DEBUG are made for
the client side. For the server side, the NDR_SET_VALUES flag needs
to be added for the OUT struct and not for the IN struct, otherwise,
the OUT part can print uninitialized data and the IN part may
recalculate string lengths illegally.

s3: Fix some error messages

Eliminate any chance of a class of "uninitialized auto variable" errors.

Jeremy.

tdb: workaround starvation problem in locking entire database.

We saw tdb_lockall() take 71 seconds under heavy load; this is because Linux
(at least) doesn't prevent new small locks being obtained while we're waiting
for a big log.

The workaround is to do divide and conquer using non-blocking chainlocks: if
we get down to a single chain we block.  Using a simple test program where
children did "hold lock for 100ms, sleep for 1 second" the time to do
tdb_lockall() dropped signifiantly.  There are ln(hashsize) locks taken in
the contended case, but that's slow anyway.

More analysis is given in my blog at http://rusty.ozlabs.org/?p=120

This may also help transactions, though in that case it's the initial
read lock which uses this gradual locking routine; the update-to-write-lock
code is separate and still tries to update in one go.

Even though ABI doesn't change, minor version bumped so behavior change
can be easily detected.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s3-selftest: move make test to selftest.

The old "make test" can be still called as "make oldtest".

Guenther

s3-selftest: fix testparm tests as non-root.

Thanks to Andreas for pointing this out.

Guenther

s3-smbd: Publish nt printers.

Reloading of the printers requires rpc services up and running! The
first call in reload_services will be skipped.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-smbd: Move rpc services init to smbd parent.

The move to the parent makes it possible to use an internal rpc pipe
really early and as we migrated serveral parts of samba to rpc function
this is required. This should speed up the fork of a smbd a bit cause
the rpc services are already running.

We still have several problems here which aren't solved. We don't have a
dependency tree here. For example we have to make sure that the registry
is initialized before we can use the winreg pipe. The spoolss server
requires winreg, so we have to start winreg before we can start the
spoolss server. I'm sure there are more dependencies.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-smbd: Regroup some init functions.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-smbd: Fixed indent.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-loadparm: Added some comments to lp_load_ex calls.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-smbd: Cleanup the order of the init functions.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-smbd: Make sure the event context is initialized.

Signed-off-by: Simo Sorce <idra@samba.org>

s3-build: remove pointless RPC_PARSE_OBJ2.

Guenther

s3-waf: remove pointless RPC_PARSE_SRC2.

Guenther