syncing newer files to SAMBA_3_0

removing nisplussam

* fixed volker's wbinfo -a lockup again.  This one was my fault.
  It was caused by the winbind_ping() call in is_trusted_domain()

  o if we are a DC then we check our own direct trust relationships
    we have to rely on winbindd to update the truatdom_cache
  o if we are a domain member, then we can update the trustdom_cache
    ourselves if winbindd is not there

initial draft of changeset

applying fix for group map conversion (patch from Kristyan Osborne)

fix compile problem with nisplussam

Different fix for memleak just committed. This belongs into
tdb_search_list_free.

Volker

Fix two memory leaks. tdb_search_keys allocates space for the key
strings.

Running 'net cache list' or secrets_get_trusted_domains through
valgrind gives a *huge* amount of invalid reads of one byte beyond the
indicated string length in libc's strncpy. Annoying...

Volker

Fix a segfault found by metze & valgrind...

Don't overwrite past the end of a string.

Volker

Don't set a mapping that is already there.

Volker

Grr, the order of these arguments matters

Make smbpasswd use the higher log level for the second run - this should
help us debug failures in smbpasswd.

Andrew Bartlett

fix typos in log messages and comments.

* revert change to get_global_sam_name()
* add get_default_sam_name() to be used by make_user_info_map()
* add comments describing get_*_sam_name()

* fix the trustdom_cache to work when winbindd is not running.
  smbd will update the trustdom_cache periodically after locking
  the timestamp key

Fixed the latest complaint from jcmd :-). We were storing -1 for the
CREATOR_OWNER/CREATOR_GROUP uid/gid entries in the SAMBA_PAI attribute.
Creator Owner and Creator group now show up as inherited correctly (I
think :-). Jim please test.
Jeremy.

Merge ... Volkers patch to make the logic clearer (with my mod).
Jeremy.

Fix missing ret = found by Volker.
Jeremy.

* cleanup more DC name resolution issues in check_*domain_security()
* is_trusted_domain() is broken without winbind.  Still working on this.
* get_global_sam_name() should return the workgroup name unless we
  are a standalone server (verified by volker)
* Get_Pwnam() should always fall back to the username (minus domain name)
  even if it is not our workgroup so that TRUSTEDOMAIN\user can logon
  if 'user' exists in the local list of accounts (on domain members w/o
  winbind)

Tested using Samba PDC with trusts (running winbindd) and a Samba 3.0
domain member not running winbindd.

notes: make_user_info_map() is slightly broken now due to the
fact that is_trusted_domain() only works with winbindd.  disabled
checks temporarily until I can sort this out.

Valgrind found a bug (subtracting a pointer from a length rather than the
length of what the pointer points to).
Jeremy.

Finally ! Fixed the ACL ordering bug reported by jcmd. I realised we were
not sorting returned ACE's correctly w.r.t. W2K - implemented the correct
algorithm.
Jeremy.

removing old code

* rename samstrict auth method to sam
* rename original sam auth method to sam_ignoredomain
* remove samstrict_dc auth method (now covered by 'sam')
* fix wbinfo -a '...' and getent passwd bugs when running
  winbindd on a samba PDC (reported by Volker)

fix for platforms that don't have unsetenv().
we now have to check the value for _NO_WINBINDD.
"1" enables, and != "1" disables (use "0" by convention).

Add the 'guest' passdb backend automatically if
guest account != ""

Volker

Yet more shadow variable warnings.

Fix more shadow variable warnings.

Fix shadow variable warnings.

- added LOCALE patch from vorlon@debian.org (Steve Langasek) (bug #122)

- changed --enable-developer debug to use -gstabs as it makes the
  samba binaries about 10x smaller and is still quite functional for
  samba debugging

Here's the code to make winbindd work on a Samba DC
to handle domain trusts.  Jeremy and I talked about this
and it's going in as working code.  It keeps winbind clean
and solves the trust problem with minimal changes.

To summarize, there are 2 basic cases where the deadlock would
occur.  (1) lookuping up secondary groups for a user, and
(2) get[gr|pw]nam() calls that fall through the NSS layer because
they don't exist anywhere.

o To handle case #1, we bypass winbindd in sys_getgrouplist() unless
  the username includes the 'winbind separator'.

o Case #2 is handled by adding checks in winbindd to return failure
  if we are a DC and the domain matches our own.

This code has been tested using basic share connections, domain
logons, and with pam_winbind (both with and without 'winbind
use default domain').  The 'trustdomain' auth module should work
as well if an admin wants to manually create UNIX users for
acounts in the trusted domains.

Other misc fixes:

  * we need to fix check_ntlm_password() to be able to determine
    if an auth module is authoritative over a user (NT_STATUS_WRONG_PASSWORD,
    etc...).  I worked around my specific situation, but this needs to be
    fixed.  the winbindd auth module was causing delays.
  * fix named server mutex deadlock between trust domain auth module
    and winbindd looking up a uid
  * make sure SAM_ACCOUNT gets stored in the server_info struct for the
    _net_sam_logon() reply.

Configuration details:

The recommended method for supporting trusts is to use winbind.
The gets us around some of the server mutex issues as well.

  * set 'files winbind' for passwd: and group: in /etc/nsswitch.conf
  * create domain trusts like normal
  * join winbind on the pdc to the Samba domain using 'net rpc join'
  * add normal parameters to smb.conf for winbind
  * set 'auth method = guest sam winbind'
  * start smbd, nmbd, & winbindd

Problems that remain:

  * join a Windows 2k/XP box to a Samba domain.
  * create a 2-way trust between the Samba domain
    and an NT domain
  * logon to the windows client as a user from theh trusted
    domain
  * try to browse server in the trusted domain (or other
    workstations).  an NT client seems to work ok, but 2k
    and XP either prompt for passwords or fail with errors.

apparanently this never got tested since no one has ever been
able to logon as a trusted user to a Samba domain from a Windows
client.

add check for NT_STATUS_NOT_IMPLEMENTED in auth check so that
map to guest = bad user works again when "trustdomain" is listed
as last auth method.

Also clean up some more DC location calls.

cleaning up after the s/in_addr/ip_service/ switch for the get_dc_list() patch

Some const correctness. Stop tdb being used as a remote backend. If an
idmap backend is specified cause smbd to ask winbindd (use winbindd if
you want a consistant remote backend solution).
Should work well enough for next beta now...
Jeremy.

Add include guards around idmap.h, change ID_NOMAP to ID_QUERY_ONLY
and ID_CACHE to ID_CACHE_SAVE. Added locking around tdb writes & deletes
for multi-process access.
Jeremy.

As has been pointed out, ordering here doesn't matter so use normal
add.
Jeremy.

Remove the MODULES_CLEAN variable. It's no longer necessary since
object files for modules are in .po files, while object files for
static use are in .o files. Pointed out by metze.

This reduces the number of files that have to be recompiled after the Makefile
changes. Preventing unnecessary recompiling of the other few is high
on my todo list.

Move up intialisation of logging, so we catch errors in handling 'preload modules'

Document name resolve order suggested settings for security=ads as mentioned by Jerry

cleaning up more build issues.  Tested
"--with-ads=no --with-ldap=yes" and "--with-ads=yes && make everything"

Fix immediate bug where the idmap can't tell the difference between an entry
not being present (and so allocate another) and an entry that is present but
of the wrong type. This code still has major problems...
Jeremy.

Add netlogon debug registry key info

fix linking of some things that are not built by default

ifdef out some functions that are not used when HAVE_ADS is not defined

fix build on non-ldap platforms

Ensure idmap backends are added in the correct order (DLIST_ADD puts
things at the *front* of the list). Add more debug. Still broken.. :-(.
Jeremy.

* fix typos in a few debug statements
* check negative connection cache before ads_try_connect()
  in ads_find_dc()

forgot one file

large change:

*)  consolidates the dc location routines again (dns
    and netbios)  get_dc_list() or get_sorted_dc_list()
    is the authoritative means of locating DC's again.

    (also inludes a flag to get_dc_list() to define
     if this should be a DNS only lookup or not)

    (however, if you set "name resolve order = hosts wins"
     you could still get DNS queries for domain name IFF
     ldap_domain2hostlist() fails.  The answer?  Fix your DNS
     setup)

*)  enabled DOMAIN<0x1c> lookups to be funneled through
    resolve_hosts resulting in a call to ldap_domain2hostlist()
    if lp_security() == SEC_ADS

*)  enables name cache for winbind ADS backend

*)  enable the negative connection cache for winbind
    ADS backend

*)  removes some old dead code

*)  consolidates some duplicate code

*)  moves the internal_name_resolve() to use an IP/port pair
    to deal with SRV RR dns replies.  The namecache code
    also supports the IP:port syntax now as well.

*)  removes 'ads server' and moves the functionality back
    into 'password server' (which can support "hostname:port"
    syntax now but works fine with defaults depending on
    the value of lp_security())

Patch to move functions directly from pdb_ldap.c into lib/smbldap.c

The functions are unchanged.  Next step is to make idmap_ldap use them.

Andrew Bartlett

Metze assures me that this will fix Heimdal et al.

I think the lesson to take away here is that refactoring configure.in
is a hazardous task and should only be attempted if you have a lot
of time and patience!

Fix a warning in a DEBUG

Clean up the init a little bit, less nested if-statements.

Agreed upon with Simo.

Volker

Tought I already done.
Set back 3.0 to use only winbindd_idmap.tdb as idmap database as told on
samba-technical.
Tested and working so far.

Only append to KRB5_LIBS when doing AC_CHECK_LIB for libkrb5.

I think we are done with MIT Kerberos for the moment.  The Heimdal detection
looks like it has been broken for ages so it's next on the list.

Don't trash the values of CFLAGS and LIBS while engaged in Kerberos
detection.  On Solaris 9 extra libraries -lber and -lresolv are
required for Kerberos tests.  We used to have an extra check for
-lresolv only but I think the correct solution is not to forget about it
in the first place.

This should fix bug #125 although I don't have access to a
system to test it out on.

More debugs for this... (these should have been here already !).
Jeremy.

More instrumentation tracking down this bug...
Jeremy.

Start to instrument this code as I try and track down a nasty bug that
causes mapping to dissapear...
Jeremy.

Sequence number was not getting updated with ldap hack. Only a bug in this
branch.
Jeremy.

Explain why winbindd is exiting.
Jeremy.

Fix pdb_ldap segfaults, and wrong default values for ldapsam_compat.

Reviewed by vl, metze.

Andrew Bartlett

do not forget the include file :-)

add tdb backup function separation and winbind idmap upgrade code form
pre-2.2.4 tdb database format.

tx volker for your work on this

More tuning of Kerberos detection - don't fall through to detect kerberos libs
when we have already decided that we can't do it.

More sensible behaviour for bug 152.  If we don't have krb5.h and were explicitly
configured using --with-ads then give an error, otherwise fall back to compiling
without ADS.

Tested on redhat 8.0 with and without MIT kerberos packages installed.  Metze,
let me know if this is working OK for you now!

Fixes from Martin Dorey <mdorey@bluearc.com> to only ask for and change
the requested parts of the ACL.
Jeremy.

Move the map acl inherit parameter into the protocol section.
Jeremy.

Add documentation for "map acl inherit" parameter.
Jeremy.

Fixed the merge_default_aces() code to work correctly with inheritance.
Hopefully will fix jcmd bugs :-).
Jeremy.

* s/get_dc_name/rpc_dc_name/g  (revert a previous change)

* move back to qsort() for sorting IP address in get_dc_list()

* remove dc_name_cache in cm_get_dc_name() since it slowed
  things down more than it helped.  I've made a note of where
  to add in the negative connection cache in the ads code.
  Will come back to that.

* fix rpcclient to use PRINTER_ALL_ACCESS for set printer (instead
  of MAX_ALLOWED)

* only enumerate domain local groups in our domain

* simplify ldap search for seqnum in winbindd's rpc backend

wrap group enuemration in brcome/unbecome_root() (bug #110)

fix typo (bug #170)

fix bug #178; available space in devmode should be int

lp_security() is a function not an integer

Change AC_MSG_ERROR() in krb5.h detection code to AC_MSG_WARN()
until I repair my destroyed development system and check in a proper
fix for this.

* set domain->last_status = NT_STATUS_SERVER_DISABLED on an ads_connect() failure
* Fix code to use winbind_rpc methods for trusted mixed mode or NT4 domains
  ( does no one ever test this? )
* add in LDAP code to get the sequence number for rpc based seqnum update.
  ( this is needed if the DC is upgraded and samba is not reconfigured
    to use security = ads; it's not pretty but it works (from app_head) )
* fix bug that caused us to enumerate domain local groups in domains
  other than our own

Produce an error if Active Directory support is requested and we don't
have krb5.h

Should fix bug 152.

Repair indentation in autoconf Kerberos detection code.  This should
make it easier to understand/debug.

Found out a good number of NT_STATUS_IS_ERR used the wrong way.
As abartlet rememberd me NT_STATUS_IS_ERR != !NT_STATUS_IS_OK

This patch will cure the problem.
Working on this one I found 16 functions where I think NT_STATUS_IS_ERR() is
used correctly, but I'm not 100% sure, coders should check the use of
NT_STATUS_IS_ERR() in samba is ok now.

Simo.

(fixing bug in my last commit)
This isn't C++ - start your code *after* all the variables are declared...

Andrew Bartlett

Fix memory leak. secrets_fetch allocates memory.

Volker

This removes the StrCaseCmp() stuff from 'net idmap' and 'net
groupmap'.  The correct way to implement this stuff is via a function
table, as exampled in all the other parts of 'net'.

This also moves the idmap code into a new file.  Volker, is this your
code?  You might want to put your name on it.

Andrew Bartlett

This patch fixes some issues with idmap_tdb as raised by bug #181

The idea here is to eliminate the need to *set* the 'HWM' (High Water
Mark) in the tdb.  Instead, each caller wanting to add an item to the
TDB uses the fact that an insert will *fail* if entry already exists.

More importantly, this means that we don't need to know the value of the
idmap uid/gid values when setting arbitrary entries, which can occur on
an smb.conf without such values specified.

Then all we need to do is loop until we get an id that will insert.
This means that the HWM does not need to be accurate, and we can have
IDs allocates safely above the HWM.

Setting the HWM to an arbitrary value was racy in the past - now we
don't even do it.

This patch also adds paranoia in reading the tdb - both the entry, and
it's reverse entry must be present.  This means that we don't need to
'clean up' after an abnormal failure (which would probably fail too),
instead we rely on readers to ignore the half-completed entry.  The way
this is done will allow SIDs to then allocated an ID when things are
normal again.

Andrew Bartlett

Always initialize.

Merge ... the netsamlogon caching code from APPLIANCE_HEAD
This replaces the universal group caching code (was originally
based on that code).  Only applies to the the RPC code.

One comment: domain local groups don't show up in 'getent group'
that's easy to fix.

Code has been tested against 2k domain but doesn't change anything
with respect to NT4 domains.

netsamlogon caching works pretty much like the universal group
caching code did but has had much more testing and puts winbind
mostly back in sync between branches.

This patch works towards to goal of common code shared between idmap_ldap
and pdb_ldap.

So far, it's just a function rename, so that the next patch can be a very
simple matter of copying functions, without worrying about what changed
in the process.

Also removes the 'static' pointers for the rebind procedures, replacing them
with a linked list of value/key lookups.  (Only needed on older LDAP client
libs)

Andrew Bartlett

Fixed sorting algorithm to prevent problems with W2K clients.
Jeremy.

Fix bug #136.  Add message about erroneous empty "passdb backend" parameter.

Fix bug #136: "passdb backend = " caused smbd to segfault.
Instead, spit out an error message.

Fix mount options for ro, dir_mode, file_mode

fixed a bug found by volker

when we are traversing a readonly dababase we should not try to
cleanup the pending-delete records

Updating change from "winbind uid/gid" to "idmap uid/gid"

Applied Vance Lankhaar's spelling fixes.

The default action for AC_CHECK_LIB is to add the library to $LIBS so
this doesn't need to be done explicitly in the Kerberos checks.

Also there was a duplicate AC_CHECK_LIB(resolv, dn_expand) which is done
early on in the configure process.

Back out some of the changes to nsstest.  I've kept the NULL pointer
dereference bugfixes but left out the gethostbyname (wins) tests pending
a nicer way to integrate it.

Missed initial param, typo.
Jeremy.

Mapping of Windows ACL inheritance and protected bits onto extended attributes
if available. Adds new parameter "map acl inheritance" (docs coming soon)
off by default. Allows W2K acl inheritance dialogs to work correctly on
POSIX acls.
Jeremy.

Minor Debian updates.

Fix typo

VFS modules are located in the subdirectory vfs of $LIBDIR

Remove short -A option, but still leave in the --set-auth-user option.
This reflects a change made in wbinfo as a result of bug 158.