s4-dns: added a dns update task

This task watches for changes in the list of DCs, and creates a bind9
formatted file that grants update permission to all DCs, plus to the
administration, and machines update for their own names.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: cope with umask in creating private/dns

util: added file_compare() utility function

file_compare() returns true if two files are the same. It is meant for
small files.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

libreplace: added replacements for dprintf() and vdprintf()

these are very useful for writing files with formatted writes

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: pre-create a named.conf.update file

The named.conf.update file will be filled in at runtime by Samba to
contain the list of bind9 grant rules for granting DNS dynamic update
permissions on the domain.

s4-provision: move zone file to dns subdirectory

This allows the permissions to be correctly set for bind to write to
a journal file. It also sets the right group ownership and permissions
on the files that bind needs to access.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4:provision Be more polite to long-suffering Samba testers.

Our testers put up with a lot of odd things when testing out Samba4.

Andrew Bartlett

Fix unused variable warning after change to new DLINK macros.

Jeremy.

Fix bad use when freeing linked list. Todd Stecher (Original author) please check !

Jeremy.

test:local added LOCAL-DLINKLIST testsuite
(cherry picked from commit 95a5bee2c30a67a35604b0456ab7836f6dc67702)

util: rewrite dlinklist.h so that DLIST_ADD_END() is O(1)

This changes the meaning of the ->prev pointer in our doubly linked
lists to point at the end of the list from the front of the list. That
allows us to implement DLIST_ADD_END() and related functions in O(1)
time, which can be a huge saving in many places in Samba.

This also means that the 'type' argument to various DLIST_*() macros
is no longer needed, but I have left it in for now to keep the
patchset small, which will make it easier to revert if any problems
are found. In the future we should remove the 'type' arguments.

(jra. Move the one use of DLIST_TAIL over to the new macros).

s3-smbd: update to use new DLIST macros
(cherry picked from commit 365b408c458c848a818637d9b36a0423aeb1ba54)

s3-registry: update to use new DLIST macros
(cherry picked from commit 3437713ad7e5bccafde30553a8232119fd2a9eb9)

s3-perfcount: update to use new DLIST macros
(cherry picked from commit a13b507f2d8be7f90c8872094cd0732926a6fcbb)

s3-locking: update to use DLIST_ADD_AFTER()
(cherry picked from commit 6c6df527e14514027cbcaa6deac25adf04363926)

s3-libsmb: update libsmb to use new DLIST macros

manipulating p->prev directly is not safe any more
(cherry picked from commit 3c650ac1e3e1cdbbabecfddcd29325f20b5dcb48)

s3-memcache: update memcache to use new DLIST macros

we don't need a separate lru pointer any more
(cherry picked from commit 4ffd7aca3e38728077bd80c2a65c4efbcfd216fc)

s3-ldb: update the old ldb in s3 to use new DLIST macros
(cherry picked from commit a7d8bfd373392eecf4fff33d39b85e1b55ad901d)

s3-nmbd: update nmbd to use new DLIST_ macros
(cherry picked from commit 4d23d777bc6d4fad20d0f3084fe658635812bee9)

s4-ldb: update ldb_tdb to use new DLIST_ macros
(cherry picked from commit 6ede911654566a7e21ded70dacac68df3b6a1bca)

s4-dsdb: update repl_meta_data.c to use new DLIST_ macros

Temporary changes to dlinklist to keep the implementation static whilst
uses of (list)->prev are moved over to DLIST_PREV. This will be replaced
when the final (new) version of the dlinklist.h header is added.

Jeremy.

Revert "Change the default of "nmbd bind explicit broadcast" to "no""

This reverts commit 84fba3c1bc962804259f201d465acfdf0cd3c6a8.

Now we have a "processed packet queue" in nmbd we can go back
to doing this by default.

Jeremy.

More of the fix for bug #7118 - nmbd problems with socket address.

Add a simple "processed packet queue" cache to stop nmbd responding to
packets received on the broadcast and non-broadcast socket (which
it has opened when "nmbd bind explicit broadcast = yes").

This is a very simple packet queue - it only keeps the packets
processed during a single call to listen_for_packets() (i.e. one
select call). This means that if the delivery notification for a
packet received on both broadcast and non-broadcast addresses
is done in two different select calls, the packet will still be
processed twice. This is a very rare occurrance and we can just
live with it when it does as the protocol is stateless. If this
is ever flagged as a repeatable problem then we can add a longer
lived cache, using timeout processing to clear etc. etc. But without
storing all packets processed we can never be *sure* we've eliminated
the race condition so I'm going to go with this simple solution until
someone proves a more complex one is needed :-).

Jeremy.

Change the default of "nmbd bind explicit broadcast" to "no"
until the double processing problem in bug #7118 is fixed.

Jeremy.

testprogs: add more error codes for spoolss test.

Guenther

s3: change ldap filter to what really was intended

tdb: fix recovery reuse after crash

If a process (or the machine) dies after just after writing the
recovery head (pointing at the end of file), the recovery record will filled
with 0x42.  This will not invoke a recovery on open, since rec.magic
!= TDB_RECOVERY_MAGIC.

Unfortunately, the first transaction commit will happily reuse that
area: tdb_recovery_allocate() doesn't check the magic.  The recovery
record has length 0x42424242, and it writes that back into the
now-valid-looking transaction header) for the next comer (which
happens to be tdb_wipe_all in my tests).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: give a name to the invalid recovery area constant (0)

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s4:provision Just 'do the right thing' with empty smb.conf files

For some reason, JHT keeps on creating an empty smb.conf file,
expecting it to be the same as a non-existant one.  It is easier to
just realise what he meant.

Andrew Bartlett

s4-smbtorture: use test_GetPrinter_level in RPC-SPOOLSS-NOTIFY.

Guenther

Fix bug #7122 - Reading a large browselist fails (server returns invalid values in subsequent SMBtrans replies)

There are two problems:

1). The server is off-by-one in the end of buffer space test.
2). The server returns 0 in the totaldata (smb_vwv1) and totalparams (smb_vwv0)
fields in the second and subsequent SMBtrans replies.

This patch fixes both.

Jeremy.

Missed one check on the memcpy for bug #7063.

Jeremy.

Second part of fix for bug 7063 - Samba 3.4.5 on ubuntu 8.04 64 bit - Core dumps.

Ensure we have no naked memcpy calls. This isn't a crash bug (it's
already checked in the data_blob_talloc_zero() above, but I want to
get into the pattern of having all memcpy's covered by safety checks.

Jeremy.

Fix off-by-one error in working out the limit of the NetServerEnum comment.

Jeremy.

s3:smbd: use StrCaseCmp() instead of strcasecmp

metze

s3:smbd: Fix really ugly bool vs. int bug!!!

A comparison function for qsort needs to return an 'int'!
Otherwise you'll get random results depending on the compiler
and the architecture...

metze

check_python.m4 - Raise the minimum python version up to 2.4

This is needed since we at the s4 side have some code which requires this. I
think everybody should be fine since we got no complaints on the mailing list
about this change.

Patch template: Jelmer Vernooij <jelmer@samba.org>

pidl - Remove "Py_RETURN_NONE" compatibility code

This was needed only by Python 2.3 which we no longer support.

s4:Remove "Py_RETURN_NONE" compatibility code

This was needed only by Python 2.3 which we no longer support.

s3-docs: Fix make manpages3.

Karolin

s3-docs: Add missing para end tag.

Karolin
(cherry picked from commit b78de63ef3cde53e3aabbe46654aac5a335f16a8)

testprogs: regenerate printlib prototypes for spoolss test.

Guenther

testprogs: print job info levels in EnumJobs() spoolss tests.

Guenther

testprogs: print datatypes info levels in EnumPrintProcessorDatatypes() spoolss tests.

Guenther

testprogs: print printprocessor info levels in EnumPrintProcessors() spoolss tests.

Guenther

testprogs: print monitor info levels in EnumMonitors() spoolss tests.

Guenther

testprogs: print port info levels in EnumPorts() spoolss tests.

Guenther

testprogs: print form info levels in EnumForms(),GetForm() spoolss tests.

Guenther

s3:selftest: make selftest requires bash for now

So force bash until we removed the dependency to bash.

metze

s3:passdb: only use gid_to_sid() result if the result is a group of our local sam

Otherwise retry with pdb_gid_to_sid().

metze

s3: fix some wrong newlines in de translation strings

vfs_catia: fix return type warnings

s4-torture: allow host-only in unc lists in smbtorture

Allow UNC lists like this:

 192.168.2.1
 192.168.2.2
 192.168.2.3

the share name will be taken from the command line

Make "nmbd bind explicit broadcast" on by default.

Fix a comment typo.

Jeremy.

Fix bug #6876 for acl_tdb module.

As pointed out by bj@sernet.de, the rmdir module initializer was
duplicated. Fix this properly.

Jeremy.

s3:libsmb: fix NetServerEnum3 rap calls.

metze

s3:smbd: implement api_RNetServerEnum3

This is needed to support large browse lists.

metze

s3:smbd: add/improve some DEBUG messages in api_RNetServerEnum2()

metze

s3:smbd: rename api_RNetServerEnum => api_RNetServerEnum2

metze

s3:docs-xml: document "nmbd bind explicit broadcast"

metze

s3:nmbd: change "nmbd:bind explicit broadcast" into "nmbd bind explicit broadcast"

metze

s3:nmbd: also listen explicit on the subnet broadcast addresses

And send replies always via the unicast address of the subnet.

This behavior is off by default (as before)
and can be enabled with "nmbd:bind explicit broadcast = yes".

metze

release-scripts: parametrize scripts

This should make it easier to keep all release scripts alined as it will reduce
the difference between them to ideally a few variables

Also moves the tdb script in the scripts directory.

talloc: Fix abi checks in release script

We must perform abi checks against the version we are going to release.
Not against the current tree we are in.

talloc: Fix abi checks and ifdefs

teach the abi check scripts to skip the DOXYGEN sections
fix the header to use #ifdef DOXYGEN and not #if DOXYGEN

s4-smbtorture: skip over ValidatePassword if DCERPC error is returned.

Guenther

s4:subtree_delete - "NULL" as format string isn't allowed on FreeBSD

I changed the format string into "(objectClass=*)" which should be an
equivalent expression for choosing all available objects.

Consider bug 7115 for the issue.

s3-net: fix net ads dns usage calls.

Bjoern, please check.

Guenther

s3:pdb_ldap: don't search for the users primary group, if we already know it

metze

s3:pdb_ldap: optimize ldapsam_alias_memberships() and cache ldap searches.

ldapsam_alias_memberships() does the same LDAP search twice, triggered
via add_aliases() from create_local_nt_token().

This happens when no domain aliases are used.

metze

s3:pdb_ldap: try to build the full unix_pw structure with ldapsam:trusted support

And also store the gid_to_sid mappings in the idmap_cache.

metze

s3:passdb: speed up pdb_get_group_sid()

Use the cached version gid_to_sid() instead
of pdb_gid_to_sid().

And also avoid the expensive lookup_sid() call
for wellkown domain groups.

metze

s3: Make pdb_copy_sam_account also copy the group sid

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3: shortcut gid_to_sid when "ldapsam:trusted = yes"

The normal gid_to_sid behaviour is to call sys_getgrgid()
to get the name for the given gid and then call the
getsamgrnam passdb method for the resulting name.

In the ldapsam:trusted case we can reduce the gid_to_sid
operation to one simple search for the gidNumber attribute
and only get the sambaSID attribute from the correspoinding
LDAP object. This reduces the number of ldap roundtrips
for this operation.

metze

s4:heimdal: regerenate files

Andrew using cp like in commit ca12e7bc8ff4a91f2044c0a60550fec902e97a78
is wrong as that removes #include "config.h" and breaks the build on AIX.

metze

s4:heimdal_build: allow flex-2.5.35:bison-2.4.1 to regenerate files

metze

libreplace: add check for NSS_WRAPPER_DISABLE similar to SOCKET_WRAPPER_DISABLE

metze

libreplace: Attempt to fix bug 5910, detect a broken getaddrinfo

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3: Don't invalidate cache for uninitialized domains.

Signed-off-by: Bo Yang <boyang@samba.org>

s3: signals are processed twice in child.

Signed-off-by: Bo Yang <boyang@samba.org>

s3: quiet the unresolved symbol warnings of the Compaq compiler when linking our vfs modules

s4-torture: more useful error message in SMB2-DIR

nbt: don't reference the event_ctx in nbtsock

This causes talloc_free with references errors

talloc: fixed doc typo

Move the talloc details to the mainpage.

Signed-off-by: Andrew Tridgell <tridge@samba.org>

talloc: Added doxygen config file.

Signed-off-by: Andrew Tridgell <tridge@samba.org>

talloc: Documented talloc with doxygen.

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s3: fix build issue on Tru64

Thanks, Volker for the hint - acl_type is a macro on Tru64. Renamed it
to acltype. This fixes #7103.

s3: Fix some DEBUG statements

s3: Make cli_get_fs_volume_info() use cli_trans()

s3: Remove some unused code

s3: Fix some comments

s3: Fix some nonempty blank lines

libwbclient: wbc_create_logon_info is always called with mem_ctx==NULL

libwbclient: wbc_create_password_policy_info is always called with mem_ctx==NULL

libwbclient: wbc_create_error_info is always called with mem_ctx==NULL

s4-registry: fixed byte order assumptions

the registry tests were broken on big-endian systems

tdb: raise version to 1.2.1

after recent fixes we need to raise the version to 1.2.1 so that
we can require also the right patched version.

pam_winbind: Remove a nested if-statement. Bo, please check!