fixed tdbbackup to give tdb error messages

Merge branch 'master' of ssh://git.samba.org/data/git/samba

a useful debugging tool

When looking at performance problems with ldb it can be useful to see
which searches causes unindexed full searches. This makes it easy to
enable that.

fixed one-level indexing

one-level indexing was not always effective due to some broken logic
in the indexing code. This change means that if normal indexing fails,
we can still fall back on one-level indexing.

This reduces the number of full unindexed searches in s4 quite a lot

enable one-level indexing in sam.ldb

make TDB_NOSYNC affect all the fsync/msync calls in transactions

During a transaction commit tdb normally uses fsync/msync calls to
make it crash safe. This can be disabled using the TDB_NOSYNC flag,
but it wasn't disabling all the code paths that caused a fsync/msync.

Add a smbclient "readlink" command and add docs for it.
Jeremy.

Add cli_posix_readlink() and a torture test for it.
Jeremy.

Add aync POSIX hardlink and symlink and torture test for them.
Missing call cli_readlink() is next.
Jeremy.

s3:idmap_ldap: filter out of range mappings in default idmap config

This fixes bug #6417

Michael

tdb: Fix some recently introduced warnings in tdbtool

s3: Allow child processes to exit gracefully if we are out of fds

When we run out of file descriptors for some reason, every new
connection forks a child that immediately panics causing smbd to
coredump.  This seems unnecessarily harsh; with this code change we
now catch that error and merely log a message about it and exit
without the core dump.

Signed-off-by: Tim Prouty <tprouty@samba.org>

s3: zero an uninitialized array

Invalid pointers were being dereferenced in lookup_sids causing
occasional seg faults.

Signed-off-by: Tim Prouty <tprouty@samba.org>

s3:idmap: fix a comment typo

Michael

s3:idmap_tdb2: filter out of range mappings in default idmap config

This fixes bug #6416

Michael

s3:idmap_tdb: add an entry debug statment to idmap_tdb_db_init()

Michael

s3:idmap_tdb: filter out of range mappings in default idmap config

This fixes bug #6415

Michael

s3/docs: Correct version number.

Karolin

Revert "s3/docs: Fix build."

This reverts commit 84998cb85e59a92178d916f4e485c08fb826b838.

Actually, the "fix" breaks the build.
Works after 'make clean'. Sorry!

s3/docs: Fix build.

$(DBLATEX) was empty.

Please check!

Karolin

Modified SamDB to accept options like Ldb.

s3: update manpage as to the new passdb backend default

s3: make passdb backend defaults to tdbsam

Fix the build of nfs4_acls.c

Fix a size_t/int warning

Fix some nonempty blank lines

Gna, how long do I program in C now??? :-)

Detect missing 'witch' before detecting missing autoconf

s3/docs Add manpage for "map untrusted to domain" parameter

This fixes bug 6352.

Handle the krbtgt special case by looking for RID -514

It turns out (seen in MS-SAMR 3.1.1.7.1 for example) that the primary
way the krbtgt account is recognised as special is that RID.  This
should fix issues such as 'password expired' on the kpasswd service.

Andrew Bartlett

Add DOMAIN_RID_KRBTGT define to security.idl

s4:tevent: Increase trace debug level to 50.

The sheer volume of messages generated by tevent when the trace level is set to
10 makes it difficult to debug issues in a level 10 log.  Increasing this to
50 allows tevent tracing to be enabled if needed, but otherwise keeps the extra
chatter out of a level 10 log.

Attempt to fix the build on HP/UX

Attempt to fix the build on NetBSD

Revert "s3: fix build on systems with struct stat member st_flags"

for a cleaner and more complete patch that Volker has in the queue :-)

s3: fix build on systems with struct stat member st_flags

s4:ldb_modules: Correct typos.

s4:ldb:modules: Correct typos.

Fix some nonempty blank lines

Introduce "struct stat_ex" as a replacement for SMB_STRUCT_STAT

This patch introduces

struct stat_ex {
        dev_t           st_ex_dev;
        ino_t           st_ex_ino;
        mode_t          st_ex_mode;
        nlink_t         st_ex_nlink;
        uid_t           st_ex_uid;
        gid_t           st_ex_gid;
        dev_t           st_ex_rdev;
        off_t           st_ex_size;
        struct timespec st_ex_atime;
        struct timespec st_ex_mtime;
        struct timespec st_ex_ctime;
        struct timespec st_ex_btime; /* birthtime */
        blksize_t       st_ex_blksize;
        blkcnt_t        st_ex_blocks;
};
typedef struct stat_ex SMB_STRUCT_STAT;

It is really large because due to the friendly libc headers playing macro
tricks with fields like st_ino, so I renamed them to st_ex_xxx.

Why this change? To support birthtime, we already have quite a few #ifdef's at
places where it does not really belong. With a stat struct that we control, we
can consolidate the nanosecond timestamps and the birthtime deep in the VFS
stat calls.

At this moment it is triggered by a request to support the birthtime field for
GPFS. GPFS does not extend the system level struct stat, but instead has a
separate call that gets us the additional information beyond posix. Without
being able to do that within the VFS stat calls, that support would have to be
scattered around the main smbd code.

It will very likely break all the onefs modules, but I think the changes will
be reasonably easy to do.

s3:smbd: remove unused global 'orig_inbuf'

metze

s3:pam_smbpass: don't call openlog() or closelog() from pam_smbpass

Patch from Steve Langasek with tiny fixes by me to make it apply to master.
Also see Debian bug #434372 and bugzilla #4831.

Calling openlog() or closelog() inside a pam module is not good as these
functions are not stackable and no program won't re-do openlog() just because a
pam module might have called closelog().

gitignore: Ignore additional auto-generated files.

Corrected path to tdr_proto.h and added librpc/gen_ndr/{cli,srv}_dcerpc.[ch].

s3/docs: Fix typo in man idmap_rid.

Karolin

s3:smbd: move SMB1 specific stuff into a substructure of smbd_server_connection

metze

s3:smbd: add support for SMB2 signing

metze

s3:smbd: return the correct security mode and capabilities in SMB2 Negotitate

metze

s4:libcli/smb2: remove old dialect revision constants

metze

s4:smb2srv: We only support SMB 2.002.

We need to loop over all given dialects and check
if we can find SMB2_DIALECT_REVISION_202.

metze

s4:libcli/smb2: use new SMB2_DIVELECT_REVISION constants

Also send them in the order a windows client would
send them (the lowest first).

metze

s4:libcli/smb2: add some more SMB2 constants

metze

s3 WHATSNEW: Mention the changes to net

use domain_dn not ncname

fixed up from previous patch that removed the use of crossref records

Merge branch 'master' of ssh://git.samba.org/data/git/samba

s4:provision: Added ComPartitionSets entry.

Without this entry, opening the COM+ tab under the properties of an OU within
ADUC results in the following error:

"Unable to retrieve all user properties, 0x80072030"

s4:Added Extended-Rights and subentries.

Without these entries, using the 'Delegate Control' option in ADUC results in
the following error message in the Delegation of Control Wizard:

"The templates could not be applied.  One or more of the templates is not
applicable.  Click Back and select different templates, and then try again."

s4:provision: Update DisplaySpecifiers (#5139).

The classDisplayName attribute controls the actual text displayed to the user
for the top-level menus, so added it to the existing entries.

The attributeDisplayNames attribute contains both the text displayed to the
user and a mapping to the internal directory attribute name for the particular
field, so added these to the existing entries as well.

Added new entries as appropriate to properly complete all menus and labels
within ADUC.

Don't use crossRef records to find our own domain

A single AD server can only host a single domain, so don't stuff about
with looking up our crossRef record in the cn=Partitions container.
We instead trust that lp_realm() and lp_workgroup() works correctly.

Andrew Bartlett

Add support for sendmsg() in socket_wrapper

This is required because the deferred connect code skips the connect()
until sending the packet, but unless we catch this call, the connect()
never happens.

Andrew Bartlett

Merge branch 'master' of ssh://git.samba.org/data/git/samba

added some more speed tests to tdbtool

This adds 3 simple speed tests to tdbtool, for transaction store,
store and fetch.

On my laptop this shows transactions costing about 10ms

s3:dbwrap_tool: add listkeys operation

Michael

s3:dbwrap_tool: remove superfluous command mapping

Michael

s3:dbwrap_tool: add "erase" opearation

Michael

net: Use samba default command line arguments.

Attention:

The meaning of the -N flag changed.
To get the old meaning for net groupmap set, use the long option --ntname
The long option for using kerberos changed from --kerberos to --use-kerberos

net rpc commands will now prompt for a password if none is given.

As a benefit, net will now accept an authentication file like other samba
command line tools. So no need to specify the password on the command line in
scripts anymore.

This should fix bug #6357

Signed-off-by: Kai Blin <kai@samba.org>

s3 ctags: ignore all proto.h files for tag generation

s3:winbind_util: remove trailing spaces

Michael

s3:dbwrap_ctdb: fix some function header comments

Michael

source3/utils/log2pcaphex.c(main): fixed file descriptors leak.

One of leaks found by cppcheck:
[./source3/utils/log2pcaphex.c:367]: (error) Resource leak: out

source{3,4}/torture/smbiconv.c(main): fixed file descriptor leak.

File descriptor leaks only when we use file instead of stdout.

Found by cppcheck:
[./source3/torture/smbiconv.c:219]: (error) Resource leak: out
[./source4/torture/smbiconv.c:211]: (error) Resource leak: out

nsswitch/winbind_nss_aix.c(fill_grent): fixed memory leak.

Found by cppcheck:
[./nsswitch/winbind_nss_aix.c:241]: (error) Memory leak: result

s3-selftest: fix typo.

Guenther

s3:winbind:idmap_ldap: warn about duplicate SID->XID mappings (bug #6387)

With the current infrastructure, we should not return error on
duplicate mappings but just warn instead (because an error would
trigger the attempt to create yet another mapping).

Michael

s3:winbind:idmap_ldap: warn about duplicate XID->SID mappings (bug #6387)

With the current infrastructure, we should not return error on
duplicate mappings but just warn instead (because an error would
trigger the attempt to create yet another mapping).

Michael

s3-samr: Fix Bug #6372, usermanager only displaying 1024 groups and aliases.

This is now also verified with the RPC-SAMR-LARGE-DC test.

Guenther

s3-selftest: enable RPC-SAMR-LARGE-DC against Samba3.

This will fail for alias creation as nss_wrapper does not yet wrap around
libnss_winbind.

Guenther

s4-smbtorture: add RPC-SAMR-LARGE-DC test.

This rather simple test creates 4500 objects on a domain controller and checks
the enum calls for the correct number of results.

Guenther

s4-smbtorture: rename test_EnumDomain{Users,Groups,Aliases} in RPC-SAMR.

Guenther

s4-smbtorture: re-work test_Create{User,Group,Alias} a little.

Guenther

s3-pamsmbpass: copy _pam_get_item and _pam_get_data from pam_winbind.

Guenther

s3-rpcclient: use get_domain_handle() fn in enum domain users & groups.

Guenther

Attempt to fix a debian build problem

s3/docs: Fix typos.

Thanks to Oota Toshiya <t-oota at dh.jp.nec.com> for reporting!

Karolin

fixed interpretation of ACB_PWNOTREQ

This bit actually means that we should ignore the minimum password
length field for this user. It doesn't mean that the password should
be seen as empty

fixed the client side password change code

The client side code was not falling back to older routines correctly
as it didn't check for the operation range error appropriately. It
also used the old rpc semantics.

cope with lanman auth being disabled in old password change code

When lanman auth is disabled and a user calls a password change
method that requires it we should give NT_STATUS_NOT_SUPPORTED

TALLOC_FREE happily lives with a NULL ptr. Tim, please check!

Thanks,

Volker

Fix a race condition in winbind leading to a panic

In winbind, we do multiple events in one select round. This needs fixing, but
as long as we're still using it, for efficiency reasons we need to do that.

What can happen is the following: We have outgoing data pending for a client,
thus

state->fd_event.flags == EVENT_FD_WRITE

Now a new client comes in, we go through the list of clients to find an idle
one. The detection for idle clients in remove_idle_client does not take the
pending data into account. We close the socket that has pending outgoing data,
the accept(2) one syscall later gives us the same socket.

In new_connection(), we do a setup_async_read, setting up a read fde. The
select from before however had found the socket (that we had already closed!!)
to be writable. In rw_callback we only want to see a readable flag, and we
panic in the SMB_ASSERT(flags == EVENT_FD_READ).

Found using

bin/smbtorture //127.0.0.1/tmp -U% -N 500 -o 2 local-wbclient

Volker

use epoll for local-wbclient test

Don't limit the number of retries in wb_trans.

This is better done with a tevent_req_set_endtime the caller should issue.

Don't set a timeout deep inside wb_connect

Change async_connect to use connect instead of getsockopt to get the error

On my Linux box, this is definitely the more reliable strategy with unix domain
sockets, and according to my tests it also works correctly with TCP sockets.

Do queueing in wbclient.c

The _trigger fn must know about wbc_context, while we were waiting in the
queue the fd might have changed

Fix closed_fd(): select returning 0 means no fd listening

Fix wb_simple_trans queueing

Add "err_on_readability" to writev_send

A socket where the other side has closed only becomes readable. To catch
errors early when sitting in a pure writev, we need to also test for
readability.

Allow NULL queue to writev_send

Ensure we return NT_STATUS_FILE_IS_A_DIRECTORY on a posix open on a
directory name.
Jeremy.

Test that POSIX open of a directory returns NT_STATUS_FILE_IS_A_DIRECTORY (ERRDOS, EISDIR).
Jeremy.

s3:smbd: implement SMB2 Tree Disconnect

metze