s4:howto.txt - add a notice about the upgrade possibilities and fix line spaces

s4:upgrade script - rename it to "upgrade_from_s3" and do some rework

- Give a better name to the script
- Move it to the location where also "upgradeprovision" resides
- Fix up trailing whitespaces and tabs

s3-nsstest: drastically shrink size and dependencies of nsstest binary.

The size went down from 6.4M to 104K on my box.

Guenther

s4-install: old systems don't have sed -i

surprisingly, this failure came from SLES8. I didn't realise that the
-i option was so new!

s4-selftest: s4 passes all the SMB2-LOCK tests now

s4-torture: fixed error code for s4 in SMB2-LOCK test

s4 returns NETWORK_NAME_DELETED if you attempt to use an invalid tree connection
for a lock. This test (correctly I think) happens before we validate the file handle.
That implies that when you pass both a closed handle and a invalid tree you
should get NT_STATUS_NETWORK_NAME_DELETED.

s4-ntvfs: win7 does not check for the NONE smb2 lock flag on unlock

s4-selftest: s4 passes this test now

s4-torture: mark s4 as doing valid lock range tests on SMB

s4-ntvfs: move valid lock range test from smb2 layer to generic code

win7 also fails invalid lock ranges on SMB

s4:smb_server/smb2: don't reset highest_smb2_seqnum on SMB2 Cancel

metze

s4-torture: fixed expected error codes for s4 in SMB2-LOCK

I think the error/success codes returned by windows for these tests
are quite bogus. The ones s4 gives are much more reasonable. The
locking ones returning NT_STATUS_SUCCESS could lead to data loss, as
an application thinks it has a file locked correctly when it fact it
doesn't, so it could do an unsafe modify.

s4-drstest: don't use getenv("LDB_URL") in test suites

I was stumped for a while as to why the drs test suite was failing for
me. It turned out that it looked for LDB_URL in the environment, and
used it if set. I had it set in my terminal, and it was happily
munching on my sam.ldb while testing. Quite a cute bug really :-)

s4-pvfs: fixed access check failure in SFILEINFO test

matching windows behaviour is not always the right thing to do!

s4-ldb: improve detection of whether the server has a GC port

We were trying to open $SERVER:3268 regardless, which could result in
creating a file called "localdc1:3268", which led to subsequent test
failures

s4-ldb: better to test for valid arguments in ldb library than commandline

We were testing for valid DNs in ldbrename in the command line
tool. This hid a bug in the ldb library where we caught a bad DN in
the objectclass module rather than in the main ldb code. It is better
to do validation of the DNs passed on the command line in the library
code, as this gives us more consistent error handling between the
programming APIs for ldb and the command line.

s4-smb2: SMB2 uses NT_STATUS_CANCELLED for cancelled locks

s4-smb2: sequence numbers are not checked in SMB2_OP_CANCEL

torture: fixed SMB2-LOCK valgrind error

s4-smb2: check for invalid SMB2 lock ranges

s4-smb2: check for an invalid lock flags combination

UNLOCK with FAIL_IMMEDIATELY is not allowed

s4-install: fixed install path for python scripts

when we install python scripts we need to fix the internal path used
to find modules. We also need to install the scripts in the right
place. Most of them should go in $SBINDIR not share/setup/

s4:upgradeprovision Rework update_machine_account_password() tranactions

This balances the transaction_begin() and transactin_prepare_commit() calls

Andrew Bartlett

s4:dsdb Don't segfault with ldb_transaction_prepare_commit() without begin()

It is up to other modules to complain if
ldb_transaction_prepare_commit() is called before
ldb_transaction_begin_transaction()

Andrew Bartlett

s4:upgradeprovision add 'exit $failed' to blackbox test

s4:upgradeprovision Use mkdtemp to create unique tempoary directory names

s4:selftest Add tests for upgradeprovision

s4:upgradeprovision Rework script, and reset machine account pw

The rework corrects some duplication and errors in the original
script, found when preparing an automated test of the script.

The code to reset the machine account password avoids issues with AES
keys and salting, which may not otherwise be solved by the upgrade.

Andrew Bartlett

s4:ldb Provide bindings for ldb_transaction_prepare_commit()

s4:provision Make setting the domain SID in the self join optional

Fix path to upgradeprovision

s4: Improve updateprovision

* Define a simple upgrade process mode (module storage change, file name change, copy of new file)
  * Move the schema, configuration and current object upgrade into full upgrade mode
  * Added the --full switch to select the full upgrade mode, and made simple upgrade mode the default
  * Make updateprovision works without any switch (update the provision in the default location)
  * Cleanup the messages
  * Create the reference provision in a subdirectory of the updated provision

s4: update What's new and explain how to upgrade a samba4 provision

s4: Rename the script

s3-kerberos: Fix Bug #6929: build with recent heimdal.

Heimdal changed the KRB5_DEPRECATED define (which now may not take an identifier
for activation) in new releases (like 1.3.1).

Guenther

s3-spoolss: use macros to fillup driver levels.

Guenther

s3-smbd: no drsuapi server stubs yet in s3. Fixes the build, sorry.

Guenther

s3-rpc: running minimal_includes.pl on rpc_client and rpc_server.

Guenther

s3-rpc: Avoid including every pipe's client and server stubs everywhere in samba.

Guenther

s3-passdb: move some defines out of rpc headers (they really belong to passdb).

Guenther

s3-winbind: properly include netlogon.idl in wbint.idl.

Guenther

s3-spoolss: pre cosmetics: reorder levels in construct_printer_info levels.

Guenther

tevent: Fix a comment

librpc: rerun "make idl"

metze

pidl:Samba3/ClientNDR: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

pidl:NDR/Parser: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

create-tarball: Make it more comfortable to use the --copy-docs option.

Now you can directly specify the 'make release' output dir without any
modifications.

Karolin

s4:ldap.py - add a test for the enhanced operational attributes check

(Deny creation of entries with operational attributes specified)

s4:objectclass LDB module - Prevent write operations on constructed attributes

s4:operational LDB module - Don't do the write checks here

Let this perform the schema in the "objectclass" module.

s3-kerberos: next step to resolve Bug #6929: build with recent heimdal.

Based on patch from Allan <allan@archlinux.org>.

Also should fix the FreeBSD build on the buildfarm.

Guenther

s4-smbtorture: refactor RPC-SAMR-LARGE-DC test a little more.

Guenther

s4-smbtorture: add torture_samr_context to carry some RPC-SAMR-X specifics.

Guenther

Fix warnings with talloc_asprintf.
Jeremy.

Make us pass RAW-CHKPATH with a case sensitive share.
I know Volker will look at this closely so here's the explaination :-).
Originally on a case-sensitive share we simply did a stat (or lstat)
call and returned success of fail based on the result. However this
failed to take account of incoming paths with a wildcard (which must
always fail, and with different error messages depending on whether
the wildcard is the last component or in the path). Also it failed
to take account of a stat fail with ENOENT due to a missing component
of the path as the last component (which is ok as it could be a new
file)  or if the ENOENT was due to the missing component within
the path (not the last component) - which must return the correct
error. What this means is that with "case sensitive = yes" we do
one more talloc call (to get the parent directory) and one more
stat call (on the parent directory) in the case where the stat
call fails. I think this is an acceptable overhead to enable
case sensitive shares to return the correct error messages for
applications. Volker please examine carefully :-).
Jeremy.

Add RAW-CHKPATH test with case-sensitive share.
Jeremy.

s3-build: try to fix QNX build ("delay" is defined in lib headers).

Guenther

s4/torture: port SMBv1 RAW-LOCK tests to SMBv2

RAW-LOCK ported as:

RAW-LOCK-LOCK, RAW-LOCK-LOCKX -> SMB2-LOCK-LOCK
RAW-PIDHIGH -> removed, no longer relevant
RAW-ASYNC -> SMB2-LOCK-ASYNC, SMB2-LOCK-CANCEL, SMB2-LOCK-CANCEL-TDIS, SMB2-LOCK-CANCEL-LOGOFF
RAW-ERRORCODE -> SMB2-LOCK-ERRORCODE
RAW-CHANGETYPE -> removed, no longer relevant
RAW-ZEROBYTELOCKS -> SMB2-LOCK->ZEROBYTELENGTH
RAW-UNLOCK -> SMB2-LOCK-UNLOCK
RAW-MULTIPLE_UNLOCK -> SMB2-LOCK-MULTIPLE-UNLOCK
RAW-STACKING -> SMB2-LOCK-STACKING

BASE-LOCK ported as:

BASE-LOCK-LOCK1 -> SMB2-LOCK-ERRORCODE, timeout is no longer relevant
BASE-LOCK-LOCK2 -> SMB2-LOCK-CONTEND, SMB2-LOCK-LOCK, SMB2-LOCK-CONTEXT
BASE-LOCK-LOCK3 -> SMB2-LOCK-RANGE
BASE-LOCK-LOCK4 -> SMB2-LOCK-OVERLAP
BASE-LOCK-LOCK5 -> SMB2-LOCK-STACKING
BASE-LOCK-LOCK6 -> SMB2-LOCK-CANCEL, change_locktype no longer relevant
BASE-LOCK-LOCK7 -> SMB2-LOCK-RW-SHARED, SMB2-LOCK-RW-EXCLUSIVE

s4/libcli: rename previously reserved field in SMB2 LOCK struct

The lock.in.reserved field has been renamed lock_sequence in the
SMB 2.1 dialect.  See MS-SMB 2.2.26.

s4/libcli: Initialize client PID for SMB2 connections

Set the SMB pid to the Unix pid of the client process.

s3-registry: fix REG_MULTI_SZ handling in registry_push_value.

Catched by smbconftort test on the buildfarm.

Guenther

s3-kerberos: add check for prerequisite krb5/krb5.h header while checking for krb5/locate_plugin.h.

(Needed for new Heimdal versions).

Guenther

Fix bug 6892 - When a chown operation is issued via Windows Explorer, all ACLS are wiped out.
Merges existing DACLs when a ACL set operation comes in with only owner or group values set.
Jeremy.

Fix crash due to uninitialized pointer (not a problem in 3.4.x or below).
Jeremy.

nsswitch: fix compile of winbind_krb5_locator with recent Heimdal versions.

Guenther

cifs.upcall: 2nd part of fix for Bug #6868: support building with Heimdal we well as with MIT.

Guenther

s3 selftest: Add RAW-SFILEINFO-END-OF-FILE to selftest

s3 setfileinfo: Open with FILE_WRITE_DATA when setting the file size

This matches what is outlined here:
http://msdn.microsoft.com/en-us/library/ms804363.aspx

This is also inline with how winXP/win7 handle this.  See
RAW-SFILEINFO-END-OF-FILE* in smbtorture4.

s4 torture: Change RAW-OPLOCK to use the documented version of SET_END_OF_FILE_INFO

The passtrhough version of SET_END_OF_FILE_INFO is tested in
RAW-SFILEINFO-END-OF-FILE.

Additionally, the first opener is changed to use SHARE_WRITE for the
share mode since SET_END_OF_FILE_INFO actually writes data to the file
via truncating/extending.

s4 torture: Allow onefs to be checked like samba3 and samba4

This is needed for the new RAW-SFILEINFO-END-OF-FILE test to
differentiate what appears to be a windows bug.

s4 torture: Add two new setfileinfo tests

These tests expose a potential bug in winXP, win7, and likely others.
There is also a bug in samba where share modes aren't being enforced
where they should.

For more details see:
http://lists.samba.org/archive/cifs-protocol/2009-November/001130.html

s4 torture: Split up the torture suite setup for RAW-SFILEINFO

A side effect of this change is that RAW-SFILEINFO now runs the whole
suite instead of just the first test.  I changed the name of the first
test to RAW-SFILEINFO-BASE and changed all of the selftest scripts
that call it.

The start of a WHATSNEW for Samba4 alpha9

If you think what you did is missing, please edit.  Release of alpha9
will be this week.

Andrew Bartlett

s4:dsdb Make samba_dsdb easier to use in upgrades - assume default values

s4: update valgrind suppressions for use on build farm

libcli: allow ntstatus.h to be used by openchange

apparently ntstatus.h is used by openchange, but they don't include
replace.h. This makes that possible again.

s4:upgradeschema.py Update to reflect recent change in provision

- define which modules we want to use when loading the ldb
- move partition in sam.ldb.d dir

Changes have been suggested by Andrew Bartlett.

(commit message clarified by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:upgradeschema.py Cleanup

- remove some useless comments
- remove hardcoded paths

(commit message clarified by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

Remove call into reduce_name if case sensitive. This allows us to pass
RAW-CHKPATH when case sensitive = yes, but isn't the correct way to do
it. I'm testing a larger patch to smbd/filename.c that should fix this
correctly, and will add a torture test to ensure RAW-CHKPATH is run against
a case sensitive share once this is done.
Jeremy.

s4:installmisc - install also the new "domainlevel" tool from the setup dir

s4: Check SUN compiler and remove "-fullwarn" when using it

This option is only supported by "gcc".
For details consider https://bugzilla.samba.org/show_bug.cgi?id=6905

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Allow us to pass RAW-CHKPATH with FILE_FLAG_POSIX_SEMANTICS set or with
wide links = no.
Jeremy.

Fix make test. Only do POSIX case conversion if FILE_FLAG_POSIX_SEMANTICS set. Doh !
Jeremy.

Revert "s4-netlogon: always set the dNSHostName in GetDomainInfo"

This reverts commit 87b6f2e863c6e117643ab6704e50167e849b69cc.

This was the cause of the breakage of the "LogonGetDomainInfo" testsuite. I
think my behaviour is more correct to Windows Server since the test works
against it (at least release 2003 R2).

One problem I discovered is that freshly joined workstations don't get their
DNS name into the directory. Therefore I think also another part (maybe another
RPC call) is able to do this.

s4:ldap.py - fix the schema update test on Windows Server

Apparently Windows Server (2003) doesn't like the comma delimiter here. I got
always error 16 ("LDB_NO_SUCH_ATTRIBUTE"). With this change the test works
again.

s4:libnet_become_dc - fix typo

s3: Always try SamLogonEx

Required for cluster systems working in a Samba domain. With NT4 this won't
work, but real NT4 DCs should not be around in environments that pay big bucks
for a cluster... And if they are, they can always install a Samba DC trusting
that NT4 domain.

s3-spoolss: re-arrange driver info level fillup functions.

Guenther

s3-spoolss: fixes for _spoolss_EnumPrinterKey client and server.

Thanks Metze for review!

Guenther

s3-registry: use push_reg_multi_sz() in registry_push_value().

Guenther

s3-registry: remove reg_pull_multi_sz().

Guenther

s3:torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:torture/nbio: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:dbwrap_torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

RAW-PING-PONG: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:fix the merged build of bin/smbtorture4

Michael

docs: Fix Bug 6922: Add Registry patchfile for Win7 domain join.

Patchfile from SATOH Fumiyasu <fumiyas@osstech.co.jp>.

Thanks!

Guenther

Restore NtCreateX case handling with FILE_FLAG_POSIX_SEMANTICS to the way
it worked in 3.3.x and 3.2.x. UCF_POSIX_PATHNAMES may no longer be needed,
as lp_posix_pathnames() being set isn't the same as case handling from
NtCreateX (lp_posix_pathnames() changes the STAT calls to LSTAT, not
the case semantics).
Jeremy.

s4:param remove reference to private header from source4/param/param.h

source4/param/param.h has a

param.h is a public header (and parmlist isn't, even if the relative path
could work), so I suggest making it a forward declaration in the header, and
including parmlist.h in the implementation.

(commit message included from e-mail by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4: Fix missing TLS dir when targetdir is not the default one