s4/provision: another fix for breakage from b1dabb1133

s4:provision Don't reference provision_backend when using LDB

This broke in Endi's patch for Fedora DS support

Andrew Bartlett

s4/torture: don't mix declarations and code

s4: regenerate drsuapi IDL

s4/schema: teach the schema_syntax code how to encode/decode more attributes

We were trying to encode strings like 'top' as integers, without first
looking them up in our schema. We need special handling for all the
attributes that contain attributeID_id or governsID_id fields that
should be translated first before encoding.

s4/schema: don't crash if we don't have subClassOf

s4/drsuapi: tech the IDL about some more key attribute names

s4: Use SASL authentication against Fedora DS.

1. During instance creation the provisioning script will import the SASL
   mapping for samba-admin. It's done here due to missing config schema
   preventing adding the mapping via ldapi.

2. After that it will use ldif2db to import the cn=samba-admin user as
   the target of SASL mapping.

3. Then it will start FDS and continue to do provisioning using the
   Directory Manager with simple bind.

4. The SASL credentials will be stored in secrets.ldb, so when Samba
   server runs later it will use the SASL credentials.

5. After the provisioning is done (just before stopping the slapd)
   it will use the DM over direct ldapi to delete the default SASL
   mappings included automatically by FDS, leaving just the new
   samba-admin mapping.

6. Also before stopping slapd it will use the DM over direct ldapi to
   set the ACL on the root entries of the user, configuration, and
   schema partitions. The ACL will give samba-admin the full access
   to these partitions.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s3:docs: Add info about how to obtain cifs module in cifs mount helper manpage

Fix compile in a usually non-selected define.
Jeremy.

s3:smbd: Add a "hidden" parameter "share:fake_fscaps"

This is needed to support some special app I've just come across where I had to
set the SPARSE_FILES bit (0x40) to make it work against Samba at all. There
might be others to fake. This is definitely a "Don't touch if you don't know
what you're doing" thing, so I decided to make this an undocumented parametric
parameter.

I know this sucks, so feel free to beat me up on this. But I don't think it
will hurt.

s3:examples:ldap: allow substing search on more attributes in nds schema file

s4/torture: add new SMB oplock tests

* test if oplocks are granted when requesting delete-on-close
* test how oplocks are broken by byte-range-lock requests

s4/torture: convert printf to torture_comment()

Allows "make test" and other harnesses to print cleaner output.

s3:examples:ldap: fix some OIDs in various schema files

s4/drs: when we don't find an attribute use zero values

thanks to metze for pointing this out

s4/vampire: fixed i/j index mixup in vampire code

s4:drs match the meta_data and attributes array

These two arrays need to be in sync, as they are walked in sync by the
client

s4/drs: broke out the core of the getncchanges code

It is easier to understand without the heavy nesting

s4:drs level_out is a pointer

DsAddEntry now seems to work for simple tests

s4:drs split addentry and getncchanges into separate files

These will get quite complex eventually, I think we are better
separating them so the code is a bit easier to follow

Added "admin_session" method.

The purpose of admin_session is to be able to execute parts of provisioning
as the user Administrator in order to have the correct group and owner in the
security descriptors. To be used for provisioning and tests only.

s4/repl: implement DsReplicaSync

This patch implements DsReplicaSync by passing the call via irpc to
the repl server task. The repl server then triggers an immediate
replication of the specified partition.

This means we no longer need to set a small value for
dreplsrv:periodic_interval to force frequent DRS replication. We can
now wait for the DC to send us a ReplicaSync msg for any partition
that changes, and we immediately sync that partition.

s4/repl: added refresh of repsTo

I've found that w2k3 deletes the repsTo records we carefully created
in the vampire join if we don't refresh them frequently. After about
30mins all 3 repsTo records are gone.

This patch adds automatic refresh of the repsTo by calling
DSReplicaUpdateRefs every time we do a sync cycle with the server

s4: fixed format of repsTo in samdb

Metze pointed out what the windows tool ldp.exe will examine repsTo
attributes on remote DCs, so we do in fact need to use the same format
that windows uses. This patch changes the server side implementation
of UpdateRefs to use the windows format

s4: allow repl:RODC=true/false to set ourselves as a RODC

I think this is what windows DCs use to see that we are read-only, but
I am not sure. Needs more testing.

s3-winbindd: Fix Bug #6700: Use dns domain name when needing to guess server principal.

Patch from Robert LeBlanc <robert@leblancnet.us>.

Thanks!

Guenther

ntlmssp: avoid duplicate inclusion of helper headers.

Guenther

Mark test_security_descriptor_add_neg as known failing (for now).

Basic tests for nTSceurityDescriptor both SDDL and BASE64 format

These are updated second eddition unittests using ldb.add_ldif()
and ldb.modify_ldif(). Unittests are found to work when using
the right local domain SID. Negative test separated.

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s3-nterr: add NT_STATUS_RPC_NT_CALL_FAILED.

Guenther

s4/torture/smb2: removed SMB2-FIND test

This test has been wholly replaced by the SMB2-DIR-ONE test found
in dir.c.

s4/torture/smb2: Fix several small bugs and style issues in SMB2 dir tests

* removed all uses of printf, replaced with torture_comment
* replaced custom CHECK macros with new torture_assert_*_todo() helpers
* switched string dir name generation to generate_unique_strs() helper,
  to avoid non-deterministic test behavior where generate_rand_str()
  would cause file colissions in the same directory.

s4/torture: add new torture_assert_*_todo() macros

These allow torture tests to perform cleanup after a failure, by
jumping to a goto label.

lib/util: add unique string generator helper function

ntlmssp: add some void decode calls (useful for ndrdump).

Guenther

socket_wrapper: swrap_read() should use SWRAP_RECV* for swrap_dump_packet()

This is the same as swrap_recv().

metze

s4:repl_meta_data: remove unused code

metze

s3:drsuapi: add a simple DsRemoveDSServer() implementation

metze

s4:drsuapi: add an incomplete DsAddEntry implementation

metze

s3:smbd: Fix bug 6690, wrong error check

schannel: add missing prototype for ndr_print_nbt_string() in schannel helper.

Hopefully fixes samba4 build.

Guenther

s3: remove unused RPC_AUTH_SCHANNEL_NEG struct and parsing functions.

Guenther

s3-rpc_server: use NL_AUTH_MESSAGE in pipe_schannel_auth_bind().

Guenther

s3-rpc_client: use NL_AUTH_MESSAGE in create_schannel_auth_rpc_bind_req().

Guenther

s3/docs: Raise version number.

Karolin

schannel: add NL_AUTH_MESSAGE and both NL_AUTH_SIGNATURE structs.

These actually belong netlogon but we for now want to keep netlogon as a security
providor separate.

Guenther

s4:idl Add generated code for netlogon.idl changes

Return a correct value for Supported Encryption Type

Vista and upper version use this value to check wether they should ask the DC
 to change the msDS-SupportedEncryptionTypes attribute or not.
 Declare the different value as a bitmap in Netlogon idl

tort: RPC-CRACKNAMES test case refactored

tort: DsCrackNames - propagate torture context to all tests.

tort: Helper function to get DC info for testing

tort: Implement 'setup' and 'teardown' for DRSUAPI test cases.

s4/ldb: support NDR printing for 2 more replication types

print replUpToDateVector and replPropertyMetaData using NDR format if
--show-binary is given.

s4/ldb: allow prefixMap to be shown as NDR

s4/ldb: allow printing ntSecurityDescriptor in full

print security descriptors in NDR format if --show-binary is
given. This is easier to read than sddl format.

s4/ldb: added ldif handler for repsFrom/repsTo

In normal usage this makes no difference, but if you add --show-binary
then you can see the NDR printed out in the usual ndr_print_*() format

s4/ldb: expose the ldb flags with ldb_get_flags()

s4/ldb: don't line wrap ldif when --show-binary is used

s4/ldb: added --show-binary command line option

This add --show-binary to ldbsearch. When this flag is set, binary
blobs will be shown as-is, instead of base64 encoded. This is useful
for some XML encoded attributes, and will also be used as part of some
NDR print formatting for attributes like repsTo.

s3-schannel: Fix Bug #6697. Interdomain trusts with Windows 2008 R2 DCs.

The Schannel verifier (aka NL_AUTH_SIGNATURE) structure (32 byte) sent from a
W2k8r2 DC is passed in a buffer with the size of a NL_AUTH_SHA2_SIGNATURE (56
byte). We should just ignore the remaining 12 zeroed bytes and proceed.

Guenther

s4:setpassword script - Passwords set by this script are set by the administrator not the user

s4:provision - Cosmetic: Indent the parameters better

s4:templates - Remove the latest relics (in "dcesrv_lsa_CreateSecret")

s4:wmic - Output enhancements

Outputs shouldn't clash with metadata characters (|,()), special characters
should be escaped, "NULL" values should be reported as "(null)" string.

For the full explaination look at bug #6076.

Add read() to socketwrapper. Metze please check.
Jeremy.

s4: commit generated DRS changes

s4: added the structure for repsTo

This structure is stored in NDR format in the repsTo attribute of each
partition. It is updated by the DSUpdateRefs DSRUAPI call

s4: fixed updaterefs options bitmap

s4: implemented server side of DSUpdateRefs call

This call is made by DCs to tell us we should notify them of directory
changes

s4/ldb: fixed spelling

s4: 'index' is a libc function

s4: fixed a unsigned printf warnings

s4: removed an unused variable

s4: fixed some shadowed variable warnings

Fill the meta data vector in the responce struct.

s4:selftest Fix 'make testenv-gdb' and 'make valgrindtest' etc

The problem here was that tridge's changes to ensure that test results
were always propogated didn't merge well with the addition of extra
environment variables for the 'make valgrindtest' and similar
environments.  By splitting out the macro further, we keep the build
farm reporting accurate, but allow these other test modes to work.

Andrew Bartlett

s4:tests/iconv - Fix a warning

s4:pwsettings: Correct off by factor of 10 for ticks.

The tick conversion math was off by a factor of 10 due to the incorrect usage of
the "e" notation.  The expression "XeY" means "X * (10^Y)", so the correct
expression is 1e7 to get the correct adjustment for ticks.

gitignore: Ignore additional auto-generated files.

s4: Let the "setpassword" script finally use the "samdb_set_password" routine

The "setpassword" script should use the "samdb_set_password" call to change
the NT user password. Windows Server tests show that "userPassword" is not the
right place to save the NT password and does not inherit the password complexity.

s4:dsdb: correctly implement _dsdb_syntax_OID_oid_ldb_to_drsuapi()

Here we just need to map the oid string in the ldb value to
the ATTRTYP id.

metze

lib/tdr: fix the build with --enable-automatic-dependencies

metze

s4:LogonGetDomainInfo - add a basic check for the hostname

This check is specified in Windows Server after release 2003.
The parameter "hostname" should match as prefix of the dns hostname given as
parameter in the "workstation" structure.

tdb: fix c++ build warning.

Guenther

s4: Fix "Small memory leak after calling several times lp_update"

Should fix bug #6660.

s4: Exceptions in "provision.py"

This looks much nicer than "normal" string exceptions - and fits better in the OO
programming style.

s4:simple_ldap_map - "primaryGroupId"

Previous patch was incomplete regarding the "primaryGroupId" attribute. Complete it.

s4:samldb - Fix typo

s4:Foreign security principals - Fix them up

I fixed them up to match with Windows Server 2003. I don't think that the
creation of them in the provision script is needed so I put them in the
"provision_users.ldif" file.

s4:subtree delete module - Cosmetic adaptions

s4:ldap.py - Adds a test for the primary group behaviour

This passes the Windows Server behaviour. Also SAMBA 4 should match it.

Also some small enhancement.

s4:provision - Change the module order to match Windows Server

Tests show that Windows Server seems to do the access checks on the very last moment.

s4:sam - Implement also here the right primary group behaviour

We have not only to expand the additional groups but *also* the primary group to
gain all rights of a user account.

Also, remove an unneeded context (tmp_ctx) and "talloc_steal".

s4:samr - Fix up the SAMR server to support the primary group of a user in the right way

When doing some tests with the NT User Manager for Domains on s4 I noticed that the
handling of the primary group for a user wasn't correct. So I fixed this.

Also some cosmetic changes (tab indent corrections).

s4:samldb - Major rework

This fixes up the change of the primary group of a user when using the ADUC
console:
- When the "primaryGroupId" attribute changes, we have to delete the
  "member"/"memberOf" attribute reference of the new primary group and add one
  for the old primary group.
- Deny deletion of primary groups according to Windows Server (so we cannot
  have invalid "primaryGroupID" attributes in our AD).
- We cannot add a primary group directly before it isn't a secondary one of a
  user account.
- We cannot add a secondary reference ("member" attribute) when the group has
  been chosen as primary one.

This also removes the LDB templates which are basically overhead now.

This should also fix bug #6599.

s4:provision - Add a new delete function only for users and computers

We need this new function to delete users and computers before other objects
on reprovisioning. Otherwise primary groups could be deleted before user/computer
accounts (which isn't allowed anymore by the reworked "samldb" module).

s4:provision - Change the "provision_users.ldif" file to support the "samldb" changes

The "provision_users.ldif" file needs some rework to pass against the changed
and improved "samldb" module (see next commit).

Fix bug 6673 - smbpasswd does not work with "unix password sync = yes".
Revert change from 3.3 -> 3.4 with read_socket_with_timeout changed
from sys_read() to sys_recv(). read_socket_with_timeout() is called
with non-fd's (with a pty in chgpasswd.c and with a disk file in
lib/dbwrap_file.c via read_data()). recv works for the disk file,
but not the pty. Change the name of read_socket_with_timeout() to
read_fd_with_timeout() to make this clear (and add comments).
Jeremy.

s4:setup_dns.sh fixed the update of the GUID CNAME