r19063: merge from samba3

needed for dl* errors in iconv_open()

metze
(This used to be commit 91c29e425a015d2ee8e1eff61aa2c0d4083c4e89)

r19059: allow dash in URLs
(This used to be commit 3dade8d761c4a342cf5ee9dba8d10812eb22b877)

r19055: JSON-RPC is working!  It passes the small qooxdoo JSON-RPC test suite
perfectly.

This check in covers the remaining fixes and enhancements to complete the
server.  In a subsequent check-in, I need to learn about the new qooxdoo
packaging mechanism.  Although it'd be nice to have the whole source tree,
that's huge and needn't be in samba svn.  It's now supposed to be very easy to
package qooxdoo, so I'll figure out how that's done and then check in the
relevant small number of files.

Steps after that involve generating the stubs to allow various ejs functions
to be called via JSON-RPC.

Derrell
(This used to be commit 5bfebbda7a5d28d4deb31c54a8feb24c4416cbf6)

r19053: match the flag values with the actual equivalents in samr.idl

rafal
(This used to be commit 07aee708118070f99d42e8a25e28680e79c8f49c)

r19052: clarify what actually does what
(This used to be commit 0218a1798978f92491fbf88eaffbc3226b640b5e)

r19051: JSON-RPC server work-in-progress.  It's almost working.
(This used to be commit 6e9cb2ed1cf87aed322fd7821237d088c2fef340)

r19049: Samba 3 client fixes

* Make sure to check for NULL pointers when dealing with
  [out,unique] before assigning valoues
* Detect RPC faults and return immediately
(This used to be commit c96dae478c2fee2fede9c853a71c8079bbb8ba47)

r19048: ensure our memory gets cleaned up even upon exception
(This used to be commit bcf5e98a8c83791db93a9024b3433f9d5ee3cc7e)

r19036: add LOCAL-REPLACE and reorder the testlist

metze
(This used to be commit c8070c38f2915e8f56fef62242d3ab9a202e4c34)

r19035: add LOCAL-REPLACE test

metze
(This used to be commit e95a1ab2cd568ef5492dfae130cb2e937ac15194)

r19033: prepare to use the libreplace testsuite as LOCAL-REPLACE in smbtorture

metze
(This used to be commit 71fc73e11cee89f1b52cda5a32468a74a38cecc3)

r19032: let the getdents replacement fail and see what the build-farm says.

metze
(This used to be commit 4ed53dfafcbafbad8f2cde65e84dc0fe32fa62f8)

r19029: test if opendir() on a file sets errno = ENOTDIR

metze
(This used to be commit 6b5f06b059583f9d685d71d48299ab334581c179)

r19027: Modify RPC-SAMBA3-SPOOLSS so that it can be activated in the build farm
(This used to be commit 7304abe5958fde1940439f7d95da96e16ea4bc57)

r19025: - remove read-only and policy dependent fields and flags
- do not stop NET-API-USERMODIFY test when a single field fails
- add account flags to the fields tested
- separate "cleanup" step from closing domain at the end

rafal
(This used to be commit 16fde3b8e2c93ec10e43bb09334bf460db8ac70b)

r19024: remove read-only and policy dependent fields and flags
from user modify routines.

rafal
(This used to be commit 7ca0d3dbcb9193c0f023e7c43764c7557925bb0e)

r19023: lets see what the build-farm says about trying the
getdirentries() based readdir() replacement first.

metze
(This used to be commit 268c8bc7ef63ca7fd7900bd0aec345b895512c68)

r19022: eliminate a warning
(This used to be commit d48b2d83057b8e78e3ed31f56578e18ef9b9aed6)

r19021: match the prototype for a trigger function
(This used to be commit f2f191891582af7dcb6d38c14e4ef7afc361299a)

r19020: move jsonrpc_include to a more appropriate location in the file, and call the setup function for parsing literals.
(This used to be commit bb07f606dedde5c63f190229b8dbb85f3d1342f7)

r19019: Add a parser for javascript literals.  This is implemented for parsing JSON
strings, but is generally useful for creating ejs variables from object or
array literals, which aren't supported in the old version of ejs that we're
using.

This parser is implemented in C, but is callable from an ejs script via
literal_to_var().
(This used to be commit 82fdcd9339a8ffb1016b96c06f7d6580aa759174)

r19017: Merge from Samba3:

Attempt to fix the BSD RAW-CHKPATH failures: In Samba3 we rely on opendir
returning ENOTDIR when the file opened is not a directory. Can we merge this
back into Samba4?

This includes the tabs->spaces fix requested by Stefan.

Volker
(This used to be commit 7b9ee1171ddc89537ba3b286f20c722fb70c980b)

r19009: ensure that data values from ldap libs are null terminated, to allow
ldb_msg_find_attr_as_string() to work correctly.

Thanks to Jim Myers for spotting this!
(This used to be commit b2076c1a7e4b70644b59689ce46952ef940be6b0)

r18999: merge from samba3:

- make more usage of PRINTF_ATTRIBUTE()
- vsyslog takes a 'const char *format'

metze
(This used to be commit cdcd4232d2f383f4d2f9ca1d049b7b3cc7b58359)

r18997: we have a replacement for vsyslog in libreplace so libroken doesn't need to care about it

metze
(This used to be commit e8c2f53746307a0ae078b07f4a80546d8fb7430f)

r18995: - fix bug 4078
- talloc_free(talloc_autofree_context()); should not result
  in a SIGABORT on exit
- add a test for this, but this test can also pass in the standalone build
  and samba3, as samba4 uses talloc_autofree_context()

metze
(This used to be commit 2be48c1b033dceb9517826054b8ea97df2c94472)

r18994: - torture_register_suite should be public
- some whitespace cleanups

metze
(This used to be commit 49755f2224df7e4448853bbe493b6aeeac365cb2)

r18992: prepare SOCKET_WRAPPER_PCAP_FILE support

metze
(This used to be commit 400098416c1a4d7ae51b86eced51bffd6134296a)

r18991: Fix bug 4133 -- Thanks to Olaf Flebbe
(This used to be commit d8bea42bb78619ae35a9680b24fe9eee5f25997d)

r18989: Fixes found by these two LDAP testsuites:
- http://www.ee.oulu.fi/research/ouspg/protos/testing/c06/ldapv3/
- http://gleg.net/protover_ldap_sample.shtml

Also fixes found by a subsequent audit of the code for similar issues.
(This used to be commit 441a4f6262459dabfefd9bb12622ada9c007a60c)

r18979: With these extra indexes (also added for the normal case) and a
DB_CONFIG file, we now get reasonable enought performance to pass
'make test' against OpenLDAP.

We do have to double the maximum runtime for the torture client however.

Andrew Bartlett
(This used to be commit 5b3c8cc036c1180c9e96d9aaacd3f2e0a83460e5)

r18978: Fix bug found by:
http://www.ee.oulu.fi/research/ouspg/protos/testing/c06/ldapv3/

The issue here is that if the UTF8 conversion fails, because this
isn't actually UTF8 data, then we need to do a binary compare instead.

Andrew Bartlett
(This used to be commit a113e47784157ec6086b014c1fc998e8a23e7382)

r18977: Seperate these asserts, so we know which fired.

Andrew Bartlett
(This used to be commit 9b2003618b28cb045e74937803e9aad773781803)

r18975: follow the advice from "William Jojo" <jojowil@hvcc.edu>
and pass -bbigtoc also to the linker when building shared libs

metze
(This used to be commit 9c77de282107d28362497aff60fed81e77620a87)

r18974: we don't have the configure check that sets
ac_cv_gnu_ld_no_default_allow_shlib_undefined
and as -Wl,--allow-shlib-undefined is supported on SuSE 7.3
I don't see a problem is always pass it explicit

metze
(This used to be commit 79db6bddc5fc1b97f0165348f72b6a2489b62be0)

r18972: we don't need this now all builds in the build farm are limited to 150
file descriptors. We'll pretty quickly find leaks :)
(This used to be commit be70992d71d7b8db64702f9be2b29aac3e463590)

r18971: avoid strndup is a few places. Fixes a minor memory leak, and should
fix RPC-LSA on AIX.
(This used to be commit 6cce709d08579f4e00b44b692332a557b0ea3b86)

r18970: avoid strndup and strnlen on AIX. They are quite broken. See
http://lists.samba.org/archive/samba-technical/2004-August/036915.html
(This used to be commit c178c84f01166609e6bd3393d39fb0034130167b)

r18968: EWOULDBLOCK should also be mapped to STATUS_MORE_ENTRIES
(This used to be commit 27114fe1752f20c58948b34264e38db263f7a0ea)

r18965: fixed the bug with RPC-NETLOGON and solaris sparc machines. This bug
took a _LONG_ time to find.

The problem was that when encoding/decoding password buffers we use
the pull/push string functions, which by default align unicode
strings. But on solaris sparc the buffer is not aligned always (its a
stack variable, an array of uint8_t). That perfectly OK in C, so we
just tell the pull/push functions not to auto-align.
(This used to be commit bb7835eced00607eb6b1725be6d96a6dcb842049)

r18960: fix caching of some configure tests AC_CACHE_CHECK()
*needs* '_cv_' in the shell var to do caching...

metze
(This used to be commit cb334632fae28bff107200a7b5643289f383eaad)

r18957: we need to include unistd.h in system/network.h because
it contains the ioctl() prototype on some systems
and we need to make sure it gets included before socket_wrapper
defines ioctl swrap_ioctl

metze
(This used to be commit f37b13cbe65404f27d31b8020afb2f542313f4d3)

r18948: fix the build on solaris, the ioctl() prototype
in unistd.h was included after libreplace defined ioctl swrap_ioctl

metze
(This used to be commit 55b25a9fcfa5ddf290e371c2bcad8ad07969f19a)

r18947: overload listen() and ioctl() in socket_wrapper

metze
(This used to be commit dfaccdca1b6954cd61828749d7b000f804f3b066)

r18946: fix compiler warning

metze
(This used to be commit 450595822441ebaa199d6b10d568274940b1a91b)

r18945: fix compiler warnings and end-of-non-void function bugs

metze
(This used to be commit ed195999c0c7d89cdc61e980576d191fc05d65d7)

r18944: talloc_reference() can fail...
(remove compiler warning)

metze
(This used to be commit 515f4eb1cef11d8f942aeffc72c9da1bbd4d78cd)

r18943: Samba4 wants its databases private to root. I know some of them could
potentially be public, but we'd need to think about them
carefully.
(This used to be commit 142a235f663f707eee3f16d0c1265b01fe1ecf32)

r18942: add a ldb_set_create_perms() function in ldb. I didn't call it
ldb_set_umask() (which is what we had discussed) as it doesn't
actually set the umask (in effect it sets the inverse of the umask -
the perms to be used for the file)
(This used to be commit 7e2ec875908c112d5c3b0f6d18f9a8bbacf33539)

r18939: don't rely on the umask being right in ldb creation. Both Samba3 and
Samba4 smbd force the umask to 0, which meant we ended up with ldb
being world writable.

This isn't really an ideal fix, as it means ldb no longer honors umask
(as it should do, like all good libraries).

Unfortunately the 'proper' fix is too complex for now

this also merges a tiny code style fix from s4 to s3
(This used to be commit 1a42f38dfdc55d7429a1f8d3e811f3d857195a58)

r18936: hopefully fix the test for negative enum values. When a compiler
truncates the enums, the test was passing.
(This used to be commit c6216f7dbf68012fa8351dcae17fe4c7ab165b58)

r18933: Add helpful emacs marker
(This used to be commit 5fd53ea6a3a6d7638a9f542f46623a19143ff81d)

r18925: Add current snapshot of the ejs-2.0 code.  Tridge, will you be incorporating this?
(This used to be commit 917af234a8d517f82bd42256a940608a16b988f4)

r18918: - bail out with unsupported option to socket()
- don't reuse portnumbers in the autobind code
- use if (!...) return; logic instead of if (...) { do everything } return
  for swrap_close

metze
(This used to be commit 68a65aa4490c12ca70db335f928f3ac507902337)

r18917: having 255 virtual interfaces available in socket wrapper means we
stat() 240 files that don't exist on every broadcast. That's a bit
excessive!

reduce max virtual interfaces to 16
(This used to be commit 3c4100027c7d3806a2021cb4d70ec6adf9dd2dc6)

r18916: fixed the messaging layer on *BSD systems. When a socket was full we
were getting ENOBUFS, which mapped to NT_STATUS_NO_MEMORY, which in
turn caused the messaging code to loop trying until it gave up.

Now it correctly falls back to select. Messaging speed goes from 3
messages per second to over 7000 on my test vmware box. Not bad for a
one line change :)
(This used to be commit 6568f30adf980c572f9ffd6ff884336ebe652f90)

r18915: fix usage of popt, do make -W setting the recursive flag on SuSE 10.1

metze
(This used to be commit 0fef3f807dd3e156970e315d83f5cb4a45e20d12)

r18914: this bug fix needs to be for just hpux 11.11
(This used to be commit 2cccede13d34011767159c3345bb6da24ed09bd3)

r18913: an attempt to get tdb/ldb working on the HPUX box 'gwen'. This idea
come from Don McCall. Don may well be able to provide us with a
configure test in the future which does this in a nicer way, I just
want to see if it works now.
(This used to be commit f7f548a1c79a78a1b15e96732994135cba94aa3d)

r18911: add a JSON encoder
(This used to be commit 774e87974951a03663a1efd15dfde3d012bcf526)

r18910: Change ldb_msg_add_string() to not actually add an attribute if the
string is zero length. This allows callers to not have to worry about
creating an invalid ldap attribute.

See extensive discussion on samba-technical list :-)
(This used to be commit 7a1db8c2a432b9ab59b29ee1bfce6c8fe8e981a2)

r18909: use newer functions that were introduced after this code was made
(This used to be commit 3ce1796eb4cca7fd78366ee540a998a1ca377866)

r18908: Store the schema structure into an opaque pointer so that it can be reused by multiple connections
(This used to be commit ca8827d8f9a9f6ec60afed29b0b85f491d725d1c)

r18903: merge from samba3:

define HAVE_LDB_LDAP and HAVE_LDB_SQLITE3

metze
(This used to be commit 4e2f5ba490d717283ab089d90ebd5c108a8c53b0)

r18894: Merge const fixes from 3_0
(This used to be commit 4ce447223cc71b8b2a31c2da3b0afd8e3fcf0c01)

r18890: sort the flags out and remove unknown as there's still
quite a few of them (not sure if these are used actually).

rafal
(This used to be commit 1622d4608bc738b73d6f51c758828f96602b3e59)

r18887: add flags found while on the plane.

rafal
(This used to be commit ec59441977205af9a38926b3d432ec0de6379573)

r18885: Fix bug in our IDL pointed out by Ronnie
(This used to be commit 77e8d96bc488a574b0b728d5b8facd51e69822d5)

r18884: client_test.exp getting changed to client_tests.exp was an intentional error that I inserted for testing earlier and forgot to take out before commiting.
The other error was a real bug. :)
(This used to be commit 0269f3101555daaa4b2c4080ab24c1ca75cdc2f6)

r18883: Start including test_functions.sh.
test_win.sh has been rewritten to use the testit() function from test_functions.sh.
(This used to be commit d0ed99859f7cbed599abf7083e7fb20bd58b1556)

r18882: make style consistent
(This used to be commit a141ee9473ae46c63dea247456f156b40f766d42)

r18881: remove wrong check and statement.
to manipulate rootDSE we use ldb_dn_new() as base and that has 0 elements.
(This used to be commit 3e131177dae3536c07632fe09e7ebe877bcd9332)

r18880: JSON-RPC work in progress
(This used to be commit 34bffbaebf50c2a75c91285d5ec82e8f377981cc)

r18873: Use WERR_errors table rather than DOS_errors table for wireshark.
(This used to be commit 5a2e103ea0b31e80e4b2c2237b5fd9940820cec6)

r18872: when converting IDL to use out,ref pointers, you also must fix any
length_is() statements.
(This used to be commit 2f9a1f1d62351e20274227c3068a2e8211148535)

r18862: as andrew pointed our on irc, if we are going to define _TRUE, then
better make it be true :)
(This used to be commit 4bda5ed3f9fda437c3f9b7e8ce83853999601c74)

r18861: merge from samba3
(This used to be commit c5e2fcdc10a0869264bb1c6a13ada5f12e1b655f)

r18860: fixed some code that bitrotted while we didn't have the safety check
with NTSTATUS, WERROR etc.
(This used to be commit fddb85bfa8bb5df7812d226a7a6f6fb41ccf107f)

r18859: finally worked out what is going wrong with immediate structures. The
problem is that the AC_PROG_CC_C99 macro ends up selecting either
-std=std99 or -std=gnu99 for gcc. Ironically enough, that breaks
constant structure initialisers!

So, simplest solution is to not try that configure test if we know we
are using gcc
(This used to be commit 331435daf3275acaf282c1032c6e9f7dc3e685bb)

r18851: Some C++ warnings
(This used to be commit 69f05f288ce7a8508760db861d0910495bd1d578)

r18850: add strspn() function i ejs
(This used to be commit e8f892bedc65042565442ac802df6eda96388f14)

r18849: a bit of help for the new user, to figure out how to do initial setup
(This used to be commit 72f350ec2cc36865c790df314deb09ac3049c580)

r18848: Save the json library before I start hacking on it.  I'm going to be
converting it to natively use ejs objects, instead of its own internal
format.
(This used to be commit 119db8924a6e9c40a94c76c57198877875c53afc)

r18847: Add WERR_NO_SYSTEM_RESOURCES showing up in dfs torture testing.

Guenther
(This used to be commit 692746ff8d1352a93a19ba9d537ca894a2ea186f)

r18844: Workaround win2k behaviour (which returns WERR_NO_MORE_ITEMS instead of
WERR_OK) in the dfs torture test.

Guenther
(This used to be commit dc1b8a3aae9f00fb7dfb0dc2fdd2ee3647ecebf1)

r18843: Got DFS_MANAGER_VERSION_NT4 wrong.

Guenther
(This used to be commit 8e19284fbd425d04954eaed374c72b0230d4ff99)

r18840: make these compatible with g++ warnings
(This used to be commit bcfa93954fdb00f500f174cd227e3d9b2ef94fdc)

r18839: align all directory search blobs on an 8 byte boundary to keep the
current vista release happy.
(This used to be commit d3f0114a9dc8458cccfda71087668b1ddf4d380c)

r18838: make sure we cleanup after SMB2-MAXWRITE (it creates a large file)
(This used to be commit 54894fb8b87a10dbf36476a001e2e32a0263c4fa)

r18835: expand IO limits on SMB2. Samba4 now tops out at 16.7MB IOs.
(This used to be commit 1e34e4d5a1fd3d74080424140e4ab276b6042d12)

r18834: get the log context code right
(This used to be commit b6bb5d7b772467042cee6ea372119781c42b91c1)

r18833: darn, forgot to commit this

sorry about the build breakage
(This used to be commit c0684d0f26917e6623bad1e0f9b8312873230300)

r18832: fixed standalone build
(This used to be commit 1ebc098b6776d38451e441280ac13664d64569f4)

r18831: minor build changes for samba3. The logging changes will be removed
when the tdb api is updated
(This used to be commit 6ace943fac101839e35cbc83dc54fde2068f704b)

r18830: ensure backends aren't added twice (needed for samba3)
(This used to be commit 54b864b491d8a10c28833d28b764262503a72e91)

r18829: Print a nice welcome message when we enter the test environment.

Andrew Bartlett
(This used to be commit 77f1c15d92d13f6e4f278d9d4b0f15fab66b4bbc)

r18828: Export some more useful environment varibles, particularly for use in
'make testenv'

Andrew Bartlett
(This used to be commit 5215b834bd08ae01b055aed0f2dc074b58996709)

r18827: I forgot to commit this:

Make kpasswdd use the new prototype for
_krb5_principalname2krb5_principal()

Andrew Bartlett
(This used to be commit 989f40ea027328cdaa31dc89ce52b2243b4aad76)

r18826: Allow 'enterprise' principal names to log in.

These principals do not need to be in the same realm as the rest of
the ticket, the full principal name is in the first componet of the
ASN.1.

Samba4's backend will handle getting this to the 'right' place.

Andrew Bartlett
(This used to be commit 90b01b8af21609e2e5c8b6bd8cab8bd393844acf)

r18825: speed up the test_cifsdd.sh test by using a smaller file. It was
taking over half an hour on some systems
(This used to be commit 13ca7297dd8645085f12d4cf586c2c07f0f1b287)