r20365: SWAT updates, part 2

r20364: SWAT updates, part 1

These next few check-ins will add a working Statistics module to SWAT, and add
an API Documentation module as well.

Next step will be to modify the LDB browser to work with this new module and
fsm structure.

Derrell

r20360: level -4 of DsReplicaGetInfo(), which gives back all open bind handles
returned by DsBind() on all drsuapi connection also contains the client
ip address. Also the u1 value of the clients DsBindInfoX structure is returned
in u5 here...

metze

r20359: level -1 of DsGetDomainControllerInfo gives back a list
of all active connections to the Directory Service Agent (DSA)
(This can be LDAP or DRSUAPI connections)

abartlet: you had just luck by using flag(BIG_ENDIAN) as BIG_ENDIAN is
          defined in <endian.h>, it should be flag(NDR_BIG_ENDIAN)...

metze

r20358: - fix ejs generated code for ipv4address
- (not Parse::Pidl::Typelist::scalar_is_reference($e->{TYPE}))
  is much more generic than ($e->{TYPE} ne "string")
  and handles ipv4address and other special types...

metze

r20357: run_trans2test and torture_trans2_scan are two separate tests

r20354: Trusted domains don't have a surname, I think we want 'cn' here.

Andrew Bartlett

r20353: Restructure the DRSUAPI DsGetDomainControllerInfo test, because as
usual things are more complex than they appear.

Also remove the incorrect server-side implementation, which blindly
assumed some sense of consistancy across the API switch levels.

Andrew Bartlett

r20352: Use the common function to find the DN for a domain.

Andrew Bartlett

r20351: ensure these variables are set in the right place in the Makefile

r20350: configure svn:ignore values via a .ignore file

r20348: don't check in auto-generated code

r20347: added generic rpc fsm and statistics-specific fsm.  next step: statistics gui

r20346: This is the beginnings of a framework for a complete SWAT.  It will provide
for easily adding modules, and using as much common code as possible.
Although all modules are loaded to the browser as part of the application,
modules are not actually initialized, their finite state machines generated,
or their graphical user interfaces built until they are selected to be viewed
for the first time.

I'm checking this in at this early stage because I promised Brad some
check-ins a week ago, and the flu has kept me unable to do anything for the
past 10 days.  Now that I'm back in working order, I hope to be building on
this regularly over the next few days.

Derrell

r20341: Make sure we do not regress on r20338 in Samba3

r20332: add mastered-By and msDs-mastered-By attributes to the domain object
the config and schema head objects already have them

metze

r20331: the last entry in the oid mapping array which starts with 0xFF
is the content of the schemaInfo attribute of the schema head object

metze

r20328: use prereq function instead of local implementation.

rafal

r20327: start to analyse the schema content

metze

r20326: always set the binding->target_hostname!
we crashed before trying ncacn_np: for frsrpc
as frsrpc doesn't have a ncacn_np endpoint listed
in the idl header and the endpoint mapping code
was trying our smbcli lib with a
NULL target_hostname -> called_name

metze

r20325: handle NULL strings in is_ipaddress()

metze

r20323: allow empty dcerpc reqeusts, this fixes the RPC-COUNTCALLS test

metze

r20322: I assume the options attribute of the nTDSDSA object contains
mutiple flags not just 1 for being a global catalog

metze

r20321: fix the samdb_partitions_dn() and samdb_sites_dn() calls,
to use the new samdb_config_dn() call.

also add samdb_ wrappers for samdb_schema_dn() and samdb_config_dn()

metze

r20320: add missing prototypes

metze

r20319: fix compiler warnings

metze

r20318: do what the printf statement says:-)

metze

r20317: store references to all important naming contexts.

add ldb_get_config_basedn(), ldb_get_schema_basedn()
and ldb_get_root_basedn()

metze

r20316: fix compiler warning

metze

r20315: Implement the server side of DsGetDomainControllerInfo.  This is a
supprisingly complex call...

It turns out that the in/out parameter 'level' is not in/out, but set
seperatly by the server-side code from r->req.req1.level.

This commit also breaks out some common code from samldb into samdb.

Andrew Bartlett

r20314: I think some hosts need this to get the right ASN1 header deps

r20311: Check one more samba3 error path for t2mkdir

r20309: Don't treat non-supported EAs as fatal against Samba3.

Volker

r20308: ContextSimple can be zero length -- seen in a multi-step gssapi ldap bind. Did
not find that in Samba3 code, so there's nothing to port.

Volker

r20307: remove unused vars

metze

r20306: remove the static oid mapping table
and attach the table to the dsdb_schema

metze

r20305: as the oid mapping table is dynnamic it makes no sense
to test the mappings when we got the schema via LDAP
as we don't get the mappings

metze

r20303: try to fix 'make install' on solaris 8, ln -fs doesn't seem to work if
the link already exist

metze

r20302: added support for 64 bit file offsets in NBENCH

r20301: add an option torture:readonly which allows the NBENCH test to be run
read only. This is only any use with customer loadfiles, and
pre-created data. I'm using this to test performance as a video
server, with pre-created video files.

r20300: Trim number of shared libs significantly.

r20299: Disable two new tests that are apparently broken.

r20298: Fix pidl tests (missing symlink..).

r20297: Finally got to the bottom of why we were failing the RPC-CRACKNAMES
test against my win2k3 domain.  I have a child domain, and as such the
BUILTIN domain SID appears multiple times in the tree, and is
therefore not unique.

Andrew Bartlett

r20295: Add a couple more tests to the CrackNames test.

r20294: Without this we don't do the ADS join against Win2k3 SP1

Andrew Bartlett

r20293: implement store chunk hook for libnet_BecomeDC()

metze

r20292: set ntds_dn_str if DsAddEntry() was successful

metze

r20291: implement prepare_db hook of libnet_BecomeDC()

metze

r20288: fix a mem leak and remove useless code

metze

r20286: handle the non oid string cases for pushing too

metze

r20285: pass more info to check_options hook and move behavior versions etc.
to the domain and forest structures

metze

r20284: Simplify OID primitive BER parsing.
Do not require an artificial ASN.1 context to be setup.

Simo.

r20283: pass in callbacks to libnet_BecomeDC() from the caller
and implement the check_options call

metze

r20282: prepare callback infrastructure to check if the forest/domain
behaviors and the schema version is what the caller expects.
also a callback prepares the new database and commits chunks
to the partitions

metze

r20281: remove debug statement

metze

r20280: if the uint8_t array starts with 0xFF, then it's not a OID
and we return the array as hexstring. this is always in the last
array member of the meppings array, and I is always 21 bytes long

w2k in mixed mode:   FF0000000000000000000000000000000000000000
w2k3 in mixed mode:  FF00000002A5DA73B101C43B449028E2F832FE466F
w2k3 in native mode: FF00000001635D94BDE62E2C4C9BAC9D6AFA4F69F8

I assume it's some kind of schema version...

metze

r20278: make it possible to use oid strings in the drsuapi instead of uint8_t arrays
with ber encoded oid's

metze

r20277: make sure the asn1 structure has a welldefined state after a asn1_free()

metze

r20276: remove unneeded talloc_strdup()

metze

r20275: we should check for the oid the caller gave us!

metze

r20274: add missing return statement and make it more explicit that we return a NULL DATA_BLOB

metze

r20272: Fix for BASE-BENCH-READWRITE from Mathias Dietz <MDIETZ@de.ibm.com>

r20259: add function to start a fake tag so that asn1_read_OID_String()
can work alone

metze

r20258: add functions to read and write asn1 encoded OID strings without leading tag

metze

r20251: I found out that the oid-prefix to uint32-id-prefix mapping is transferred
in replication replies, but I don't know the exact encoding.

for example the oids are transferred as:

2.5.4 => uint8_t v[] = { 0x55, 0x04 };
2.5.5 => uint8_t v[] = { 0x55, 0x05 };
2.5.6 => uint8_t v[] = { 0x55, 0x06 };
2.5.18 => uint8_t v[] = { 0x55, 0x12 };
2.5.20 => uint8_t v[] = { 0x55, 0x14 };
2.5.21 => uint8_t v[] = { 0x55, 0x15 };
1.2.840.113556.1.2 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x14, 0x01, 0x02 };
1.2.840.113556.1.3 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x14, 0x01, 0x03 };
1.2.840.113556.1.4 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x14, 0x01, 0x04 };
1.2.840.113556.1.5 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x14, 0x01, 0x05 };
1.2.840.113556.1.5.7000 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x14, 0x01, 0x05, 0xb6, 0x58 };
1.2.840.113549.1.9 => uint8_t v[] = { 0x2a, 0x86, 0x48, 0x86, 0xf7, 0x0d, 0x01, 0x09 };
2.16.840.1.113730.3 => uint8_t v[] = { 0x60, 0x86, 0x48, 0x01, 0x86, 0xf8, 0x42, 0x03 };
2.16.840.1.113730.3.1 => uint8_t v[] = { 0x60, 0x86, 0x48, 0x01, 0x86, 0xf8, 0x42, 0x03, 0x01 };
2.16.840.1.113730.3.2 => uint8_t v[] = { 0x60, 0x86, 0x48, 0x01, 0x86, 0xf8, 0x42, 0x03, 0x02 };
0.9.2342.19200300.100.1 => uint8_t v[] = { 0x09, 0x92, 0x26, 0x89, 0x93, 0xf2, 0x2c, 0x64, 0x01 };
0.9.2342.19200300.100.4 => uint8_t v[] = { 0x09, 0x92, 0x26, 0x89, 0x93, 0xf2, 0x2c, 0x64, 0x04 };
1.3.6.1.4.1.250.1 => uint8_t v[] = { 0x2b, 0x06, 0x01, 0x04, 0x01, 0x81, 0x7a, 0x01 };
1.3.6.1.4.1.1466.101.119=> uint8_t v[] = { 0x2b, 0x06, 0x01, 0x04, 0x01, 0x8b, 0x3a, 0x65, 0x77 };

if someone knows how the encoding works, please tell me:-)
I assume some ASN.1 encoding...

metze

r20234: metze pointed out that we are re-loading the cache records on each
write. We should only be doing this if another process writes and
changes the seqnum. This avoids the extra cache loads

r20233: add functions to create a dsdb_attribute and dsdb_class from
a drsuapi_DsReplicaObject

metze

r20232: specify attribute name and structure element name always together
there're a view elements where both values doesn't match

LDAP-SCHEMA now successful loads the schema

metze

r20231: - add more oid => uint32 id mappings
- handle the case where mappings for 1.2.3.4. and 1.2.3.4.5. prefixes
  exist
- extend test suite for the mappings

metze

r20230: I found more mappings of OID string to uint32 id

metze

r20226: rename macros with a _LDB at the end, because I'll add macros with _DS
soon

metze

r20225: we can't use composite_error() in a _recv() function, as that would
trigger the caller to call the _recv() function again and will be an endless
loop.

this is just a fix the to prevent this, and use a more usefull error code
than NT_STATUS_UNSUCCESSFUL

I think we should move the checks about valid responses into the function
which receives the the response (here continue_name_found()),
so that the _recv() function only needs to transfer the output vars to the caller
without any logic to analyse the network response.

metze

r20224: the struct element msDs_Schema_Extensions and the attribute name "msDs-Schema-Extensions"
doesn't match so we need to pass 2 parameters to the GET_BLOB() macro

metze

r20223: this function is in the torture test now

metze

r20222: return status unsuccessful when null pointers are returned
from lookup call.

rafal

r20221: - move the dsdb_schema, dsdb_attribute, dsdb_class structs into
  a generic location
- this struct should be also used by the dsdb/samdb/ldb_modules/schema.c
  module later
- add functions to map from LDAP OID values to uint32_t values
- add torture test for the OID => uint32 mapping code

metze

r20220: Apply patch from Brad Henry with some additional qooxdoo/json-rpc SWAT
functionality: basic admin console.

r20219: add enough knowledge to display the content of attributeSchema objects

metze

r20213: add 2 error codes related to the msDs-IntId attribute

metze

r20205: remove unused var

metze

r20204: use symbolic constant

metze

r20198: let the IBM checker ignore the warning about a missing break
statement...

metze

r20195: fix typo

metze

r20194: inline all static talloc functions

metze

r20193: - let talloc_parent_chunk() handle a NULL pointer
- use talloc_parent_chunk() in talloc_parent_name()
- add prototype of talloc_parent_name()

metze

r20192: I assume a 'break' is the correct thing to do here,

simo,tridge: please check this.

found by the IBM checker

metze

r20191: fix bug found by the IBM checker

metze

r20190: fix the ldb_ldap backend

metze

r20189: remove unused struct element

metze

r20188: move back to an default attribute handler and not use the '*' attribute
to not conflict with the one that maybe added via the @ATTRIBUTES object

this is just to make the test-tdb-feature.sh torture test happy

There's still a bug when a attribute is registered multiple time
without removing old ldb_schema_attribute instances. But this bug
was there before my changes too and was just triggered by my changes

metze

r20187: fix the build on systems without sqlite3

metze

r20185: - SMB_ENABLE() needs upper case YES/NO
- fix compilation of the ldb_sqlite3 module

metze

r20184: change ldb_attrib_handler into ldb_schema_attribute, which has a pointer
to a ldb_schema_syntax struct.

the default attribute handler is now registered dynamicly as "*"
attribute, instead of having its own code path.

ldb_schema_attribute's can be added to the ldb_schema given a
ldb_schema_syntax struct or the syntax name

we may also need to introduce a ldb_schema_matching_rule,
and add a pointer to a default ldb_schema_matching_rule
in the ldb_schema_syntax.

metze

r20182: make the composite api usage more consistant (only cosmetic change)

metze

r20177: return the actual function status code.

rafal

r20176: Info method returns null object if the user is not found.

rafal

r20175: use libnet context instead mem_ctx as the latter gets
freed just before the function returns.

rafal

r20168: start separating attributes and syntaxes

metze

r20167: reenable the ejsnet tests

metze