Moving initial waf branch to waf_initial so we can compute new wscript scripts and previous work done

WAF pending work on libmapi, libocpf and libmapistore. Not good enough to enter trunk.

mapistore: parameterise out some variables in the provision test script

Also add a test for creating the Inbox context.

mapistore: implement get_folder_count() in mapistore python bindings

Also convert mapistore_strip_ns_from_uri to use const char**

Also add a test for mapistore rmdir(), which appears to have
some kind of reference count problem - it is causing a python
assert that indicates that something is still reachable.

pyopenchange: add test case for mapistore closedir()

fsocpf: Fix updating of properties

We can now either set properties where none exist, update existing property
values, and add properties to those that are already set.

fsocpf: Minor work on set properties

The problem is that we can't yet update .properties

mapistore: fix fsocpf backend opendir and set_props calls

The set_props call isn't right - it only works for the case where
the folder we are changing is the root of the context. I see
"Invalid OCPF context" error messages, although we do try to write
to the correct file.

- Move libmapistore pc file into mapiproxy/libmapistore
- Complete make install process for waf libmapistore
- Add backends compilation and dependencies check to WAF libmapistore

mapistore: Add unit tests for opendir and setprops.

This currently breaks the tests (i.e. they fail / segfault).

buildsystem: cleanup mapistore coverage noise files on make clean / distclean

mapistore: add unit tests of creating a sub-folder.

Add unit tests for python mapistore / mapistoredb

Run it like:
./pyopenchange/unittest/unittest_mapistoredb.py
(or add -v for more verbose output)

mapistore: Turn down URI generation message to DEBUG level

Install header files for libmapistore

- Introduce preliminary WAF build system support for libmapistore
- Remove libmapi/libmapi.h references within libmapistore

- Add a WAF_BUILD_INC macros to config.mk.in so waf and autoconf
  requirements with regards to includes gets similar

- Change libmapistore includes

mapistore: Move some function declarations from mapistore_common.h to mapistore_backend.h

Most of these require a backend context. mapistore_strip_ns_from_uri() doesn't
require one, but its currently only used from the backends, and that seems
the mostly use.

Also fix / move a bit of API documentation.

mapistore: Use __FUNCTION__ macro instead of the literal function name for talloc_named()

Just makes it easier to update / harder to forget to change the name.

Remove stray semicolons.

pyopenchange: add setters for database path and named properties database path.

pyopenchange: Minor cleanup in mapistoredb test

Remove stray semicolon, and fix typo.

mapistore: debug typo fix.

mapistore: Remove commented-out declaration.

mapistore: Clean up api documentation noise

mapistore: Fix API documentation formatting for enum MAPISTORE_NAMEDPROPS_PROVISION_TYPE

Try harder to not show _PUBLIC_ export defines in the API documentation

mapistore: fix API documentation for mapistore_createmessage()

mapistore: minor cleanups for mapistore_mkdir()

 - initialize pointers to NULL
 - API documentation updates
 - comment fixes
 - relabel one label to make it clearer

Definitely change API and move from mapistore v1 to mapistore
v2. Server is currently broken and many fsocpf features are not
working. They will be fixed along future commits.

In a nutshell, this commit change mapistore so backend only have to
deal with URI. They don't have any knowledge about FID or MID.

It also implements mkdir for mstoredb and fsocpf.

In details:
- Update provision test script to:
  - create Conflicts folder within Sync Issues folder (not root
  folder)
  - change MDB_INBOX from mstoredb to fsocpf after mstoredb Inbox
    creation

- Update python bindings.
  - Add working implementation for:
    - add_context
    - get_folder_identifier
    - opendir
    - mkdir
  - Add mapistore python bindings getsetters for debuglevel. This offers
  an easy way to increase verbosity when debugging or analyzing
  failures.
  - Add objects for folder type enum (generic, search)

- Fix fsocpf model to use URI instead of FID/MID
- Fix create_context, opendir, mkdir implementation for fsocpf

- Commit all mapistore code within EMSMDB server.

- Add mapistore_set_debuglevel to set the mapistore debug level
- Add convenient public/common function to remove the namespace from a
  URI
- Add a function to return the URI for a default folder within a given
  context
- Add a function to return the folder identifier associated to a
  mapistore URI relative to a context identifier

- Add a mapistore indexing function to return the URI associated to a
  mapistore FMID for a given folder or message.

Remove temporary hack introduced in r2228

The linking problem with samba4 is now fixed

This resolves task #330.

server: intialize aux_header buffer to null if the data is missing.

This is a merge of r2581 from the plugfest branch.

server: fix handling of XorMagic flag

This is a merge of r2571 from the plugfest branch, and addresses some of
the problems seen with the Microsoft MS-OXCRPC test.

server: Correct handling of rgwBestVersion

The logic is to return either the client version (if its ok) or the minimum
version that is required to connect (if the client version is not ok).

This is a merge of r2576 from the plugfest branch.

server: fix samdb_connect() signature.

This is a merge of r2578 from the plugfest branch. Providing
signatures of samba functions was a hack, which we'll fix in due course.

server: Fix IDL for parsing of AUX_PERF_PROCESSINFO buffer.

This is a merge of r2589 from plugfest branch

libmapi: change mapidump_recipients to use PropertyTagArray_r

This matches the ResolveNames() argument, and fixes 3 warnings.

libexchange2ical: handle change in function signature introduced in libical 0.46

Add PtypString8 entries for each string to enum mapitags.

This prevents some warnings, and is useful for completeness.

check_fasttransfer: Fix warnings from recent mapistore changes.

Comment fix.

server: Update to reflect samba4 auth changes

Patch by Andrew Tridgell. Thanks!

Minor addition documentation changes for samba build system changes.

We can now do the whole provisioning stage from the top level
openchange directory.

Minor additional samba4 build script fixes.

Fix typo in Makefile (DESTIDR -> DESTDIR).

- Add an initialization function for backends. This function offers
  backends the ability to remove empty skeleton from their code and
  ensure they won't crash the server if one ops is missing.

- Make defaults ops return MAPISTORE_ERR_NOT_IMPLEMENTED

- Call mapistore_backend_init_defaults from backends

- Turn DEBUG macros into MSTORE_DEBUG_* in backends

Turn DEBUG() macros into MSTORE_DEBUG_*()

- Let backends register named properties:
  - Either external == public, used by a client and understood by the
    associated backend only
  - Or internal == private, only for backend's internal usage

Backends can either specify a buffer with LDIF data or full patch to
the LDIF file.

mapping index attribute is automatically updated both for CN=External
and CN=Internal. Backends are guaranteed (upon successful
registration) that each of the backend property is mapped and available.

- Add MAPISTORE_ERR_NOT_IMPLEMENTED error code to mapistore errors enum

- Add skeleton backend's hook for namedprops provisioning in mstoredb
  and fsocpf backends.

Start internal index mapping at 0x1 instead of 0x0

Add an objectClass: External and objectClass: Internal for better
indexing and search

Minor documentation update to reflect samba4 buildsystem changes.

Update build script to reflect samba buildsystem changes.

More changes are required for documentation.

Minor update for API documentation

- Add a function to provision a namespace in named properties database
  for a given user and associated python bindings code

- Add a function to check if a user exists in named properties
  database

- Add python bindings code to turn MAPISTORE_ERROR into string error
  messages both within mapistore and mapistoredb interfaces

- Update provision script to display error strings instead of integer
  values and update provision.py test code to create a named
  properties namespace for the user.

- Generate pymapi properties objects from makepropslist.py rather than
  mparse.pl

- Commit pymapi_properties.c instead of auto-generating during make
  process

- Remove pymapi_properties code generation from mparse.pl and avoid it
  from being removed upon make clean.

- Adjust the very basic properties.py sample to use canonical names
  instead of altnames and remove unsupported (not covered by MS Doc)
  properties from the example.

- Add mapistore function and associate bindings to retrieve the
  default first available ID both for external and internal mappings.

- Remove unused variable in mapistore_namedprops.c

Fix incorrect cn for CN=External,CN=Server record

Remove remaining references to nprops_ctx and replace them with
mapistore_nprops_ctx.

- Move named properties database provisioning out of mapistore_init()

- Only create it through mapistoredb at provisioning time

- Add an interface in libmapistore/database to provision named
  properties and add associated python bindings and working code
  example within pyopenchange/tests/provision.py

- Remove deprecated code from mparse.pl for known and named property tags

- Add a convenient function in mapistore_processing.c to provision a
  LDB database using a LDIF file

- Add database schema and ROOTDSE to mapi_named_properties.ldb
  database

- Add MAPISTORE_ERR_NOT_IMPLEMENTED error code to the MAPISTORE_ERROR
  enum

- Replace some existing DEBUG macros with MSTORE_DEBUG_ equivalent

For named properties duplicate checks on MNID_STRING we want to couple
the keyword to the oleguid, if oleguid mismatches, then it must not be
considered as a duplicate.

Update generated code concerned by this change

- Fix LDIF file generation for named properties database (dn: was
  missing)

- Remove named properties duplicate (MNID_ID or MNID_STRING). This was
  also preventing from provisioning the named properties database
  properly.

- Update files concerned by the parser changes

Release mem_ctx where needed

- Add getsetters on mapistore_named_properties.ldb database

- Add a pointer to mapistore_named_properties database in
  mapistoredb_conf structure and initialize it within
  mapistoredb_init() function.

- Update makepropslist.py to generate named properties header files
  and mapistore_v2 named props database LDIF file.

- Do not generate mapi_nameid.h and mapi_nameid_private.h using
  mparse.pl but makepropslist.py

- Add these files to the repository. We shouldn't have to update them
  until next Microsoft Documentation release.

- Add additional documentation fix to makepropslist.h

- Add a static mapistore_namedprops_v2.ldif which will replace
  mapistore_namedprops.ldif once we switch from v1 to v2.

Fix Property tag attribute fetching for named properties. The split on
':' was applied to the entire string. However some entries were using
urn: or DAV: or even http:.

This fix splits but with a maxCount of 1, preserving the remaining
string upon success.

Add missing file

Merge makepropslist script from Brad from mapistore_v2 back into
trunk.

This script takes Microsoft [MS-OXPROPS].pdf and turn it into C header
and source code file + an v1_enum used by exchange.idl. It is a
replacement to the existing mapitags.{c,h} and the static mparse.pl
script for MAPITAGS.

Generated files have also been added to the repository. We do not need
to update them unless next Microsoft documentation release (3 up to 6
months release cycle).

Update openchange code to use canonical names whereas needed.

- Add getsetters for mapistore_uri to mapistore python interface

- Implement the function required to update a mapistore uri

- Add a function to add an entry_r record to the indexing database

- Add a function to delete an entry_r record from the indexing
  database

- Update provision.py script to reflect this change

- Factorize code to add an entry_r record

Retrieve value within uint32_t before casting it to MAPISTORE_DFLT_FOLDERS enum

Force dflt_folders to be int in ParseTuple parsing

Remove warning.

- Fix context_id sign in python bindings ParseTuple
- Use METH_KEYWORDS for some functions
- Add missing Py_INCREF in modules
- Moving mailbox provisioning into a start() function

set params to NULL after calls to talloc_free

Fix a typo in serverdn format string when setting up mapistore with a DC

ALlow mstoredb to specify a different container class than IPF.Note
depending on the root folder we are creating.

- Implement the root_mkdir (db_mkdir) mapistore implementation which lets
  create default system/special folders in mstoredb (mapistore.ldb), get
  new FIDs for these folders and register them in the indexing database.

- Update provision.py test provisioning script to reflect latest changes

- Add MDB default folders to pymapistore

- Add a new MAPISTORE error (MAPISTORE_ERR_INVALID_URI)

- Add username to backend_context structure

- Turn some DEBUG into MSTORE_DEBUG macros in mstoredb backend

- Add CN (default folder name) to the list of known folders for mstoredb backend.
  This provides a list of default names (English) for PidTagDisplayName property
  if not specified at provisioning time.

mapistore_mstoredb.c:289: warning: assignment from incompatible pointer type
This warning will be fixed in further commits when we come to propagate
mapistore_v2 mkdir implementation to fsocpf.

Improve DEBUG macros to handle va_args instead of a static format string

Introduce debugging macros and levels for backend willing to use a consistent debugging mechanism

- Add login_user and username to mapistore context creation.
These parameters are needed to query the correct indexing database (user based).
In the future login_user != username will be used for ACLs check etc.

- Add a provision.py script which will be used to test mapistore_v2 provisioning.

- We can now retrieve a context on the root mailbox folder from a mapistore.ldb
provisioning with mapistoredb and accessed through mapistore API.

Normally everything *SHOULD* still be working properly.
However *should* is not *must* and still I must commit.
I should shut up ...

Ensure we reset mapping_path to NULL after free

Add a release function so we can safely free mapistore database references without relying
on unpredictable timing from python garbage collector

- Forgot the most obvious ... a reference to FMID within mapistore_indexing_entry IDL structure.
- Also add an IDL for reverse entries URI/... -> FMID/...
- Fix the reverse entries checking with NDR code rather than fuzzy str ops
- Add a dumping function for mapistore_indexing_entry_r

Fix uninitialized parent value in CreateMessage function.

Providing setters for netbiosname, firstorg and firstou is messy.

If done after provisioning stage, introduce inconsistent entries within
mapistore.ldb database.

This commit replaces getters with parameters to the provision()
function in python bindings code.

Change python test code to reflect this change

Handle FID/MID uniqueness BY MAILBOX rather than BY SERVER

The FID/MID namespace is unique per mailbox which means that even if
you get out of IDs, you only crash your mailbox, not the entire
server

The following commit introduces a user store object within mapistore.ldb located
under CN=${username},${firstorgdn} responsible from maintaining the GLobalCount
for the user mailbox.

Furthermore, this alters the core behavior of provisioning and introduce username
as being a parameter to most of the mapistore API (propagation scheduled among
mapistore_v1 to mapistore_v2 transition).

- Do not assign mstore_ctx until we've had a chance to check if mapistore_backend_context exist
- Implement mapistore_register_folder function which lets backend register a folder using its mapistore URI.
- Add a mapistore_indexing function that retrieves the FMID associated to a mapistore URI

This is Rock n' Roll code - untested but looks promising ;p

libmapistore: Minor API documentation fixes.

After a full and long programming day, it happends to be tired.
This is a typical example of a programmer that needs a beer...

Fix the opaque to mapistore_context assignation

Let a backend queries mapistore whether a given URI exists in the indexing database or not.

- Add mapistore_indexing implementation got get/update operations

- Add a function to let mapistoredb register a message ID allocation
range for mailbox root container

- Update mapistoredb python test accordingly.

- Add preliminary (internal) dump routines for mapistore_indexing_entry objects.

Revert local hack which shouldn't have ended on svn

Merge change from plugfest branch:

Cleanup policy handle upon disconnect

Turn enum MAPISTATUS_ERROR sanity checks with if statement into MAPISTORE_RETVAL_IF
wherever possible

Move errors macro from mapistore_private.h to mapistore_errors.h
Make macros available for backends

Factorize title creation within a convenient function.
Make Jelmer smile ;-)

- Commit preliminary bits of mapistore_v2 indexing database implementation.
- Add comments to distinguish between mapistore_v1 and mapistore_v2 bits.
  For the moment both implementation coexist to keep the transition stage
  when switching from v1 to v2 as short as possible

- Fix compilation dependencies rules

- Solve the chicken/egg problem and create the Mailbox Root container for mstoredb
  in mapistore.ldb through mapistoredb interface

- Add context creation/deletion in mapistore_v2 indexing API
- Add function to add new fmid in mapistore_v2 indexing API

- Update mapistoredb bindings and test code to test new mailbox creation

Update the svn ignore list for the indexing folder

Add the mapistore_v2 indexing IDL that will be used in conjunction to the new indexing API:
This IDL is designed to pull/push the TDB value part of the key/value pair and hold information such as:
- type of item (folder/message/soft deleted)
- mapistore URI
- Parent folder ID
- allocation range for messages
- basic ACLs for folders

It furthermore introduces a versioning system which will help keeping consistencies
across further and potential updates.

Move more functionality out of mapistore.h into a new shared header.

This avoids importing mapistore.h into the backends.

libmapistore: Switch to using an enum to indicate the type of deletion operation (instead of #defines)

libmapistore: minor API documentation update