Mention Origin and X-Client headers in commit messages.

These are useful when e.g. web clients are used.

Use listdir rather than glob.

if-none-match is required for creating events with caldavzap

add custom headers via config file

this is required when using calypso with a web application on a
different server

Add is-addressbook and is-calendar settings.

This is necessary acal (for which every collection is either an address
book or a calendar).

Both settings default to True (current behaviour).

Based on patches by chrysn.

Add support for per calendar colors.

Add per-collection configuration.

this is necessary to support empty calendars/address books with clients
that rely on autodiscovery.

pre-existing collections need per-collection configs for upgrading, as
their content will allow guessing.

Add GSSAPI/Kerberos authentication via Negotiate

When the service name is set via the servicename config option and
pykerberos is installed allow authentication via the negotiate header.

Since this is not using basic auth and its on top of all other
authenciation schemes its not implemented as an acl module. This will
also allow us to make the whole negotiate auth be connection based in
the future.

The current code results in the user being "user@REALM" so in case of
using "acl.personal=True" the directories need to be name like this as
well so we want to add a user to principal mapping at one point.

This has been succesfully tested with iceowl.

Add nopwd ACL

This acl only verifies that the passed in username matches the
collection owner. No password is verified.

This can e.g. be used for GSSAPI authenticaation or HTTP header based
authentication after a authenticating reverse proxy.

acl: Improve debugging by quoting the values

This makes it simple to spot empty values

support the address-data report entry

rfc6352 defines CARDDAV:address-data as a way to include the body of a
card in a report result. it also specifies that the client can restrict
the list of properties that should be returned about the resource in the
CARDDAV:address-data line in the report request, but implementing the
simple case (as was done with calendar-data before) is sufficient to
make the davdroid client happy.

Allow to override calypso's config dir

This can be useful when running automatic tests via e.g. autopkgtest
where we want to have all files in a temporary directory.

Remove Keith-specific scripts for releasing and uploading.

Update release process for upstream calypso for move to alioth.

Remove obsolete Radicale NEWS file.

The calypso changes can be found in the git commit history.

Access to the root directory or any other non-leaf directory raises a IOError

IOError: [Errno 21] Is a directory: '.../.config/calypso/calendars/...'

which is caught and logged as an exception, but still shows even though
just a file-oriented function is called in scan_dir with a subdirectory.
Instead, now, a debug-level log message is emitted on directories that
they are ignored for the purpose of scan_dir.

Remove unused imports.

Revert "Add support for per calendar colors."

This reverts commit 00acbb286c4594feeb2c09e6e4267bcb4934b7b4.

This commit depends on metadata support in
69726bcb92a7aad177eb3af3cae1aa3302347a63, which hasn't been merged yet.

Print status line on startup

This makes it simple to check if calypso is listening on the right
interface/port

fix description in absence of .git/description, Collection.urlpath

in order to have a sensible default for descriptions, collections now
retain their url paths (previously, only the absolute file system path
was stored).

Raise value error in case of an invalid time range filters

instead of returning False. Preferably we'd only fail the single bad
time range instad of the whole request using MultiStatus later on.

Allow time-range query filters to be open ended.

RFC 4791 state that the start or end attribute (but not boht) can
be skipped.  Allow this in the code, and add a test case to verify
that this work.

Accept keyword arguments in crypto.acl.fake.

disable permission checks for OPTIONS

a CORS request (eg as issued in chromium) needs a pre-flight OPTIONS
request on the resource, which can't use credentials yet it's the point
of CORS not to send requests from the browser anywhere without that
particular anywhere's consent.

the code behind OPTIONS does not reveal any data (not even presence of a
collection).

handle addressbook-multiget like calendar-multiget

I had a closer look at another of the changes from chrysn, and it seem
to be OK to me.  I've checked both RFC 4791 and 6352, and verified that
the two requirements for *-multiget are equivalent for CalDAV and
CardDAV.  I thus believe this patch should be applied.

From 886f7bc0ef0cb74f4cae5d757708146c85fc5185 Mon Sep 17 00:00:00 2001
From: chrysn <chrysn@fsfe.org>
Date: Tue, 28 Oct 2014 16:08:13 +0100
Subject: [PATCH] handle addressbook-multiget like calendar-multiget

the requests are analogous, and without that handling, calypso would
report the complete set instead of only the selected entries.

this was brought to light by duplicate entries in davdroid, which should
check the urls by itself, but things are easier to fix here.

Break endless loop

parent_url() always prefixes with a '/' so it can never be None.  So
check for that to unbreak the endless loop.

This unbreaks calendars with Iceowl for me.

Signed-off-by: Guido Günther <agx@sigxcpu.org>

Drop version from basic auth realm

otherwise we get a password prompt on each version upgrade in
e.g. iceowl.

Correct and clean up init.d script

Based on the changes from chrysn@fsfe.org, I had a closer look at the
init.d script and propose to change it like this:

 - Use correct path to program (/usr/bin, not /usr/sbin).
 - Stop running as root, run as user calypso, and move pidfile to a
   place writable by this user.
 - By default, only listen on 127.0.0.1.
 - Remove unused / disabled code.
 - Change indentation from spaces and tabs to 4 spaces.

Signed-off-by: Guido Günther <agx@sigxcpu.org>

Test vcalendar item with slash in the UID field.

Detect if such item is properly handled by resource_from_path().

Signed-off-by: Petter Reinholdtsen <pere@hungry.com>

Allow for resources within collections to have '/'

This allows resource names to contain slashes, by stripping off path
components until a collection (directory) is found.

Signed-off-by: Keith Packard <keithp@keithp.com>

Make sure match_filter() return True or False, not True or None.

This make the return consistenly a boolean, and make printing the
result prettier.

Only import lockfile.pidlockfile when needed

Debian Jessie python-lockfile 0.8 lacks it and a pidlockfile is not
always needed.

Use consistent indentation

Make sure data_path() doesn't end in a '/'

We expect the same form as urlpath in is_collection() and end up in an
endless loop in that function otherwise.

Found by caldav-testers CalDAV/get.xml

Return 404 when trying to delete a non existing item

Found by caldav-testers CalDAV/delete.xml

Use UTF-8 when importing files to avoid mojobake

Add support for per calendar colors.

Add support for addressbook-description and calendar-description attributes.

See RFC4791, par 5.2.1.

Support empty PROP requests.

Per RFC2518#8.1(
http://www.webdav.org/specs/rfc2518.html#METHOD_PROPFIND)
empty propfind requests are allowed.

Add server/base_prefix setting.

Import all the vcard items one the file

Add simple import test

vCard is from

    https://en.wikipedia.org/wiki/VCard#vCard_4.0

Add requires to run tests

Switch URLs to alioth and Keiths blog entry

Alioth git has the most recent commits while Keith's blog entry has the
best "getting started" docs.

gitignore editor backup files and egg info

Support description tags.

Support the current-user-principal property (RFC5397).

Mention username and password ath HTTPS request

Signed-off-by: Guido Günther <agx@sigxcpu.org>

Bump version to 1.5

Signed-off-by: Keith Packard <keithp@keithp.com>

Import pidlockfile from lockfile instead of daemon

This functionality appears to have moved...

Signed-off-by: Keith Packard <keithp@keithp.com>

Return new item from webdave put call

This lets the replace and append functions also return the new object,
so that do_PUT doesn't have to guess about what the object is named

Signed-off-by: Keith Packard <keithp@keithp.com>

Handle --import for non-calendar items

Needed to convert the VCS object into an Item, also found a bug in the
exception handling bits in create_file where path was used before set.

Signed-off-by: Keith Packard <keithp@keithp.com>

Avoid trying to deep-copy the whole event

This is causing an exception from deep within python for some reason,
and it's not necessary as we're just writing contents to a file for
later use.

Signed-off-by: Keith Packard <keithp@keithp.com>

Ensure acl type loaded from config is a utf-8 string. Closes 740460.

Patch received from Jelmer Vernooij; I have no idea why it is needed,
other than to make python happy.

Signed-off-by: Keith Packard <keithp@keithp.com>

Remove DURATION from events with both DTSTART and DURATION

One of these two has to go as they may conflict.
I picked DURATION for no particular reason.

Signed-off-by: Keith Packard <keithp@keithp.com>

Split import of calendar with multiple vevents apart

This walks the list of vevents and creates a new calendar entry for
each one.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add --allow-empty to git commit command line

This avoids exceptions when the commit doesn't do anything and is
otherwise fine.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add quicker checks for calendar objects

Calendar objects have a VCALDENDAR top object with VEVENT objects
nested within, so look for the VCALENDAR in addition to searching
inside for VEVENT

Signed-off-by: Keith Packard <keithp@keithp.com>

Update version to 1.3

Signed-off-by: Keith Packard <keithp@keithp.com>

Set return value for import_file to match success/failure

Otherwise, calypso --import exits with random values

Signed-off-by: Keith Packard <keithp@keithp.com>

Fix release nits

Released tarball gets calypso-<version>/ prefix.
Server reports current version at startup.
Egg name downcased to 'calypso'

Signed-off-by: Keith Packard <keithp@keithp.com>

Add release process files

Signed-off-by: Keith Packard <keithp@keithp.com>

Oops. Update version in program to 1.2

Signed-off-by: Keith Packard <keithp@keithp.com>

Force directory scanning when we know things are changing

This avoids any mtime-related failures

Signed-off-by: Keith Packard <keithp@keithp.com>

issue debug statement when collection is not found

more meaningful commit messages

fn (for vcards) or summary (date) (for ical files) are now shown in git
commit messages, with some fallbacks in place

use optparse's builtin --version command

the functionality is exactly the same output-wise, the only difference
is that the builtin one doesn't take the short -v parameter.

Pass system exceptions up to top-level handlers

Instead of throwing exceptions from file system issues away, pass them
back to the top level so that appropriate status values can be
returned to the client

Signed-off-by: Keith Packard <keithp@keithp.com>

don't check for git presence in calypso/webdav.py

gits presence is already asserted in is_collection. the has_git function
seems to be a relic of older times, and can't catch the newly allowed
git locations any more.

allow collections deep inside git

previously, a collection was only recognized as such if it had a .git
directory. now, it is allowed for collections to have a .git directory
in a parent, as long as it's not outside the configigured storage
directory.

add PAM support

Add pidfile support

Add config option for the pidfile, with a reasonable default.
Have calypso create the pidfile when it daemonizes.
Add -P,--pid-file command-line option to specify the file.
Document the option in the manpage.

handle ^C when running calypso in the foreground

use python-daemon to daemonize calypso

fix href attribute of response

fixup calypso init script

Fix lsb headers.
Make init script respect CALYPSO_OPTS (from /etc/default/calypso).
Add support to disable starting from default file.

Set version to 1.1

Signed-off-by: Keith Packard <keithp@keithp.com>

Add script to publish release

Signed-off-by: Keith Packard <keithp@keithp.com>

Add manual

Signed-off-by: Keith Packard <keithp@keithp.com>

Add empty setup.cfg file

Appears to be required by setup.py sdist

Signed-off-by: Keith Packard <keithp@keithp.com>

Calypso doesn't work with Python 3

Signed-off-by: Keith Packard <keithp@keithp.com>

docs: add blog summary to README

Dumps the blog entry into the README and cleans up some examples.

Signed-off-by: Kees Cook <kees@outflux.net>
Signed-off-by: Keith Packard <keithp@keithp.com>

docs: drop invalid URL and fix comments

Small doc clean-ups.

Signed-off-by: Kees Cook <kees@outflux.net>
Signed-off-by: Keith Packard <keithp@keithp.com>

Merge remote-tracking branch 'origin/master'

Conflicts:
calypso/__init__.py

Don't try to read the xml_request again

We're already reading it in handle_one_request so we shouldn't
try to read it again in do_PUT.

This unbreaks adding new entries with sunbird/lightning/iceowl.

Remove unused exception object

xml_request is unused

Drop it.

ssl is imported globally

no need to import it again.

Remove unused imports

Always read entire request before starting to execute it

This makes sure an HTTP/1.1 multi-request session stays in sync by
ensuring that any request data is read from the socket before any
potential errors are encountered.

Signed-off-by: Keith Packard <keithp@keithp.com>

Always read entire request before starting to execute it

This makes sure an HTTP/1.1 multi-request session stays in sync by
ensuring that any request data is read from the socket before any
potential errors are encountered.

Signed-off-by: Keith Packard <keithp@keithp.com>

Use short timeouts when reading first HTTP line to deal with CalDAV-Sync

For some reason, CalDAV-Sync doesn't reliably close the socket, so we
want to use a short timeout around that, but we want a longer timeout
for the rest of the socket uses. Poke the socket timeouts around the
spot where the first line is read and reset them to a much longer time
afterwards.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add send_calypso_response to localize HTTP/1.1 handling

This also overrides the default keep-alive state for our socket as
there appears to be some disagreement over whether 1.1 sockets should
be keep-alive if no keep-alive header is found.

Signed-off-by: Keith Packard <keithp@keithp.com>

Make sure every response has Content-Length specified.

This adds Content-Length headers to all responses, including
errors, as required by HTTP/1.1

Signed-off-by: Keith Packard <keithp@keithp.com>

Set Content-Length header on succesful OPTIONS

Otherwise intially displaying the calendar takes
CollectionHTTPHandler.timeout seconds in Sunbird/Lightning/Iceowl since
it has to wait for the socket to close.

Set Content-Length header on succesful PUT

Otherwise new items need CollectionHTTPHandler.timeout seconds to
display in Sunbird/Lightning/Iceowl since it has to wait for the socket
to close.

Set Content-Length header when authentication is required

otherwise clients might wait for the socket timeout (as e.g. curl does).

Make sure self._answer is available

Otherwise we might end up referencing self._answer in do_GET
when we caught an exception early in do_HEAD:

127.0.0.1 - - [24/May/2013 15:12:56] "GET /asfd/ HTTP/1.1" 400 -
----------------------------------------
Exception happened during processing of request from ('127.0.0.1', 45386)
Traceback (most recent call last):
  File "/usr/lib/python2.7/SocketServer.py", line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 321, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.7/SocketServer.py", line 649, in __init__ self.handle()
  File "/usr/lib/python2.7/BaseHTTPServer.py", line 340, in handle
    self.handle_one_request()
  File "/var/scratch/debian/calypso/calypso/calypso/__init__.py", line 169, in handle_one_request
    method()
  File "/var/scratch/debian/calypso/calypso/calypso/__init__.py", line 131, in <lambda>
    check_rights = lambda function: lambda request: _check(request, function)
  File "/var/scratch/debian/calypso/calypso/calypso/__init__.py", line 86, in _check
    function(request, context={"user": user, "user-agent": request.headers.get("User-Agent", None)})
  File "/var/scratch/debian/calypso/calypso/calypso/__init__.py", line 225, in do_GET
    if self._answer:
AttributeError: CollectionHTTPHandler instance has no attribute '_answer'
----------------------------------------

Use an empty string instead of None since len() work on the former so we
can compute the Content-Length

fixup! Make sure self._answer is available

Signed-off-by: Keith Packard <keithp@keithp.com>

Check for self._collection too

since we use it for get_item. This avoids

Failed HEAD for /asfd/
Traceback (most recent call last):
  File "/var/scratch/debian/calypso/calypso/calypso/__init__.py", line 236, in do_HEAD
    item = self._collection.get_item(item_name)
AttributeError: 'NoneType' object has no attribute 'get_item'

and we return 404 instead of 400.

Signed-off-by: Keith Packard <keithp@keithp.com>

Print the path that failed

Signed-off-by: Keith Packard <keithp@keithp.com>