Add some basic tests for fastexport.

Merge trunk.

Correctly avoid parsing ShaFiles with fixed SHAs when calling sha().

This required some reworking of the _needs_* and _sha ivars. Improved
check() to force computing the SHA and verifying that it matches the
previously-set value. Added a test for this check.

Change-Id: I6782693d7d7708bc7c28f357c27419d51409b884

Fix Blob._deserialize.

Make ShaFiles created from files trust their filenames.

This adds a dummy FixedSha class that implements the read-only part
of hashlib's hash interface but does not actually compute a SHA-1
digest. This allows us to assign ids to file objects based on their
filename rather than requiring a read of the whole file; SHA-1s will
soon be checked during check().

Added a filename_to_sha helper function to objects.py; refactored the
opposite sha_to_filename functionality into this file as well for
parallelism and testing. As a side effect, reorganized some files in
tests/data to have the normal 2/38 filename structure.

Change-Id: Ic459628aec32a92e29ea49cfd6cbe685053971ef

Lazily read the contents of ShaFiles from disk.

Previously, ShaFile.from_file read and inflated the entire contents of a
ShaFile, storing the inflated text in memory. Parsing that text was done
lazily, but this resulted in a confusing performance profile, since the
"lazy" part was in fact faster (memory/CPU-bound) than the eager part
(I/O-bound).

This change ensures that a file is only read fully from disk right
before it is about to be parsed. The first few bytes are still read
from disk to get the file type, but there is no need to slurp the
whole file. Moreover, we now maintain a distinction between ShaFiles
that are initialized from (possibly raw) strings and files initialized
with filenames. In order to parse the contents of a file, we need to
have one or the other. There is a third category of ShaFiles that
should never be parsed, where all the properties are intended to be set
explicitly (usually (but not always) during testing). These objects are
created as usual via __init__.

The tests all pass, but we do not currently have a way of testing the
point at which the implementation reads the whole file from disk.

Also, note that a call to foo.id still results in reading the whole file
and calculating its SHA-1; this behavior may change in the future.

Change-Id: Ib9f67ead0d2a812a2e43cffa54c37a1c4a219841

Check tag and commit objects for duplicate and out-of-order headers.

This requires factoring out the commit/tag parsing code so it can be
used directly from both the _parse_text and check methods. The parse
methods yield tuples, which can either be used to set members or
check for ordering.

Change-Id: I5ffe47100273912eaa283d03332286287b109a13

Add TESTFLAGS variable to Makefile to make running nosetests easier.

Change-Id: I7d94577883ad0805281bcac0003df964bfd05cdc

Add launchpad link.

Fix whitespace bug in dul-web.

Had a tab that was syntactically correct, but since python treats tabs
as 8 spaces rather than 4 it resulted in incorrect behavior.

Merge pack protocol receiver fix.

Add DiskObjectStore.init.

test_object_store: use temp dirs instead of 'foo'

client: don't assume server response is of length 20

We do not for sure the length; it is safer to use
Protocol.read_pkt_line().

Also, handle HangupException if read_pkt_line() raises it. This happens
when talking to old versions of git-daemon (v1.6.6.1-26-g38a81b4), where
there won't be anything to read.

ObjectStoreGraphWalker.ack: use non-recursive implementation

We were recursively removing from self.heads; rewrite this such we try
removing heads this in a loop.

This gives a nice performance boost.

Use datetime.utcfromtimestamp() in tests.

datetime.fromtimestamp() has the confusing behavior of treating the
timestamp as a UTC time and then converting to local time, but not
setting the tzinfo member. As a result, the function returns different
values depending on the local timezone, which makes it hard to write a
test that passes everywhere.

The output of datetime.utcfromtimestamp() is stable across all
timezones, which is all we really need for tests. (Returning sensible
datetime objects from the Commit/Tag API would require substantially
more work, but that is not fixed in this change.)

Tested in both US-Pacific and US-Eastern.

Preserve '-' sign when -0000 is stored for the timezone in a commit/tag.

Add Tree.__iter__.

Cope with \r in ref files on Windows.

Avoid relying on PST for passing the testsuite.

Ensure we don't run past the end of the tree text.

We use strnlen so we can find namelen even if the buffer is truncated
in the name. This is not necessary for Python string objects, which are
guaranteed to be null-terminated, but some buffer objects (e.g. mmap)
may not be.

Remove unused import, always ensure that objects is serialized before running check().

Add check() methods to object classes for consistency checking.

These roughly mirror the parts of git fsck that deal with object
well-formedness, including checking the presence of required headers,
formatting of author/committer names, tree ordering, and so on. This
change does *not* include consistency checks that require touching other
objects; those will go in ObjectStore.

Note that currently many types of errors will still be raised during
object parsing proper, such as ValueErrors when trying to parse invalid
integers. In the check() method, any such exceptions are caught and
wrapped in an ObjectFormatException. The separate codepath also gives
us a place to put these checks if we decide to optimize them out of the
main object-parsing codepath.

Rename set_ref -> set_symbolic_ref.

Avoid writing to stdout.

Fix import of NotTagError.

Define common TestSkipped exception so it's easier to swap out later for
something nose-specific.

Change parse_tree to return a list rather than a dict.

For future consistency checks, we will need to ensure that objects in
the tree are stored in sorted order when we parse the tree, so it makes
sense to be able to reuse parse_tree for this purpose.

Also added tests for both the C and Python versions of parse_tree. To
do this in one test run, we also need to hold onto the pure-python
implementation before importing the C version if available.

cgi.parse_qs is deprecated in favor of urlparse.parse_qs in python 2.6,
but the function in urlparse doesn't exist in earlier versions.

Fix imports.

Merge Dave's fixes for the compatibility tests and web.

Update servers and compat tests to work with DictBackends.

Avoid seek when loading pack index files.

Simplify apply_pack call.

Remove GitBackendRepo, use plain Repo's instead.

Move apply_pack to ReceivePackHandler, so a server backend repo is a strict subset of Repo.

Use property to access commit parents.

Fix dul-daemon.

If git is available on the local machine, always run the compatibility tests so I don't break stuff again.

Fix use of git backend.

Some trivial formatting fixes.

merge support for custom get_peeled function in server.

implement chunked version of ShaFile.as_legacy_object.

Use open_repository to find repository for get_peeled.

Support progress argument to generate_pack_contents.

Add RefsContainer.read_ref.

Support opening git repositories by path.

Always require a Git repository object to be passed into
dulwich.server.GitBackend.

Previously, the word "type" was massively overloaded in objects.py. It
could refer to the numeric type of an object (obj.type or
obj._num_type), the type name of the object (obj._type or FOO_ID), or
the actual class (python type) of the object. This could get quite
confusing.

This change does the following:
 -Replace obj._type and obj._num_type with type_name and type_num. (The
  type property is retained for client compatibility, but is marked as
  deprecated.) Change the various type maps and callers to use the
  object's public members as keys.
 -Add a convenience function object_class that takes either a string or
  an int and dispatches to the appropriate type map.
 -Rename the FOO_ID constants as _FOO_HEADER, since those constants
  were previously overloaded to mean both header field names and type
  names. There is some overlap, but this is intentional.
 -Use isinstance for type comparisons rather than type, which is common
  python practice and avoids the problematic word altogether.

Previously, serialize() expected the object type to be numeric, and
_parse_text() set it to be an object class. Surprisingly, there were
no code paths that perform a round-trip parse-serialize-parse or
serialize-parse-serialize on tags; put a TODO in test_objects.py to add
such tests.

Pass command-line arguments on to command implementation.

Fix import.

Use posixpath where possible.

Use standard buffer size rather than object size.

Initial work on a fastexport module.

Allow delta's to be chunked as well.

Accept chunked contents for apply_delta base texts.

consistently use chunks internally inside of the pack code.

Return chunks from apply_delta.

Return chunks from unpack_object.

Remove read_zlib in favor of read_zlib_chunks.

Work with chunks internally in dulwich.objects.

Rename _parse_text to _deserialize for consistency.

Set needs_serialization/needs_parsing properties only in a few places.

Use raw_length in pack generation.

Work with chunks rather than StringIO internally when possible.

Make ShaFile.serialize private (it's pointless to call for external users).

Provide C implementation of tree item sorter.

Support determining blob id without joining all chunks first.

Allow accessing Blob contents as chunks.

Use urlparse.parse_qs rather than deprecated cgi.parse_qs.

Ignore deprecationwarnings from known deprecated methods during testsuite run.

Fix warning stacklevels.

Add ShaFile._raw_length.

Repo.get_blob, Repo.commit, Repo.tag and Repo.tree are now deprecated.

test_repository: add test for ObjectStore.find_common_revisions()

Demonstrate that find_common_revisions() returns common heads, not
revisions.

Mark current version as 0.5.1.

Implement RefsContainer.__contains__.

Improve formatting, update docstring.

Add Repo.stage.

Move get_transport_and_path to dulwich.client.

Add docstrings.

Improve docstrings.

In threaded programs, more than one thread can try to add the same object at
the same time and this can cause os.mkdir to fail.

Use syntax understood by git am.

Make sure mode is initialized.

Fix trailing newlines in generated patch files.

The 'committer' and 'message' arguments to Repo.do_commit() have
been swapped. 'committer' is now optional. (Jelmer Vernooij)

Add some TODO items.

Add Index.commit.

Allow specifying path to 'dulwich log'.

Simplify clone code.

Fix Repository.__setitem__.

Fix indentation.

add testrepository magic.

Add Dave to authors.

Remove unused imports, limit import of nose to one file (so it's easier to
replace the SkipTest class with e.g. the one from testtools).

Merge Dave.

Remove some unused imports.

Merge support for no-progress capability, some PEP8 fixes and removal of unused imports.

Merge server capability refactoring from Dave.