4102590d99f47adacac1493c859062c69831ea82
[jelmer/dulwich-libgit2.git] / dulwich / objects.py
1 # objects.py -- Access to base git objects
2 # Copyright (C) 2007 James Westby <jw+debian@jameswestby.net>
3 # Copyright (C) 2008-2009 Jelmer Vernooij <jelmer@samba.org>
4 #
5 # This program is free software; you can redistribute it and/or
6 # modify it under the terms of the GNU General Public License
7 # as published by the Free Software Foundation; version 2
8 # of the License or (at your option) a later version of the License.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
18 # MA  02110-1301, USA.
19
20
21 """Access to base git objects."""
22
23
24 import binascii
25 from cStringIO import (
26     StringIO,
27     )
28 import mmap
29 import os
30 import stat
31 import zlib
32
33 from dulwich.errors import (
34     ChecksumMismatch,
35     NotBlobError,
36     NotCommitError,
37     NotTagError,
38     NotTreeError,
39     ObjectFormatException,
40     )
41 from dulwich.file import GitFile
42 from dulwich.misc import (
43     make_sha,
44     )
45
46
47 # Header fields for commits
48 _TREE_HEADER = "tree"
49 _PARENT_HEADER = "parent"
50 _AUTHOR_HEADER = "author"
51 _COMMITTER_HEADER = "committer"
52 _ENCODING_HEADER = "encoding"
53
54
55 # Header fields for objects
56 _OBJECT_HEADER = "object"
57 _TYPE_HEADER = "type"
58 _TAG_HEADER = "tag"
59 _TAGGER_HEADER = "tagger"
60
61
62 S_IFGITLINK = 0160000
63
64 def S_ISGITLINK(m):
65     return (stat.S_IFMT(m) == S_IFGITLINK)
66
67
68 def _decompress(string):
69     dcomp = zlib.decompressobj()
70     dcomped = dcomp.decompress(string)
71     dcomped += dcomp.flush()
72     return dcomped
73
74
75 def sha_to_hex(sha):
76     """Takes a string and returns the hex of the sha within"""
77     hexsha = binascii.hexlify(sha)
78     assert len(hexsha) == 40, "Incorrect length of sha1 string: %d" % hexsha
79     return hexsha
80
81
82 def hex_to_sha(hex):
83     """Takes a hex sha and returns a binary sha"""
84     assert len(hex) == 40, "Incorrent length of hexsha: %s" % hex
85     return binascii.unhexlify(hex)
86
87
88 def hex_to_filename(path, hex):
89     """Takes a hex sha and returns its filename relative to the given path."""
90     dir = hex[:2]
91     file = hex[2:]
92     # Check from object dir
93     return os.path.join(path, dir, file)
94
95
96 def filename_to_hex(filename):
97     """Takes an object filename and returns its corresponding hex sha."""
98     # grab the last (up to) two path components
99     names = filename.rsplit(os.path.sep, 2)[-2:]
100     errmsg = "Invalid object filename: %s" % filename
101     assert len(names) == 2, errmsg
102     base, rest = names
103     assert len(base) == 2 and len(rest) == 38, errmsg
104     hex = base + rest
105     hex_to_sha(hex)
106     return hex
107
108
109 def object_header(num_type, length):
110     """Return an object header for the given numeric type and text length."""
111     return "%s %d\0" % (object_class(num_type).type_name, length)
112
113
114 def serializable_property(name, docstring=None):
115     def set(obj, value):
116         obj._ensure_parsed()
117         setattr(obj, "_"+name, value)
118         obj._needs_serialization = True
119     def get(obj):
120         obj._ensure_parsed()
121         return getattr(obj, "_"+name)
122     return property(get, set, doc=docstring)
123
124
125 def object_class(type):
126     """Get the object class corresponding to the given type.
127
128     :param type: Either a type name string or a numeric type.
129     :return: The ShaFile subclass corresponding to the given type, or None if
130         type is not a valid type name/number.
131     """
132     return _TYPE_MAP.get(type, None)
133
134
135 def check_hexsha(hex, error_msg):
136     try:
137         hex_to_sha(hex)
138     except (TypeError, AssertionError):
139         raise ObjectFormatException("%s %s" % (error_msg, hex))
140
141
142 def check_identity(identity, error_msg):
143     email_start = identity.find("<")
144     email_end = identity.find(">")
145     if (email_start < 0 or email_end < 0 or email_end <= email_start
146         or identity.find("<", email_start + 1) >= 0
147         or identity.find(">", email_end + 1) >= 0
148         or not identity.endswith(">")):
149         raise ObjectFormatException(error_msg)
150
151
152 class FixedSha(object):
153     """SHA object that behaves like hashlib's but is given a fixed value."""
154
155     def __init__(self, hexsha):
156         self._hexsha = hexsha
157         self._sha = hex_to_sha(hexsha)
158
159     def digest(self):
160         return self._sha
161
162     def hexdigest(self):
163         return self._hexsha
164
165
166 class ShaFile(object):
167     """A git SHA file."""
168
169     @staticmethod
170     def _parse_legacy_object_header(magic, f):
171         """Parse a legacy object, creating it but not reading the file."""
172         bufsize = 1024
173         decomp = zlib.decompressobj()
174         header = decomp.decompress(magic)
175         start = 0
176         end = -1
177         while end < 0:
178             header += decomp.decompress(f.read(bufsize))
179             end = header.find("\0", start)
180             start = len(header)
181         header = header[:end]
182         type_name, size = header.split(" ", 1)
183         size = int(size)  # sanity check
184         obj_class = object_class(type_name)
185         if not obj_class:
186             raise ObjectFormatException("Not a known type: %s" % type_name)
187         obj = obj_class()
188         obj._filename = f.name
189         return obj
190
191     def _parse_legacy_object(self, f):
192         """Parse a legacy object, setting the raw string."""
193         size = os.path.getsize(f.name)
194         map = mmap.mmap(f.fileno(), size, access=mmap.ACCESS_READ)
195         try:
196             text = _decompress(map)
197         finally:
198             map.close()
199         header_end = text.find('\0')
200         if header_end < 0:
201             raise ObjectFormatException("Invalid object header")
202         self.set_raw_string(text[header_end+1:])
203
204     def as_legacy_object_chunks(self):
205         compobj = zlib.compressobj()
206         yield compobj.compress(self._header())
207         for chunk in self.as_raw_chunks():
208             yield compobj.compress(chunk)
209         yield compobj.flush()
210
211     def as_legacy_object(self):
212         return "".join(self.as_legacy_object_chunks())
213
214     def as_raw_chunks(self):
215         if self._needs_parsing:
216             self._ensure_parsed()
217         elif self._needs_serialization:
218             self._chunked_text = self._serialize()
219         return self._chunked_text
220
221     def as_raw_string(self):
222         return "".join(self.as_raw_chunks())
223
224     def __str__(self):
225         return self.as_raw_string()
226
227     def __hash__(self):
228         return hash(self.id)
229
230     def as_pretty_string(self):
231         return self.as_raw_string()
232
233     def _ensure_parsed(self):
234         if self._needs_parsing:
235             if not self._chunked_text:
236                 assert self._filename, "ShaFile needs either text or filename"
237                 self._parse_file()
238             self._deserialize(self._chunked_text)
239             self._needs_parsing = False
240
241     def set_raw_string(self, text):
242         if type(text) != str:
243             raise TypeError(text)
244         self.set_raw_chunks([text])
245
246     def set_raw_chunks(self, chunks):
247         self._chunked_text = chunks
248         self._deserialize(chunks)
249         self._sha = None
250         self._needs_parsing = False
251         self._needs_serialization = False
252
253     @staticmethod
254     def _parse_object_header(magic, f):
255         """Parse a new style object, creating it but not reading the file."""
256         num_type = (ord(magic[0]) >> 4) & 7
257         obj_class = object_class(num_type)
258         if not obj_class:
259             raise ObjectFormatError("Not a known type: %d" % num_type)
260         obj = obj_class()
261         obj._filename = f.name
262         return obj
263
264     def _parse_object(self, f):
265         """Parse a new style object, setting self._text."""
266         size = os.path.getsize(f.name)
267         map = mmap.mmap(f.fileno(), size, access=mmap.ACCESS_READ)
268         try:
269             # skip type and size; type must have already been determined, and we
270             # trust zlib to fail if it's otherwise corrupted
271             byte = ord(map[0])
272             used = 1
273             while (byte & 0x80) != 0:
274                 byte = ord(map[used])
275                 used += 1
276             raw = map[used:]
277             self.set_raw_string(_decompress(raw))
278         finally:
279             map.close()
280
281     @classmethod
282     def _is_legacy_object(cls, magic):
283         b0, b1 = map(ord, magic)
284         word = (b0 << 8) + b1
285         return b0 == 0x78 and (word % 31) == 0
286
287     @classmethod
288     def _parse_file_header(cls, f):
289         magic = f.read(2)
290         if cls._is_legacy_object(magic):
291             return cls._parse_legacy_object_header(magic, f)
292         else:
293             return cls._parse_object_header(magic, f)
294
295     def __init__(self):
296         """Don't call this directly"""
297         self._sha = None
298         self._filename = None
299         self._chunked_text = []
300         self._needs_parsing = False
301         self._needs_serialization = True
302
303     def _deserialize(self, chunks):
304         raise NotImplementedError(self._deserialize)
305
306     def _serialize(self):
307         raise NotImplementedError(self._serialize)
308
309     def _parse_file(self):
310         f = GitFile(self._filename, 'rb')
311         try:
312             magic = f.read(2)
313             if self._is_legacy_object(magic):
314                 self._parse_legacy_object(f)
315             else:
316                 self._parse_object(f)
317         finally:
318             f.close()
319
320     @classmethod
321     def from_file(cls, filename):
322         """Get the contents of a SHA file on disk."""
323         f = GitFile(filename, 'rb')
324         try:
325             try:
326                 obj = cls._parse_file_header(f)
327                 obj._sha = FixedSha(filename_to_hex(filename))
328                 obj._needs_parsing = True
329                 obj._needs_serialization = True
330                 return obj
331             except (IndexError, ValueError), e:
332                 raise ObjectFormatException("invalid object header")
333         finally:
334             f.close()
335
336     @staticmethod
337     def from_raw_string(type_num, string):
338         """Creates an object of the indicated type from the raw string given.
339
340         :param type_num: The numeric type of the object.
341         :param string: The raw uncompressed contents.
342         """
343         obj = object_class(type_num)()
344         obj.set_raw_string(string)
345         return obj
346
347     @staticmethod
348     def from_raw_chunks(type_num, chunks):
349         """Creates an object of the indicated type from the raw chunks given.
350
351         :param type_num: The numeric type of the object.
352         :param chunks: An iterable of the raw uncompressed contents.
353         """
354         obj = object_class(type_num)()
355         obj.set_raw_chunks(chunks)
356         return obj
357
358     @classmethod
359     def from_string(cls, string):
360         """Create a ShaFile from a string."""
361         obj = cls()
362         obj.set_raw_string(string)
363         return obj
364
365     def _check_has_member(self, member, error_msg):
366         """Check that the object has a given member variable.
367
368         :param member: the member variable to check for
369         :param error_msg: the message for an error if the member is missing
370         :raise ObjectFormatException: with the given error_msg if member is
371             missing or is None
372         """
373         if getattr(self, member, None) is None:
374             raise ObjectFormatException(error_msg)
375
376     def check(self):
377         """Check this object for internal consistency.
378
379         :raise ObjectFormatException: if the object is malformed in some way
380         :raise ChecksumMismatch: if the object was created with a SHA that does
381             not match its contents
382         """
383         # TODO: if we find that error-checking during object parsing is a
384         # performance bottleneck, those checks should be moved to the class's
385         # check() method during optimization so we can still check the object
386         # when necessary.
387         old_sha = self.id
388         try:
389             self._deserialize(self.as_raw_chunks())
390             self._sha = None
391             new_sha = self.id
392         except Exception, e:
393             raise ObjectFormatException(e)
394         if old_sha != new_sha:
395             raise ChecksumMismatch(new_sha, old_sha)
396
397     def _header(self):
398         return object_header(self.type, self.raw_length())
399
400     def raw_length(self):
401         """Returns the length of the raw string of this object."""
402         ret = 0
403         for chunk in self.as_raw_chunks():
404             ret += len(chunk)
405         return ret
406
407     def _make_sha(self):
408         ret = make_sha()
409         ret.update(self._header())
410         for chunk in self.as_raw_chunks():
411             ret.update(chunk)
412         return ret
413
414     def sha(self):
415         """The SHA1 object that is the name of this object."""
416         if self._sha is None:
417             # this is a local because as_raw_chunks() overwrites self._sha
418             new_sha = make_sha()
419             new_sha.update(self._header())
420             for chunk in self.as_raw_chunks():
421                 new_sha.update(chunk)
422             self._sha = new_sha
423         return self._sha
424
425     @property
426     def id(self):
427         return self.sha().hexdigest()
428
429     def get_type(self):
430         return self.type_num
431
432     def set_type(self, type):
433         self.type_num = type
434
435     # DEPRECATED: use type_num or type_name as needed.
436     type = property(get_type, set_type)
437
438     def __repr__(self):
439         return "<%s %s>" % (self.__class__.__name__, self.id)
440
441     def __ne__(self, other):
442         return self.id != other.id
443
444     def __eq__(self, other):
445         """Return true if the sha of the two objects match.
446
447         The __le__ etc methods aren't overriden as they make no sense,
448         certainly at this level.
449         """
450         return self.id == other.id
451
452
453 class Blob(ShaFile):
454     """A Git Blob object."""
455
456     type_name = 'blob'
457     type_num = 3
458
459     def __init__(self):
460         super(Blob, self).__init__()
461         self._chunked_text = []
462         self._needs_parsing = False
463         self._needs_serialization = False
464
465     def _get_data(self):
466         return self.as_raw_string()
467
468     def _set_data(self, data):
469         self.set_raw_string(data)
470
471     data = property(_get_data, _set_data,
472                     "The text contained within the blob object.")
473
474     def _get_chunked(self):
475         self._ensure_parsed()
476         return self._chunked_text
477
478     def _set_chunked(self, chunks):
479         self._chunked_text = chunks
480
481     def _serialize(self):
482         if not self._chunked_text:
483             self._ensure_parsed()
484         self._needs_serialization = False
485         return self._chunked_text
486
487     def _deserialize(self, chunks):
488         self._chunked_text = chunks
489
490     chunked = property(_get_chunked, _set_chunked,
491         "The text within the blob object, as chunks (not necessarily lines).")
492
493     @classmethod
494     def from_file(cls, filename):
495         blob = ShaFile.from_file(filename)
496         if not isinstance(blob, cls):
497             raise NotBlobError(filename)
498         return blob
499
500     def check(self):
501         """Check this object for internal consistency.
502
503         :raise ObjectFormatException: if the object is malformed in some way
504         """
505         super(Blob, self).check()
506
507
508 def _parse_tag_or_commit(text):
509     """Parse tag or commit text.
510
511     :param text: the raw text of the tag or commit object.
512     :yield: tuples of (field, value), one per header line, in the order read
513         from the text, possibly including duplicates. Includes a field named
514         None for the freeform tag/commit text.
515     """
516     f = StringIO(text)
517     for l in f:
518         l = l.rstrip("\n")
519         if l == "":
520             # Empty line indicates end of headers
521             break
522         yield l.split(" ", 1)
523     yield (None, f.read())
524     f.close()
525
526
527 def parse_tag(text):
528     return _parse_tag_or_commit(text)
529
530
531 class Tag(ShaFile):
532     """A Git Tag object."""
533
534     type_name = 'tag'
535     type_num = 4
536
537     def __init__(self):
538         super(Tag, self).__init__()
539         self._tag_timezone_neg_utc = False
540
541     @classmethod
542     def from_file(cls, filename):
543         tag = ShaFile.from_file(filename)
544         if not isinstance(tag, cls):
545             raise NotTagError(filename)
546         return tag
547
548     def check(self):
549         """Check this object for internal consistency.
550
551         :raise ObjectFormatException: if the object is malformed in some way
552         """
553         super(Tag, self).check()
554         self._check_has_member("_object_sha", "missing object sha")
555         self._check_has_member("_object_class", "missing object type")
556         self._check_has_member("_name", "missing tag name")
557
558         if not self._name:
559             raise ObjectFormatException("empty tag name")
560
561         check_hexsha(self._object_sha, "invalid object sha")
562
563         if getattr(self, "_tagger", None):
564             check_identity(self._tagger, "invalid tagger")
565
566         last = None
567         for field, _ in parse_tag("".join(self._chunked_text)):
568             if field == _OBJECT_HEADER and last is not None:
569                 raise ObjectFormatException("unexpected object")
570             elif field == _TYPE_HEADER and last != _OBJECT_HEADER:
571                 raise ObjectFormatException("unexpected type")
572             elif field == _TAG_HEADER and last != _TYPE_HEADER:
573                 raise ObjectFormatException("unexpected tag name")
574             elif field == _TAGGER_HEADER and last != _TAG_HEADER:
575                 raise ObjectFormatException("unexpected tagger")
576             last = field
577
578     def _serialize(self):
579         chunks = []
580         chunks.append("%s %s\n" % (_OBJECT_HEADER, self._object_sha))
581         chunks.append("%s %s\n" % (_TYPE_HEADER, self._object_class.type_name))
582         chunks.append("%s %s\n" % (_TAG_HEADER, self._name))
583         if self._tagger:
584             if self._tag_time is None:
585                 chunks.append("%s %s\n" % (_TAGGER_HEADER, self._tagger))
586             else:
587                 chunks.append("%s %s %d %s\n" % (
588                   _TAGGER_HEADER, self._tagger, self._tag_time,
589                   format_timezone(self._tag_timezone,
590                     self._tag_timezone_neg_utc)))
591         chunks.append("\n") # To close headers
592         chunks.append(self._message)
593         return chunks
594
595     def _deserialize(self, chunks):
596         """Grab the metadata attached to the tag"""
597         self._tagger = None
598         for field, value in parse_tag("".join(chunks)):
599             if field == _OBJECT_HEADER:
600                 self._object_sha = value
601             elif field == _TYPE_HEADER:
602                 obj_class = object_class(value)
603                 if not obj_class:
604                     raise ObjectFormatException("Not a known type: %s" % value)
605                 self._object_class = obj_class
606             elif field == _TAG_HEADER:
607                 self._name = value
608             elif field == _TAGGER_HEADER:
609                 try:
610                     sep = value.index("> ")
611                 except ValueError:
612                     self._tagger = value
613                     self._tag_time = None
614                     self._tag_timezone = None
615                     self._tag_timezone_neg_utc = False
616                 else:
617                     self._tagger = value[0:sep+1]
618                     try:
619                         (timetext, timezonetext) = value[sep+2:].rsplit(" ", 1)
620                         self._tag_time = int(timetext)
621                         self._tag_timezone, self._tag_timezone_neg_utc = \
622                                 parse_timezone(timezonetext)
623                     except ValueError, e:
624                         raise ObjectFormatException(e)
625             elif field is None:
626                 self._message = value
627             else:
628                 raise ObjectFormatError("Unknown field %s" % field)
629
630     def _get_object(self):
631         """Get the object pointed to by this tag.
632
633         :return: tuple of (object class, sha).
634         """
635         self._ensure_parsed()
636         return (self._object_class, self._object_sha)
637
638     def _set_object(self, value):
639         self._ensure_parsed()
640         (self._object_class, self._object_sha) = value
641         self._needs_serialization = True
642
643     object = property(_get_object, _set_object)
644
645     name = serializable_property("name", "The name of this tag")
646     tagger = serializable_property("tagger",
647         "Returns the name of the person who created this tag")
648     tag_time = serializable_property("tag_time",
649         "The creation timestamp of the tag.  As the number of seconds since the epoch")
650     tag_timezone = serializable_property("tag_timezone",
651         "The timezone that tag_time is in.")
652     message = serializable_property("message", "The message attached to this tag")
653
654
655 def parse_tree(text):
656     """Parse a tree text.
657
658     :param text: Serialized text to parse
659     :yields: tuples of (name, mode, sha)
660     """
661     count = 0
662     l = len(text)
663     while count < l:
664         mode_end = text.index(' ', count)
665         mode = int(text[count:mode_end], 8)
666         name_end = text.index('\0', mode_end)
667         name = text[mode_end+1:name_end]
668         count = name_end+21
669         sha = text[name_end+1:count]
670         yield (name, mode, sha_to_hex(sha))
671
672
673 def serialize_tree(items):
674     """Serialize the items in a tree to a text.
675
676     :param items: Sorted iterable over (name, mode, sha) tuples
677     :return: Serialized tree text as chunks
678     """
679     for name, mode, hexsha in items:
680         yield "%04o %s\0%s" % (mode, name, hex_to_sha(hexsha))
681
682
683 def sorted_tree_items(entries):
684     """Iterate over a tree entries dictionary in the order in which 
685     the items would be serialized.
686
687     :param entries: Dictionary mapping names to (mode, sha) tuples
688     :return: Iterator over (name, mode, sha)
689     """
690     for name, entry in sorted(entries.iteritems(), cmp=cmp_entry):
691         yield name, entry[0], entry[1]
692
693
694 def cmp_entry((name1, value1), (name2, value2)):
695     """Compare two tree entries."""
696     if stat.S_ISDIR(value1[0]):
697         name1 += "/"
698     if stat.S_ISDIR(value2[0]):
699         name2 += "/"
700     return cmp(name1, name2)
701
702
703 class Tree(ShaFile):
704     """A Git tree object"""
705
706     type_name = 'tree'
707     type_num = 2
708
709     def __init__(self):
710         super(Tree, self).__init__()
711         self._entries = {}
712
713     @classmethod
714     def from_file(cls, filename):
715         tree = ShaFile.from_file(filename)
716         if not isinstance(tree, cls):
717             raise NotTreeError(filename)
718         return tree
719
720     def __contains__(self, name):
721         self._ensure_parsed()
722         return name in self._entries
723
724     def __getitem__(self, name):
725         self._ensure_parsed()
726         return self._entries[name]
727
728     def __setitem__(self, name, value):
729         assert isinstance(value, tuple)
730         assert len(value) == 2
731         self._ensure_parsed()
732         self._entries[name] = value
733         self._needs_serialization = True
734
735     def __delitem__(self, name):
736         self._ensure_parsed()
737         del self._entries[name]
738         self._needs_serialization = True
739
740     def __len__(self):
741         self._ensure_parsed()
742         return len(self._entries)
743
744     def __iter__(self):
745         self._ensure_parsed()
746         return iter(self._entries)
747
748     def add(self, mode, name, hexsha):
749         assert type(mode) == int
750         assert type(name) == str
751         assert type(hexsha) == str
752         self._ensure_parsed()
753         self._entries[name] = mode, hexsha
754         self._needs_serialization = True
755
756     def entries(self):
757         """Return a list of tuples describing the tree entries"""
758         self._ensure_parsed()
759         # The order of this is different from iteritems() for historical
760         # reasons
761         return [
762             (mode, name, hexsha) for (name, mode, hexsha) in self.iteritems()]
763
764     def iteritems(self):
765         """Iterate over entries in the order in which they would be serialized.
766
767         :return: Iterator over (name, mode, sha) tuples
768         """
769         self._ensure_parsed()
770         return sorted_tree_items(self._entries)
771
772     def _deserialize(self, chunks):
773         """Grab the entries in the tree"""
774         try:
775             parsed_entries = parse_tree("".join(chunks))
776         except ValueError, e:
777             raise ObjectFormatException(e)
778         # TODO: list comprehension is for efficiency in the common (small) case;
779         # if memory efficiency in the large case is a concern, use a genexp.
780         self._entries = dict([(n, (m, s)) for n, m, s in parsed_entries])
781
782     def check(self):
783         """Check this object for internal consistency.
784
785         :raise ObjectFormatException: if the object is malformed in some way
786         """
787         super(Tree, self).check()
788         last = None
789         allowed_modes = (stat.S_IFREG | 0755, stat.S_IFREG | 0644,
790                          stat.S_IFLNK, stat.S_IFDIR, S_IFGITLINK,
791                          # TODO: optionally exclude as in git fsck --strict
792                          stat.S_IFREG | 0664)
793         for name, mode, sha in parse_tree("".join(self._chunked_text)):
794             check_hexsha(sha, 'invalid sha %s' % sha)
795             if '/' in name or name in ('', '.', '..'):
796                 raise ObjectFormatException('invalid name %s' % name)
797
798             if mode not in allowed_modes:
799                 raise ObjectFormatException('invalid mode %06o' % mode)
800
801             entry = (name, (mode, sha))
802             if last:
803                 if cmp_entry(last, entry) > 0:
804                     raise ObjectFormatException('entries not sorted')
805                 if name == last[0]:
806                     raise ObjectFormatException('duplicate entry %s' % name)
807             last = entry
808
809     def _serialize(self):
810         return list(serialize_tree(self.iteritems()))
811
812     def as_pretty_string(self):
813         text = []
814         for name, mode, hexsha in self.iteritems():
815             if mode & stat.S_IFDIR:
816                 kind = "tree"
817             else:
818                 kind = "blob"
819             text.append("%04o %s %s\t%s\n" % (mode, kind, hexsha, name))
820         return "".join(text)
821
822
823 def parse_timezone(text):
824     offset = int(text)
825     negative_utc = (offset == 0 and text[0] == '-')
826     signum = (offset < 0) and -1 or 1
827     offset = abs(offset)
828     hours = int(offset / 100)
829     minutes = (offset % 100)
830     return signum * (hours * 3600 + minutes * 60), negative_utc
831
832
833 def format_timezone(offset, negative_utc=False):
834     if offset % 60 != 0:
835         raise ValueError("Unable to handle non-minute offset.")
836     if offset < 0 or (offset == 0 and negative_utc):
837         sign = '-'
838     else:
839         sign = '+'
840     offset = abs(offset)
841     return '%c%02d%02d' % (sign, offset / 3600, (offset / 60) % 60)
842
843
844 def parse_commit(text):
845     return _parse_tag_or_commit(text)
846
847
848 class Commit(ShaFile):
849     """A git commit object"""
850
851     type_name = 'commit'
852     type_num = 1
853
854     def __init__(self):
855         super(Commit, self).__init__()
856         self._parents = []
857         self._encoding = None
858         self._extra = {}
859         self._author_timezone_neg_utc = False
860         self._commit_timezone_neg_utc = False
861
862     @classmethod
863     def from_file(cls, filename):
864         commit = ShaFile.from_file(filename)
865         if not isinstance(commit, cls):
866             raise NotCommitError(filename)
867         return commit
868
869     def _deserialize(self, chunks):
870         self._parents = []
871         self._extra = []
872         self._author = None
873         for field, value in parse_commit("".join(self._chunked_text)):
874             if field == _TREE_HEADER:
875                 self._tree = value
876             elif field == _PARENT_HEADER:
877                 self._parents.append(value)
878             elif field == _AUTHOR_HEADER:
879                 self._author, timetext, timezonetext = value.rsplit(" ", 2)
880                 self._author_time = int(timetext)
881                 self._author_timezone, self._author_timezone_neg_utc =\
882                     parse_timezone(timezonetext)
883             elif field == _COMMITTER_HEADER:
884                 self._committer, timetext, timezonetext = value.rsplit(" ", 2)
885                 self._commit_time = int(timetext)
886                 self._commit_timezone, self._commit_timezone_neg_utc =\
887                     parse_timezone(timezonetext)
888             elif field == _ENCODING_HEADER:
889                 self._encoding = value
890             elif field is None:
891                 self._message = value
892             else:
893                 self._extra.append((field, value))
894
895     def check(self):
896         """Check this object for internal consistency.
897
898         :raise ObjectFormatException: if the object is malformed in some way
899         """
900         super(Commit, self).check()
901         self._check_has_member("_tree", "missing tree")
902         self._check_has_member("_author", "missing author")
903         self._check_has_member("_committer", "missing committer")
904         # times are currently checked when set
905
906         for parent in self._parents:
907             check_hexsha(parent, "invalid parent sha")
908         check_hexsha(self._tree, "invalid tree sha")
909
910         check_identity(self._author, "invalid author")
911         check_identity(self._committer, "invalid committer")
912
913         last = None
914         for field, _ in parse_commit("".join(self._chunked_text)):
915             if field == _TREE_HEADER and last is not None:
916                 raise ObjectFormatException("unexpected tree")
917             elif field == _PARENT_HEADER and last not in (_PARENT_HEADER,
918                                                           _TREE_HEADER):
919                 raise ObjectFormatException("unexpected parent")
920             elif field == _AUTHOR_HEADER and last not in (_TREE_HEADER,
921                                                           _PARENT_HEADER):
922                 raise ObjectFormatException("unexpected author")
923             elif field == _COMMITTER_HEADER and last != _AUTHOR_HEADER:
924                 raise ObjectFormatException("unexpected committer")
925             elif field == _ENCODING_HEADER and last != _COMMITTER_HEADER:
926                 raise ObjectFormatException("unexpected encoding")
927             last = field
928
929         # TODO: optionally check for duplicate parents
930
931     def _serialize(self):
932         chunks = []
933         chunks.append("%s %s\n" % (_TREE_HEADER, self._tree))
934         for p in self._parents:
935             chunks.append("%s %s\n" % (_PARENT_HEADER, p))
936         chunks.append("%s %s %s %s\n" % (
937           _AUTHOR_HEADER, self._author, str(self._author_time),
938           format_timezone(self._author_timezone,
939                           self._author_timezone_neg_utc)))
940         chunks.append("%s %s %s %s\n" % (
941           _COMMITTER_HEADER, self._committer, str(self._commit_time),
942           format_timezone(self._commit_timezone,
943                           self._commit_timezone_neg_utc)))
944         if self.encoding:
945             chunks.append("%s %s\n" % (_ENCODING_HEADER, self.encoding))
946         for k, v in self.extra:
947             if "\n" in k or "\n" in v:
948                 raise AssertionError("newline in extra data: %r -> %r" % (k, v))
949             chunks.append("%s %s\n" % (k, v))
950         chunks.append("\n") # There must be a new line after the headers
951         chunks.append(self._message)
952         return chunks
953
954     tree = serializable_property("tree", "Tree that is the state of this commit")
955
956     def _get_parents(self):
957         """Return a list of parents of this commit."""
958         self._ensure_parsed()
959         return self._parents
960
961     def _set_parents(self, value):
962         """Set a list of parents of this commit."""
963         self._ensure_parsed()
964         self._needs_serialization = True
965         self._parents = value
966
967     parents = property(_get_parents, _set_parents)
968
969     def _get_extra(self):
970         """Return extra settings of this commit."""
971         self._ensure_parsed()
972         return self._extra
973
974     extra = property(_get_extra)
975
976     author = serializable_property("author",
977         "The name of the author of the commit")
978
979     committer = serializable_property("committer",
980         "The name of the committer of the commit")
981
982     message = serializable_property("message",
983         "The commit message")
984
985     commit_time = serializable_property("commit_time",
986         "The timestamp of the commit. As the number of seconds since the epoch.")
987
988     commit_timezone = serializable_property("commit_timezone",
989         "The zone the commit time is in")
990
991     author_time = serializable_property("author_time",
992         "The timestamp the commit was written. as the number of seconds since the epoch.")
993
994     author_timezone = serializable_property("author_timezone",
995         "Returns the zone the author time is in.")
996
997     encoding = serializable_property("encoding",
998         "Encoding of the commit message.")
999
1000
1001 OBJECT_CLASSES = (
1002     Commit,
1003     Tree,
1004     Blob,
1005     Tag,
1006     )
1007
1008 _TYPE_MAP = {}
1009
1010 for cls in OBJECT_CLASSES:
1011     _TYPE_MAP[cls.type_name] = cls
1012     _TYPE_MAP[cls.type_num] = cls
1013
1014
1015
1016 # Hold on to the pure-python implementations for testing
1017 _parse_tree_py = parse_tree
1018 _sorted_tree_items_py = sorted_tree_items
1019 try:
1020     # Try to import C versions
1021     from dulwich._objects import parse_tree, sorted_tree_items
1022 except ImportError:
1023     pass