The Subunit Python test runner ``python -m subunit.run`` can now report the
[third_party/subunit] / NEWS
1 ---------------------
2 subunit release notes
3 ---------------------
4
5 NEXT (In development)
6 ---------------------
7
8 The Subunit Python test runner ``python -m subunit.run`` can now report the
9 test ids and also filter via a test id list file thanks to improvements in
10 ``testtools.run``. See the testtools manual, or testrepository - a major
11 user of such functionality.
12
13 IMPROVEMENTS
14 ~~~~~~~~~~~~
15
16 * The ``subunit.run`` Python module supports ``-l`` and ``--load-list`` as
17   per ``testtools.run``. This required a dependency bump due to a small
18   API change in ``testtools``. (Robert Collins)
19
20
21 0.0.6
22 -----
23
24 This release of subunit fixes a number of unicode related bugs. This depends on
25 testtools 0.9.4 and will not function without it. Thanks to Tres Seaver there
26 is also an optional native setup.py file for use with easy_install and the
27 like.
28
29 BUG FIXES
30 ~~~~~~~~~
31
32 * Be consistent about delivering unicode content to testtools StringException
33   class which has become (appropriately) conservative. (Robert Collins)
34
35 * Fix incorrect reference to subunit_test_failf in c/README.
36   (Brad Hards, #524341)
37
38 * Fix incorrect ordering of tags method parameters in TestResultDecorator. This
39   is purely cosmetic as the parameters are passed down with no interpretation.
40   (Robert Collins, #537611)
41
42 * Old style tracebacks with no encoding info are now treated as UTF8 rather
43   than some-random-codec-like-ascii. (Robert Collins)
44
45 * On windows, ProtocolTestCase and TestProtocolClient will set their streams to
46   binary mode by calling into msvcrt; this avoids having their input or output
47   mangled by the default line ending translation on that platform.
48   (Robert Collins, Martin [gz], #579296)
49
50 IMPROVEMENTS
51 ~~~~~~~~~~~~
52
53 * Subunit now has a setup.py for python deployments that are not using
54   distribution packages. (Tres Seaver, #538181)
55
56 * Subunit now supports test discovery by building on the testtools support for
57   it. You can take advantage of it with "python -m subunit.run discover [path]"
58   and see "python -m subunit.run discover --help" for more options.
59
60 * Subunit now uses the improved unicode support in testtools when outputting
61   non-details based test information; this should consistently UTF8 encode such
62   strings.
63
64 0.0.5
65 -----
66
67 BUG FIXES
68 ~~~~~~~~~
69
70 * make check was failing if subunit wasn't installed due to a missing include
71   path for the test program test_child.
72
73 * make distcheck was failing due to a missing $(top_srcdir) rune.
74
75 IMPROVEMENTS
76 ~~~~~~~~~~~~
77
78 * New filter `subunit-notify` that will show a notification window with test 
79   statistics when the test run finishes.
80
81 * subunit.run will now pipe its output to the command in the 
82   SUBUNIT_FORMATTER environment variable, if set.
83
84 0.0.4
85 -----
86
87 BUG FIXES
88 ~~~~~~~~~
89
90 * subunit2junitxml -f required a value, this is now fixed and -f acts as a
91   boolean switch with no parameter.
92
93 * Building with autoconf 2.65 is now supported.
94
95
96 0.0.3
97 -----
98
99   CHANGES:
100   
101     * License change, by unanimous agreement of contributors to BSD/Apache
102       License Version 2.0. This makes Subunit compatible with more testing
103       frameworks.
104
105   IMPROVEMENTS:
106
107     * CPPUnit is now directly supported: subunit builds a cppunit listener
108       ``libcppunit-subunit``. 
109
110     * In the python API ``addExpectedFailure`` and ``addUnexpectedSuccess``
111       from python 2.7/3.1 are now supported. ``addExpectedFailure`` is
112       serialised as ``xfail``, and ``addUnexpectedSuccess`` as ``success``.
113       The ``ProtocolTestCase`` parser now calls outcomes using an extended
114       API that permits attaching arbitrary MIME resources such as text files
115       log entries and so on. This extended API is being developed with the
116       Python testing community, and is in flux. ``TestResult`` objects that
117       do not support the API will be detected and transparently downgraded
118       back to the regular Python unittest API.
119
120     * INSTALLDIRS can be set to control the perl MakeMaker 'INSTALLDIRS'
121       viarable when installing.
122
123     * Multipart test outcomes are tentatively supported; the exact protocol
124       for them, both serialiser and object is not yet finalised. Testers and
125       early adopters are sought. As part of this and also in an attempt to
126       provider a more precise focus on the wire protocol and toolchain, 
127       Subunit now depends on testtools (http://launchpad.net/testtools)
128       release 0.9.0 or newer.
129
130     * subunit2junitxml supports a new option, --forward which causes it
131       to forward the raw subunit stream in a similar manner to tee. This
132       is used with the -o option to both write a xml report and get some
133       other subunit filter to process the stream.
134
135     * The C library now has ``subunit_test_skip``.
136
137   BUG FIXES:
138
139     * Install progress_model.py correctly.
140
141     * Non-gcc builds will no longer try to use gcc specific flags.
142       (Thanks trondn-norbye)
143
144   API CHANGES:
145
146   INTERNALS:
147
148 0.0.2
149 -----
150
151   CHANGES:
152
153   IMPROVEMENTS:
154
155     * A number of filters now support ``--no-passthrough`` to cause all
156       non-subunit content to be discarded. This is useful when precise control
157       over what is output is required - such as with subunit2junitxml.
158
159     * A small perl parser is now included, and a new ``subunit-diff`` tool
160       using that is included. (Jelmer Vernooij)
161
162     * Subunit streams can now include optional, incremental lookahead
163       information about progress. This allows reporters to make estimates
164       about completion, when such information is available. See the README
165       under ``progress`` for more details.
166
167     * ``subunit-filter`` now supports regex filtering via ``--with`` and
168       ``without`` options. (Martin Pool)
169
170     * ``subunit2gtk`` has been added, a filter that shows a GTK summary of a
171       test stream.
172
173     * ``subunit2pyunit`` has a --progress flag which will cause the bzrlib
174       test reporter to be used, which has a textual progress bar. This requires
175       a recent bzrlib as a minor bugfix was required in bzrlib to support this.
176
177     * ``subunit2junitxml`` has been added. This filter converts a subunit
178       stream to a single JUnit style XML stream using the pyjunitxml
179       python library.
180
181     * The shell functions support skipping via ``subunit_skip_test`` now.
182
183   BUG FIXES:
184
185     * ``xfail`` outcomes are now passed to python TestResult's via
186       addExpectedFailure if it is present on the TestResult. Python 2.6 and
187       earlier which do not have this function will have ``xfail`` outcomes
188       passed through as success outcomes as earlier versions of subunit did.
189
190   API CHANGES:
191
192     * tags are no longer passed around in python via the ``TestCase.tags``
193       attribute. Instead ``TestResult.tags(new_tags, gone_tags)`` is called,
194       and like in the protocol, if called while a test is active only applies
195       to that test. (Robert Collins)
196
197     * ``TestResultFilter`` takes a new optional constructor parameter 
198       ``filter_predicate``.  (Martin Pool)
199
200     * When a progress: directive is encountered in a subunit stream, the
201       python bindings now call the ``progress(offset, whence)`` method on
202       ``TestResult``.
203
204     * When a time: directive is encountered in a subunit stream, the python
205       bindings now call the ``time(seconds)`` method on ``TestResult``.
206
207   INTERNALS:
208
209     * (python) Added ``subunit.test_results.AutoTimingTestResultDecorator``. Most
210       users of subunit will want to wrap their ``TestProtocolClient`` objects
211       in this decorator to get test timing data for performance analysis.
212
213     * (python) ExecTestCase supports passing arguments to test scripts.
214
215     * (python) New helper ``subunit.test_results.HookedTestResultDecorator``
216       which can be used to call some code on every event, without having to
217       implement all the event methods.
218
219     * (python) ``TestProtocolClient.time(a_datetime)`` has been added which
220       causes a timestamp to be output to the stream.