lib/testtools/NEWS

   1 testtools NEWS
   2 ++++++++++++++
   3
   4 NEXT
   5 ~~~~
   6
   7 Improvements
   8 ------------
   9
  10 * Code duplication between assertEqual and the matcher Equals has been removed.
  11
  12 * In normal circumstances, a TestCase will no longer share details with clones
  13   of itself. (Andrew Bennetts, bug #637725)
  14
  15
  16 0.9.6
  17 ~~~~~
  18
  19 Nothing major in this release, just enough small bits and pieces to make it
  20 useful enough to upgrade to.
  21
  22 In particular, a serious bug in assertThat() has been fixed, it's easier to
  23 write Matchers, there's a TestCase.patch() method for those inevitable monkey
  24 patches and TestCase.assertEqual gives slightly nicer errors.
  25
  26 Improvements
  27 ------------
  28
  29 * 'TestCase.assertEqual' now formats errors a little more nicely, in the
  30   style of bzrlib.
  31
  32 * Added `PlaceHolder` and `ErrorHolder`, TestCase-like objects that can be
  33   used to add results to a `TestResult`.
  34
  35 * 'Mismatch' now takes optional description and details parameters, so
  36   custom Matchers aren't compelled to make their own subclass.
  37
  38 * jml added a built-in UTF8_TEXT ContentType to make it slightly easier to
  39   add details to test results. See bug #520044.
  40
  41 * Fix a bug in our built-in matchers where assertThat would blow up if any
  42   of them failed. All built-in mismatch objects now provide get_details().
  43
  44 * New 'Is' matcher, which lets you assert that a thing is identical to
  45   another thing.
  46
  47 * New 'LessThan' matcher which lets you assert that a thing is less than
  48   another thing.
  49
  50 * TestCase now has a 'patch()' method to make it easier to monkey-patching
  51   objects in tests. See the manual for more information. Fixes bug #310770.
  52
  53 * MultiTestResult methods now pass back return values from the results it
  54   forwards to.
  55
  56 0.9.5
  57 ~~~~~
  58
  59 This release fixes some obscure traceback formatting issues that probably
  60 weren't affecting you but were certainly breaking our own test suite.
  61
  62 Changes
  63 -------
  64
  65 * Jamu Kakar has updated classes in testtools.matchers and testtools.runtest
  66   to be new-style classes, fixing bug #611273.
  67
  68 Improvements
  69 ------------
  70
  71 * Martin[gz] fixed traceback handling to handle cases where extract_tb returns
  72   a source line of None. Fixes bug #611307.
  73
  74 * Martin[gz] fixed an unicode issue that was causing the tests to fail,
  75   closing bug #604187.
  76
  77 * testtools now handles string exceptions (although why would you want to use
  78   them?) and formats their tracebacks correctly. Thanks to Martin[gz] for
  79   fixing bug #592262.
  80
  81 0.9.4
  82 ~~~~~
  83
  84 This release overhauls the traceback formatting layer to deal with Python 2
  85 line numbers and traceback objects often being local user encoded strings
  86 rather than unicode objects. Test discovery has also been added and Python 3.1
  87 is also supported. Finally, the Mismatch protocol has been extended to let
  88 Matchers collaborate with tests in supplying detailed data about failures.
  89
  90 Changes
  91 -------
  92
  93 * testtools.utils has been renamed to testtools.compat. Importing
  94   testtools.utils will now generate a deprecation warning.
  95
  96 Improvements
  97 ------------
  98
  99 * Add machinery for Python 2 to create unicode tracebacks like those used by
 100   Python 3. This means testtools no longer throws on encountering non-ascii
 101   filenames, source lines, or exception strings when displaying test results.
 102   Largely contributed by Martin[gz] with some tweaks from Robert Collins.
 103
 104 * James Westby has supplied test discovery support using the Python 2.7
 105   TestRunner in testtools.run. This requires the 'discover' module. This
 106   closes bug #250764.
 107
 108 * Python 3.1 is now supported, thanks to Martin[gz] for a partial patch.
 109   This fixes bug #592375.
 110
 111 * TestCase.addCleanup has had its docstring corrected about when cleanups run.
 112
 113 * TestCase.skip is now deprecated in favour of TestCase.skipTest, which is the
 114   Python2.7 spelling for skip. This closes bug #560436.
 115
 116 * Tests work on IronPython patch from Martin[gz] applied.
 117
 118 * Thanks to a patch from James Westby testtools.matchers.Mismatch can now
 119   supply a get_details method, which assertThat will query to provide
 120   additional attachments. This can be used to provide additional detail
 121   about the mismatch that doesn't suite being included in describe(). For
 122   instance, if the match process was complex, a log of the process could be
 123   included, permitting debugging.
 124
 125 * testtools.testresults.real._StringException will now answer __str__ if its
 126   value is unicode by encoding with UTF8, and vice versa to answer __unicode__.
 127   This permits subunit decoded exceptions to contain unicode and still format
 128   correctly.
 129
 130 0.9.3
 131 ~~~~~
 132
 133 More matchers, Python 2.4 support, faster test cloning by switching to copy
 134 rather than deepcopy and better output when exceptions occur in cleanups are
 135 the defining characteristics of this release.
 136
 137 Improvements
 138 ------------
 139
 140 * New matcher "Annotate" that adds a simple string message to another matcher,
 141   much like the option 'message' parameter to standard library assertFoo
 142   methods.
 143
 144 * New matchers "Not" and "MatchesAll". "Not" will invert another matcher, and
 145   "MatchesAll" that needs a successful match for all of its arguments.
 146
 147 * On Python 2.4, where types.FunctionType cannot be deepcopied, testtools will
 148   now monkeypatch copy._deepcopy_dispatch using the same trivial patch that
 149   added such support to Python 2.5. The monkey patch is triggered by the
 150   absence of FunctionType from the dispatch dict rather than a version check.
 151   Bug #498030.
 152
 153 * On windows the test 'test_now_datetime_now' should now work reliably.
 154
 155 * TestCase.getUniqueInteger and TestCase.getUniqueString now have docstrings.
 156
 157 * TestCase.getUniqueString now takes an optional prefix parameter, so you can
 158   now use it in circumstances that forbid strings with '.'s, and such like.
 159
 160 * testtools.testcase.clone_test_with_new_id now uses copy.copy, rather than
 161   copy.deepcopy. Tests that need a deeper copy should use the copy protocol to
 162   control how they are copied. Bug #498869.
 163
 164 * The backtrace test result output tests should now pass on windows and other
 165   systems where os.sep is not '/'.
 166
 167 * When a cleanUp or tearDown exception occurs, it is now accumulated as a new
 168   traceback in the test details, rather than as a separate call to addError /
 169   addException. This makes testtools work better with most TestResult objects
 170   and fixes bug #335816.
 171
 172
 173 0.9.2
 174 ~~~~~
 175
 176 Python 3 support, more matchers and better consistency with Python 2.7 --
 177 you'd think that would be enough for a point release. Well, we here on the
 178 testtools project think that you deserve more.
 179
 180 We've added a hook so that user code can be called just-in-time whenever there
 181 is an exception, and we've also factored out the "run" logic of test cases so
 182 that new outcomes can be added without fiddling with the actual flow of logic.
 183
 184 It might sound like small potatoes, but it's changes like these that will
 185 bring about the end of test frameworks.
 186
 187
 188 Improvements
 189 ------------
 190
 191 * A failure in setUp and tearDown now report as failures not as errors.
 192
 193 * Cleanups now run after tearDown to be consistent with Python 2.7's cleanup
 194   feature.
 195
 196 * ExtendedToOriginalDecorator now passes unrecognised attributes through
 197   to the decorated result object, permitting other extensions to the
 198   TestCase -> TestResult protocol to work.
 199
 200 * It is now possible to trigger code just-in-time after an exception causes
 201   a test outcome such as failure or skip. See the testtools MANUAL or
 202   ``pydoc testtools.TestCase.addOnException``. (bug #469092)
 203
 204 * New matcher Equals which performs a simple equality test.
 205
 206 * New matcher MatchesAny which looks for a match of any of its arguments.
 207
 208 * TestCase no longer breaks if a TestSkipped exception is raised with no
 209   parameters.
 210
 211 * TestCase.run now clones test cases before they are run and runs the clone.
 212   This reduces memory footprint in large test runs - state accumulated on
 213   test objects during their setup and execution gets freed when test case
 214   has finished running unless the TestResult object keeps a reference.
 215   NOTE: As test cloning uses deepcopy, this can potentially interfere if
 216   a test suite has shared state (such as the testscenarios or testresources
 217   projects use).  Use the __deepcopy__ hook to control the copying of such
 218   objects so that the shared references stay shared.
 219
 220 * Testtools now accepts contributions without copyright assignment under some
 221   circumstances. See HACKING for details.
 222
 223 * Testtools now provides a convenient way to run a test suite using the
 224   testtools result object: python -m testtools.run testspec [testspec...].
 225
 226 * Testtools now works on Python 3, thanks to Benjamin Peterson.
 227
 228 * Test execution now uses a separate class, testtools.RunTest to run single
 229   tests. This can be customised and extended in a more consistent fashion than
 230   the previous run method idiom. See pydoc for more information.
 231
 232 * The test doubles that testtools itself uses are now available as part of
 233   the testtools API in testtols.testresult.doubles.
 234
 235 * TracebackContent now sets utf8 as the charset encoding, rather than not
 236   setting one and encoding with the default encoder.
 237
 238 * With python2.7 testtools.TestSkipped will be the unittest.case.SkipTest
 239   exception class making skips compatible with code that manually raises the
 240   standard library exception. (bug #490109)
 241
 242 Changes
 243 -------
 244
 245 * TestCase.getUniqueInteger is now implemented using itertools.count. Thanks
 246   to Benjamin Peterson for the patch. (bug #490111)
 247
 248
 249 0.9.1
 250 ~~~~~
 251
 252 The new matcher API introduced in 0.9.0 had a small flaw where the matchee
 253 would be evaluated twice to get a description of the mismatch. This could lead
 254 to bugs if the act of matching caused side effects to occur in the matchee.
 255 Since having such side effects isn't desirable, we have changed the API now
 256 before it has become widespread.
 257
 258 Changes
 259 -------
 260
 261 * Matcher API changed to avoid evaluating matchee twice. Please consult
 262   the API documentation.
 263
 264 * TestCase.getUniqueString now uses the test id, not the test method name,
 265   which works nicer with parameterised tests.
 266
 267 Improvements
 268 ------------
 269
 270 * Python2.4 is now supported again.
 271
 272
 273 0.9.0
 274 ~~~~~
 275
 276 This release of testtools is perhaps the most interesting and exciting one
 277 it's ever had. We've continued in bringing together the best practices of unit
 278 testing from across a raft of different Python projects, but we've also
 279 extended our mission to incorporating unit testing concepts from other
 280 languages and from our own research, led by Robert Collins.
 281
 282 We now support skipping and expected failures. We'll make sure that you
 283 up-call setUp and tearDown, avoiding unexpected testing weirdnesses. We're
 284 now compatible with Python 2.5, 2.6 and 2.7 unittest library.
 285
 286 All in all, if you are serious about unit testing and want to get the best
 287 thinking from the whole Python community, you should get this release.
 288
 289 Improvements
 290 ------------
 291
 292 * A new TestResult API has been added for attaching details to test outcomes.
 293   This API is currently experimental, but is being prepared with the intent
 294   of becoming an upstream Python API. For more details see pydoc
 295   testtools.TestResult and the TestCase addDetail / getDetails methods.
 296
 297 * assertThat has been added to TestCase. This new assertion supports
 298   a hamcrest-inspired matching protocol. See pydoc testtools.Matcher for
 299   details about writing matchers, and testtools.matchers for the included
 300   matchers. See http://code.google.com/p/hamcrest/.
 301
 302 * Compatible with Python 2.6 and Python 2.7
 303
 304 * Failing to upcall in setUp or tearDown will now cause a test failure.
 305   While the base methods do nothing, failing to upcall is usually a problem
 306   in deeper hierarchies, and checking that the root method is called is a
 307   simple way to catch this common bug.
 308
 309 * New TestResult decorator ExtendedToOriginalDecorator which handles
 310   downgrading extended API calls like addSkip to older result objects that
 311   do not support them. This is used internally to make testtools simpler but
 312   can also be used to simplify other code built on or for use with testtools.
 313
 314 * New TextTestResult supporting the extended APIs that testtools provides.
 315
 316 * Nose will no longer find 'runTest' tests in classes derived from
 317    testtools.testcase.TestCase (bug #312257).
 318
 319 * Supports the Python 2.7/3.1 addUnexpectedSuccess and addExpectedFailure
 320   TestResult methods, with a support function 'knownFailure' to let tests
 321   trigger these outcomes.
 322
 323 * When using the skip feature with TestResult objects that do not support it
 324   a test success will now be reported. Previously an error was reported but
 325   production experience has shown that this is too disruptive for projects that
 326   are using skips: they cannot get a clean run on down-level result objects.