Documentation/media/uapi/v4l/colorspaces.rst

   1 .. Permission is granted to copy, distribute and/or modify this
   2 .. document under the terms of the GNU Free Documentation License,
   3 .. Version 1.1 or any later version published by the Free Software
   4 .. Foundation, with no Invariant Sections, no Front-Cover Texts
   5 .. and no Back-Cover Texts. A copy of the license is included at
   6 .. Documentation/media/uapi/fdl-appendix.rst.
   7 ..
   8 .. TODO: replace it to GFDL-1.1-or-later WITH no-invariant-sections
   9
  10 .. _colorspaces:
  11
  12 ***********
  13 Colorspaces
  14 ***********
  15
  16 'Color' is a very complex concept and depends on physics, chemistry and
  17 biology. Just because you have three numbers that describe the 'red',
  18 'green' and 'blue' components of the color of a pixel does not mean that
  19 you can accurately display that color. A colorspace defines what it
  20 actually *means* to have an RGB value of e.g. (255, 0, 0). That is,
  21 which color should be reproduced on the screen in a perfectly calibrated
  22 environment.
  23
  24 In order to do that we first need to have a good definition of color,
  25 i.e. some way to uniquely and unambiguously define a color so that
  26 someone else can reproduce it. Human color vision is trichromatic since
  27 the human eye has color receptors that are sensitive to three different
  28 wavelengths of light. Hence the need to use three numbers to describe
  29 color. Be glad you are not a mantis shrimp as those are sensitive to 12
  30 different wavelengths, so instead of RGB we would be using the
  31 ABCDEFGHIJKL colorspace...
  32
  33 Color exists only in the eye and brain and is the result of how strongly
  34 color receptors are stimulated. This is based on the Spectral Power
  35 Distribution (SPD) which is a graph showing the intensity (radiant
  36 power) of the light at wavelengths covering the visible spectrum as it
  37 enters the eye. The science of colorimetry is about the relationship
  38 between the SPD and color as perceived by the human brain.
  39
  40 Since the human eye has only three color receptors it is perfectly
  41 possible that different SPDs will result in the same stimulation of
  42 those receptors and are perceived as the same color, even though the SPD
  43 of the light is different.
  44
  45 In the 1920s experiments were devised to determine the relationship
  46 between SPDs and the perceived color and that resulted in the CIE 1931
  47 standard that defines spectral weighting functions that model the
  48 perception of color. Specifically that standard defines functions that
  49 can take an SPD and calculate the stimulus for each color receptor.
  50 After some further mathematical transforms these stimuli are known as
  51 the *CIE XYZ tristimulus* values and these X, Y and Z values describe a
  52 color as perceived by a human unambiguously. These X, Y and Z values are
  53 all in the range [0…1].
  54
  55 The Y value in the CIE XYZ colorspace corresponds to luminance. Often
  56 the CIE XYZ colorspace is transformed to the normalized CIE xyY
  57 colorspace:
  58
  59 x = X / (X + Y + Z)
  60
  61 y = Y / (X + Y + Z)
  62
  63 The x and y values are the chromaticity coordinates and can be used to
  64 define a color without the luminance component Y. It is very confusing
  65 to have such similar names for these colorspaces. Just be aware that if
  66 colors are specified with lower case 'x' and 'y', then the CIE xyY
  67 colorspace is used. Upper case 'X' and 'Y' refer to the CIE XYZ
  68 colorspace. Also, y has nothing to do with luminance. Together x and y
  69 specify a color, and Y the luminance. That is really all you need to
  70 remember from a practical point of view. At the end of this section you
  71 will find reading resources that go into much more detail if you are
  72 interested.
  73
  74 A monitor or TV will reproduce colors by emitting light at three
  75 different wavelengths, the combination of which will stimulate the color
  76 receptors in the eye and thus cause the perception of color.
  77 Historically these wavelengths were defined by the red, green and blue
  78 phosphors used in the displays. These *color primaries* are part of what
  79 defines a colorspace.
  80
  81 Different display devices will have different primaries and some
  82 primaries are more suitable for some display technologies than others.
  83 This has resulted in a variety of colorspaces that are used for
  84 different display technologies or uses. To define a colorspace you need
  85 to define the three color primaries (these are typically defined as x, y
  86 chromaticity coordinates from the CIE xyY colorspace) but also the white
  87 reference: that is the color obtained when all three primaries are at
  88 maximum power. This determines the relative power or energy of the
  89 primaries. This is usually chosen to be close to daylight which has been
  90 defined as the CIE D65 Illuminant.
  91
  92 To recapitulate: the CIE XYZ colorspace uniquely identifies colors.
  93 Other colorspaces are defined by three chromaticity coordinates defined
  94 in the CIE xyY colorspace. Based on those a 3x3 matrix can be
  95 constructed that transforms CIE XYZ colors to colors in the new
  96 colorspace.
  97
  98 Both the CIE XYZ and the RGB colorspace that are derived from the
  99 specific chromaticity primaries are linear colorspaces. But neither the
 100 eye, nor display technology is linear. Doubling the values of all
 101 components in the linear colorspace will not be perceived as twice the
 102 intensity of the color. So each colorspace also defines a transfer
 103 function that takes a linear color component value and transforms it to
 104 the non-linear component value, which is a closer match to the
 105 non-linear performance of both the eye and displays. Linear component
 106 values are denoted RGB, non-linear are denoted as R'G'B'. In general
 107 colors used in graphics are all R'G'B', except in openGL which uses
 108 linear RGB. Special care should be taken when dealing with openGL to
 109 provide linear RGB colors or to use the built-in openGL support to apply
 110 the inverse transfer function.
 111
 112 The final piece that defines a colorspace is a function that transforms
 113 non-linear R'G'B' to non-linear Y'CbCr. This function is determined by
 114 the so-called luma coefficients. There may be multiple possible Y'CbCr
 115 encodings allowed for the same colorspace. Many encodings of color
 116 prefer to use luma (Y') and chroma (CbCr) instead of R'G'B'. Since the
 117 human eye is more sensitive to differences in luminance than in color
 118 this encoding allows one to reduce the amount of color information
 119 compared to the luma data. Note that the luma (Y') is unrelated to the Y
 120 in the CIE XYZ colorspace. Also note that Y'CbCr is often called YCbCr
 121 or YUV even though these are strictly speaking wrong.
 122
 123 Sometimes people confuse Y'CbCr as being a colorspace. This is not
 124 correct, it is just an encoding of an R'G'B' color into luma and chroma
 125 values. The underlying colorspace that is associated with the R'G'B'
 126 color is also associated with the Y'CbCr color.
 127
 128 The final step is how the RGB, R'G'B' or Y'CbCr values are quantized.
 129 The CIE XYZ colorspace where X, Y and Z are in the range [0…1] describes
 130 all colors that humans can perceive, but the transform to another
 131 colorspace will produce colors that are outside the [0…1] range. Once
 132 clamped to the [0…1] range those colors can no longer be reproduced in
 133 that colorspace. This clamping is what reduces the extent or gamut of
 134 the colorspace. How the range of [0…1] is translated to integer values
 135 in the range of [0…255] (or higher, depending on the color depth) is
 136 called the quantization. This is *not* part of the colorspace
 137 definition. In practice RGB or R'G'B' values are full range, i.e. they
 138 use the full [0…255] range. Y'CbCr values on the other hand are limited
 139 range with Y' using [16…235] and Cb and Cr using [16…240].
 140
 141 Unfortunately, in some cases limited range RGB is also used where the
 142 components use the range [16…235]. And full range Y'CbCr also exists
 143 using the [0…255] range.
 144
 145 In order to correctly interpret a color you need to know the
 146 quantization range, whether it is R'G'B' or Y'CbCr, the used Y'CbCr
 147 encoding and the colorspace. From that information you can calculate the
 148 corresponding CIE XYZ color and map that again to whatever colorspace
 149 your display device uses.
 150
 151 The colorspace definition itself consists of the three chromaticity
 152 primaries, the white reference chromaticity, a transfer function and the
 153 luma coefficients needed to transform R'G'B' to Y'CbCr. While some
 154 colorspace standards correctly define all four, quite often the
 155 colorspace standard only defines some, and you have to rely on other
 156 standards for the missing pieces. The fact that colorspaces are often a
 157 mix of different standards also led to very confusing naming conventions
 158 where the name of a standard was used to name a colorspace when in fact
 159 that standard was part of various other colorspaces as well.
 160
 161 If you want to read more about colors and colorspaces, then the
 162 following resources are useful: :ref:`poynton` is a good practical
 163 book for video engineers, :ref:`colimg` has a much broader scope and
 164 describes many more aspects of color (physics, chemistry, biology,
 165 etc.). The
 166 `http://www.brucelindbloom.com <http://www.brucelindbloom.com>`__
 167 website is an excellent resource, especially with respect to the
 168 mathematics behind colorspace conversions. The wikipedia
 169 `CIE 1931 colorspace <http://en.wikipedia.org/wiki/CIE_1931_color_space#CIE_xy_chromaticity_diagram_and_the_CIE_xyY_color_space>`__
 170 article is also very useful.