gss: add some missing GM_USE_MG_CRED checks

GM_USE_MG_CRED allows a mechanism glue credential to be used by a mechanism
without additional wrapping. Although no extant mechanisms use this flag, the
flag had sporadic support in the mechanism glue already. In the interest of
consistency, add missing GM_USE_MG_CRED checks. If this functionality is not
desired, then all checks should be removed.

gss: make krb5 default GSS mech earlier in path

Defensively default to GSS_KRB5_MECHANISM on all calls to
gss_init_sec_context() if mech_type is GSS_C_NO_OID (rather than only on the
first call).

gss: expose gss_destroy_cred()

Build and export gss_destroy_cred(). This permanently destroys the credential,
rather than releasing a handle to it.

gss: merge Apple name helper APIs

Add helper APIs to the mechanism glue from the Apple implementation.
gss_mg_export_name() can be used by a mechanism to create an exported name
(this is used by the future SAnon implementation). _gss_mech_import_name()
allows the mechanism to pass in a list of parsing functions for specific name
tiypes. This commit only adds support to the mechanism glue itself.

gss: merge enhanced Apple mechglue logging

Add _gss_mg_log() and friends for logging from within the mechanism glue and
SPNEGO. These APIs wrap around the libkrb5 logging APIs.

gss: use tail queue instead of singly linked list in mechglue

The GSS mechglue uses singly linked lists for mechanisms and mechanism objects,
to which new entries are inserted at the head. This breaks ordering of
mechanisms specified in OID sets and in /etc/gss/mech, as they will be back to
front. Use a tail queue instead so that new entries are inserted at the end.

base: make heimqueue.h a shared header

Share heimqueue.h between base and asn1, to avoid duplication of code.

gss: mechanism optional interfaces

Make mechanism interfaces that are optional in usage, optional in
implementation, i.e. do not require them to be present when dynamically loading
a mechanism. In order to aid minimal mechanism implementation, more of these
should likely be made optional (this will require an additional check in the
mechglue to return GSS_S_UNAVAILABLE if the function pointer is NULL). This is
left as a future exercise.

gss: use _gss_ntlm_set_keys() in gss_init_sec_context()

DRY: use the _gss_ntlm_set_keys() helper function to initialize the key state
for both initiator and acceptor.

gss: don't provide domain to nsi_probe() in NTLM

_gss_ntlm_accept_sec_context() does not provide the acceptor domain to
nsi_probe(); for consistency, _gss_ntlm_acquire_cred_from() should do that
same. Providing the acceptor domain was breaking tests.

Note that the Heimdal NTLM implementation is old and has few consumers (Apple
and Samba use their own implementations). Arguably we should merge the Apple
implementation or remove it.

gss: NTLM nsi_probe returns a krb5, not gss error

The nsi_probe() error code was treated as a GSS error code, rather than a krb5
error. Return a GSS error code, setting the krb5 error in minor_status.

gss: register GSS_KRB5_S error table

The Kerberos GSS mechanism specific error table in gkrb5_err.et was never
registered with libkrb5, so the messages corresponding to those errors would
never be available. Register them with the thread local context used by the
krb5 mechanism.

Windows: Fix type cast warning.

Since at least SDK V6.1 HCRYPTPROV has been specified as ULONG_PTR
this means that comparing or setting one with NULL causes a cast
warning.

Use an explicit cast from zero to that type.

Update README.md

bx509: Add /, /health for load balancer checking

A HEAD or GET of / or /health will now produce a 200 instead of a 404.

Ideally we should add configuration arguments that would allow /health
to get a token, make a CSR, and test the /bx509 (and/or /bnegotiate)
functionality, that way we'd have a real health check.  For now we defer
that work, as external health monitoring can be done using a simple
script anyways.

bx509: Do not clobber library error info

kdc: add test_token_validator -a option

kdc: implement test_kdc_ca -a option

bx509: Fix CSR authorizer IPC plugin bug

When marking SANs authorized, mark the SAN, not some EKU, authorized!

Add bx509d.8 man page

Document Heimdal's PKIX, kx509, bx509

This reverts commit 5c25450e504f525720b5565f5f6c5367bc238f21.

kdc: link test_token_validator against libgssapi

The Negotiate token validation plugin links against libgssapi, but on macOS the
dynamic linker cannot find it before Heimdal is installed. This causes tests to
fail. Although test_token_validator itself does not require libgsaspi, link
against it so that the test can proceed.

krb5: Do not write start_realm ccconfig twice

bx509: Make test work with older curl versions

The --connect-to option is much nicer and better than --resolve for testing,
but for testing against localhost --resolve is good enough and available in
older versions of curl.

iprop: Use test port for testing

hx509: Better handle OpenSSL diffs in test_req

kdc: Fix build race

bx509: Tolerate older microhttpd versions

bx509: Fix cjwt_token_validator build

bx509: Work around microhttpd bug

hx509: Avoid double-free on CSR parse error

Fix Windows build

kdc: Modernize kx509 logging too

kdc: Fix audit_addkv() typos and reason handling

Now we'll put the "reason=..." last in the log lines and we won't escape
spaces -- just newlines and other control characters.  This makes
reading log lines much easier without complicating parsing of log lines
because interior key=value pairs do get whitespace escaped or removed.

krb5: Fix fcc_open() leak on double-init, and msg

bx509: Add proper logging

kdc: Add missing exports

Revert docs changes for bx509 for now

CVE-2019-14870: Validate client attributes in protocol-transition

Signed-off-by: Isaac Boukris <iboukris@gmail.com>

CVE-2019-14870: Apply forwardable policy in protocol-transition

Signed-off-by: Isaac Boukris <iboukris@gmail.com>

CVE-2019-14870: Always lookup impersonate client in DB

Signed-off-by: Isaac Boukris <iboukris@gmail.com>

kdc: Fix leaks

bx509: CSRF protection for /bnegotiate

kdc: bx509: Do not vend issuer private keys

hx509: private key exclusion options

Add two ways to exclude private keys when dealing with an hx509
certificate store.  One as a load option (load no private keys, never
add private keys), one as a store option (store no private keys).

This is useful for CA code so it can have a single store with the
issuer's credentials _and_ the chain for it, and copy those to a store
with the issued certificate and _not_ accidentally include the issuer's
private key.

It would be much safer still to flip the default for this flag, but that
could break out-of-tree libhx509 dependents.

hx509: Fix unauthorized feature accounting

gss: Fix leak in gss_add_cred_from()

krb5: Fix leak in PKINIT client

krb5: Fix fcc_open() FD leak

gss: fix gss-token accept bug

kadmin: Improve ext_keytab usage

hcrypto: support BCRYPT_HASH_REUSABLE_FLAG

support BCRYPT_HASH_REUSABLE_FLAG in the WinCNG backend on versions of Windows
that support it, to avoid destroying and recreating a hash object

roken: Windows version support helpers

Add helper functions for determining the version of Windows upon which we are
running.

bx509: do not test bx509d if not built

Fix tests/can and tests/kdc

krb5_kdc_process_request() must return 0 when it produces a reply, and only
return non-zero when it could not construct any kind of reply (e.g., ENOMEM, or
-1 if no handler claimed responsibility for the request).

Fix Travis build moar

kdc: Fix JWK key rotation danger

kdc: Fix warnings: fix _kdc_audit_addkv() usage

Fix Travis build

Make krb5_cc_close(ctx, NULL) stop SEGV'ing.

kdc/fast.c: fix leak in unusual error path.

kdc/process.c: add tracing messages.

Document that log level 7 is for tracing.

Reduce older log messages to level 4 and collect some errors.

We take all of the kdc_log() and _kdc_r_log() calls in AS and TGS
and move their log levels down to debugging on the assumption that
our new log line subsumes the "informational" requirements.  We
collect some additional information in the kv-pair "pe-text" which
is like e-text except it is not returned to the client.

Generate a single summary audit line for AS/TGS.

We refactor the code a bit to extend kdc_request_t which until now
was only used for the AS.  We make the structure extensible and
start using it for the TGS as well.  We leave digest and kx509
alone for the time being.

We also define the concept of kv-pairs in our audit trail which
allows us to define a rigorous but extensible format:

type error from-addr client server key1=val1 key2=val2 ...

We stop strnvisx(3)ing logs to FILE: by default.

Our logging framework used to strnvisx(3) each and every line
iff it is written to a FILE.  This is often unhelpful because
the line usually contains a number of elements that have already
been quoted and it makes the logs much more difficult to read in
this case.  An example if krb5_unparse_name() which will already
quote most characters that one cares about.

We change the behaviour to simply drop unprintable characters
rather than encoding them.  We thus rely on the rest of the
code to properly encode data elements written into the logs.

Add bx509d

kx509: Add desired_life to Kx509CSRPlus

hx509: keep track of authorized CSR features

This commit adds a few functions for marking KU, EKUs, and SANs as
authorized, and for getting a count of unsupported certificate
extensions requested, and a count of authorized KU/EKUs/SANs.

The intent is to make it easier to build CSR authorization and CA code
that is robust in the face of future support for certificate extensions
and SAN types not currently supported.  An application could parse a
CSR, iterate all KU/EKUs/SANs, check a subject's authorization to them,
mark them authorized where authorized, then check if there are any
remaining unauthorized extensions or unsupported extensions requested.

Ultimately, if a CSR's KU/EKUs/SANs are all authorized, then they can
all be copied to a TBS, and a certificate can be issued.

hxtool: fix leak

hxtool: add cert type: https-negotiate-server

roken: add rkbase64 noinst program

This will be useful in tests.

roken: fix leak in roken_detach_prep()

kuser/kx509.c: Fix add1_2chain.

lib/krb5/kx509.c: fix memory leak in an error case.

Fix windows build

In 0cc708ba36, we removed the definition of id-ms-client-authentication
without a corresponding removal from lib/asn1/libasn1-exports.def.

Maybe we should generate lib*-exports.def?

Add enforce_ok_as_delegate setting

If this flag is set to true, then GSSAPI credential delegation will
be disabled when the "ok-as-delegate" flag is not set in the service
ticket.

disable test_cc on Windows

disable test-detach on Windows

Don't build the docs on appveyor

Stop stuttering in libkrb5-exports.def.in

Declare variables at the beginning of a block.

Looks like this fixes the Appveyor build.

w32-check-exported-symbols: Eliminate perl warning

This will become fatal in the next version of Perl, so we need
to eliminate it now.

Update .gitignore to catch more test remains

hx509: Show query expression parse errors

asn1: Add der_find_or_parse_heim_oid()

asn1: Remove alias of id-kp-clientAuth

gssapi: Import elric1's gss-token

roken: Add rkvis program for test scripts

This will help programs that need to URL-escape strings.

Also, this changes `do_hvis()` to not fallback on `do_svis()` for chars in
`extra` -- that `do_hvis()` was doing that seems like an oversight.  Christos
Zoulas, of NetBSD, agrees.  `do_hvis()` still falls back on `do_svis()` for
characters not in the RFC 1808 / 3986 to-be-escaped set *and* characters not in
the `extra` set -- that much seems to have been the intent.

roken: base64: set errno on decode errors

include <sys/exec_elf.h> if it's available.

This fixes the auxval logic on NetBSD.

krb5: disable automatic kx509 by default

Add an "EFILE:" target for logging.

This target will write to a file IFF it exists.

Make logging path definitions subject to token expansion.

Define a token expansion for %{strftime:<string>}.

derived keys: ensure that princ is correct

We copy the princ in the hdb_entry so that if it is later used, it
will reflect what we want.

kx509: Fix uninitalized ret var use

hx509: Add hx509_ca_tbs_get_name()

This is so we can check if a TBS gets an empty subject name, then refuse
to issue the certificate if it doesn't also have at least one SAN.

Handle partial writes on non-blocking sockets

Now that we're using krb5_net_write() with non-blocking sockets in
ipropd_master, we MUST correctly account for partial writes.

Therefore, roken net_write() called from krb5_net_write() now
returns the number of bytes written when the socket error was
EWOULDBLOCK (or EAGAIN).

Also, fix potential issue on Windows, where errno was used instead
of rk_SOCKET_ERRNO whether or not we used _write() or send().

hx509: fix hx509_request_get_eku()