net/netfilter/nft_lookup.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * Copyright (c) 2009 Patrick McHardy <kaber@trash.net>
   4  *
   5  * Development of this code funded by Astaro AG (http://www.astaro.com/)
   6  */
   7
   8 #include <linux/kernel.h>
   9 #include <linux/init.h>
  10 #include <linux/list.h>
  11 #include <linux/rbtree.h>
  12 #include <linux/netlink.h>
  13 #include <linux/netfilter.h>
  14 #include <linux/netfilter/nf_tables.h>
  15 #include <net/netfilter/nf_tables.h>
  16 #include <net/netfilter/nf_tables_core.h>
  17
  18 struct nft_lookup {
  19         struct nft_set                  *set;
  20         u8                              sreg;
  21         u8                              dreg;
  22         bool                            dreg_set;
  23         bool                            invert;
  24         struct nft_set_binding          binding;
  25 };
  26
  27 #ifdef CONFIG_MITIGATION_RETPOLINE
  28 bool nft_set_do_lookup(const struct net *net, const struct nft_set *set,
  29                        const u32 *key, const struct nft_set_ext **ext)
  30 {
  31         if (set->ops == &nft_set_hash_fast_type.ops)
  32                 return nft_hash_lookup_fast(net, set, key, ext);
  33         if (set->ops == &nft_set_hash_type.ops)
  34                 return nft_hash_lookup(net, set, key, ext);
  35
  36         if (set->ops == &nft_set_rhash_type.ops)
  37                 return nft_rhash_lookup(net, set, key, ext);
  38
  39         if (set->ops == &nft_set_bitmap_type.ops)
  40                 return nft_bitmap_lookup(net, set, key, ext);
  41
  42         if (set->ops == &nft_set_pipapo_type.ops)
  43                 return nft_pipapo_lookup(net, set, key, ext);
  44 #if defined(CONFIG_X86_64) && !defined(CONFIG_UML)
  45         if (set->ops == &nft_set_pipapo_avx2_type.ops)
  46                 return nft_pipapo_avx2_lookup(net, set, key, ext);
  47 #endif
  48
  49         if (set->ops == &nft_set_rbtree_type.ops)
  50                 return nft_rbtree_lookup(net, set, key, ext);
  51
  52         WARN_ON_ONCE(1);
  53         return set->ops->lookup(net, set, key, ext);
  54 }
  55 EXPORT_SYMBOL_GPL(nft_set_do_lookup);
  56 #endif
  57
  58 void nft_lookup_eval(const struct nft_expr *expr,
  59                      struct nft_regs *regs,
  60                      const struct nft_pktinfo *pkt)
  61 {
  62         const struct nft_lookup *priv = nft_expr_priv(expr);
  63         const struct nft_set *set = priv->set;
  64         const struct nft_set_ext *ext = NULL;
  65         const struct net *net = nft_net(pkt);
  66         bool found;
  67
  68         found = nft_set_do_lookup(net, set, &regs->data[priv->sreg], &ext) ^
  69                                   priv->invert;
  70         if (!found) {
  71                 ext = nft_set_catchall_lookup(net, set);
  72                 if (!ext) {
  73                         regs->verdict.code = NFT_BREAK;
  74                         return;
  75                 }
  76         }
  77
  78         if (ext) {
  79                 if (priv->dreg_set)
  80                         nft_data_copy(&regs->data[priv->dreg],
  81                                       nft_set_ext_data(ext), set->dlen);
  82
  83                 nft_set_elem_update_expr(ext, regs, pkt);
  84         }
  85 }
  86
  87 static const struct nla_policy nft_lookup_policy[NFTA_LOOKUP_MAX + 1] = {
  88         [NFTA_LOOKUP_SET]       = { .type = NLA_STRING,
  89                                     .len = NFT_SET_MAXNAMELEN - 1 },
  90         [NFTA_LOOKUP_SET_ID]    = { .type = NLA_U32 },
  91         [NFTA_LOOKUP_SREG]      = { .type = NLA_U32 },
  92         [NFTA_LOOKUP_DREG]      = { .type = NLA_U32 },
  93         [NFTA_LOOKUP_FLAGS]     =
  94                 NLA_POLICY_MASK(NLA_BE32, NFT_LOOKUP_F_INV),
  95 };
  96
  97 static int nft_lookup_init(const struct nft_ctx *ctx,
  98                            const struct nft_expr *expr,
  99                            const struct nlattr * const tb[])
 100 {
 101         struct nft_lookup *priv = nft_expr_priv(expr);
 102         u8 genmask = nft_genmask_next(ctx->net);
 103         struct nft_set *set;
 104         u32 flags;
 105         int err;
 106
 107         if (tb[NFTA_LOOKUP_SET] == NULL ||
 108             tb[NFTA_LOOKUP_SREG] == NULL)
 109                 return -EINVAL;
 110
 111         set = nft_set_lookup_global(ctx->net, ctx->table, tb[NFTA_LOOKUP_SET],
 112                                     tb[NFTA_LOOKUP_SET_ID], genmask);
 113         if (IS_ERR(set))
 114                 return PTR_ERR(set);
 115
 116         err = nft_parse_register_load(tb[NFTA_LOOKUP_SREG], &priv->sreg,
 117                                       set->klen);
 118         if (err < 0)
 119                 return err;
 120
 121         if (tb[NFTA_LOOKUP_FLAGS]) {
 122                 flags = ntohl(nla_get_be32(tb[NFTA_LOOKUP_FLAGS]));
 123
 124                 if (flags & NFT_LOOKUP_F_INV)
 125                         priv->invert = true;
 126         }
 127
 128         if (tb[NFTA_LOOKUP_DREG] != NULL) {
 129                 if (priv->invert)
 130                         return -EINVAL;
 131                 if (!(set->flags & NFT_SET_MAP))
 132                         return -EINVAL;
 133
 134                 err = nft_parse_register_store(ctx, tb[NFTA_LOOKUP_DREG],
 135                                                &priv->dreg, NULL, set->dtype,
 136                                                set->dlen);
 137                 if (err < 0)
 138                         return err;
 139                 priv->dreg_set = true;
 140         } else if (set->flags & NFT_SET_MAP) {
 141                 /* Map given, but user asks for lookup only (i.e. to
 142                  * ignore value assoicated with key).
 143                  *
 144                  * This makes no sense for anonymous maps since they are
 145                  * scoped to the rule, but for named sets this can be useful.
 146                  */
 147                 if (set->flags & NFT_SET_ANONYMOUS)
 148                         return -EINVAL;
 149         }
 150
 151         priv->binding.flags = set->flags & NFT_SET_MAP;
 152
 153         err = nf_tables_bind_set(ctx, set, &priv->binding);
 154         if (err < 0)
 155                 return err;
 156
 157         priv->set = set;
 158         return 0;
 159 }
 160
 161 static void nft_lookup_deactivate(const struct nft_ctx *ctx,
 162                                   const struct nft_expr *expr,
 163                                   enum nft_trans_phase phase)
 164 {
 165         struct nft_lookup *priv = nft_expr_priv(expr);
 166
 167         nf_tables_deactivate_set(ctx, priv->set, &priv->binding, phase);
 168 }
 169
 170 static void nft_lookup_activate(const struct nft_ctx *ctx,
 171                                 const struct nft_expr *expr)
 172 {
 173         struct nft_lookup *priv = nft_expr_priv(expr);
 174
 175         nf_tables_activate_set(ctx, priv->set);
 176 }
 177
 178 static void nft_lookup_destroy(const struct nft_ctx *ctx,
 179                                const struct nft_expr *expr)
 180 {
 181         struct nft_lookup *priv = nft_expr_priv(expr);
 182
 183         nf_tables_destroy_set(ctx, priv->set);
 184 }
 185
 186 static int nft_lookup_dump(struct sk_buff *skb,
 187                            const struct nft_expr *expr, bool reset)
 188 {
 189         const struct nft_lookup *priv = nft_expr_priv(expr);
 190         u32 flags = priv->invert ? NFT_LOOKUP_F_INV : 0;
 191
 192         if (nla_put_string(skb, NFTA_LOOKUP_SET, priv->set->name))
 193                 goto nla_put_failure;
 194         if (nft_dump_register(skb, NFTA_LOOKUP_SREG, priv->sreg))
 195                 goto nla_put_failure;
 196         if (priv->dreg_set)
 197                 if (nft_dump_register(skb, NFTA_LOOKUP_DREG, priv->dreg))
 198                         goto nla_put_failure;
 199         if (nla_put_be32(skb, NFTA_LOOKUP_FLAGS, htonl(flags)))
 200                 goto nla_put_failure;
 201         return 0;
 202
 203 nla_put_failure:
 204         return -1;
 205 }
 206
 207 static int nft_lookup_validate(const struct nft_ctx *ctx,
 208                                const struct nft_expr *expr,
 209                                const struct nft_data **d)
 210 {
 211         const struct nft_lookup *priv = nft_expr_priv(expr);
 212         struct nft_set_iter iter;
 213
 214         if (!(priv->set->flags & NFT_SET_MAP) ||
 215             priv->set->dtype != NFT_DATA_VERDICT)
 216                 return 0;
 217
 218         iter.genmask    = nft_genmask_next(ctx->net);
 219         iter.skip       = 0;
 220         iter.count      = 0;
 221         iter.err        = 0;
 222         iter.fn         = nft_setelem_validate;
 223
 224         priv->set->ops->walk(ctx, priv->set, &iter);
 225         if (!iter.err)
 226                 iter.err = nft_set_catchall_validate(ctx, priv->set);
 227
 228         if (iter.err < 0)
 229                 return iter.err;
 230
 231         return 0;
 232 }
 233
 234 static bool nft_lookup_reduce(struct nft_regs_track *track,
 235                               const struct nft_expr *expr)
 236 {
 237         const struct nft_lookup *priv = nft_expr_priv(expr);
 238
 239         if (priv->set->flags & NFT_SET_MAP)
 240                 nft_reg_track_cancel(track, priv->dreg, priv->set->dlen);
 241
 242         return false;
 243 }
 244
 245 static const struct nft_expr_ops nft_lookup_ops = {
 246         .type           = &nft_lookup_type,
 247         .size           = NFT_EXPR_SIZE(sizeof(struct nft_lookup)),
 248         .eval           = nft_lookup_eval,
 249         .init           = nft_lookup_init,
 250         .activate       = nft_lookup_activate,
 251         .deactivate     = nft_lookup_deactivate,
 252         .destroy        = nft_lookup_destroy,
 253         .dump           = nft_lookup_dump,
 254         .validate       = nft_lookup_validate,
 255         .reduce         = nft_lookup_reduce,
 256 };
 257
 258 struct nft_expr_type nft_lookup_type __read_mostly = {
 259         .name           = "lookup",
 260         .ops            = &nft_lookup_ops,
 261         .policy         = nft_lookup_policy,
 262         .maxattr        = NFTA_LOOKUP_MAX,
 263         .owner          = THIS_MODULE,
 264 };