s4:samba_dnsupdate: cache the already registered records
[samba.git] / source4 / scripting / bin / samba_dnsupdate
index 9911c6ae26d27cb9a97b559bf6236ae526384b86..9c7c5e232cb62ff329bfe868838f0600bbfb1009 100755 (executable)
@@ -1,4 +1,5 @@
 #!/usr/bin/env python
+# vim: expandtab
 #
 # update our DNS names using TSIG-GSS
 #
@@ -26,13 +27,13 @@ import subprocess
 
 # ensure we get messages out immediately, so they get in the samba logs,
 # and don't get swallowed by a timeout
-os.putenv('PYTHONUNBUFFERED', '1')
+os.environ['PYTHONUNBUFFERED'] = '1'
 
 # forcing GMT avoids a problem in some timezones with kerberos. Both MIT
 # heimdal can get mutual authentication errors due to the 24 second difference
 # between UTC and GMT when using some zone files (eg. the PDT zone from
 # the US)
-os.putenv("TZ", "GMT")
+os.environ["TZ"] = "GMT"
 
 # Find right directory when running from source tree
 sys.path.insert(0, "bin/python")
@@ -46,7 +47,8 @@ from samba.samdb import SamDB
 from samba.dcerpc import netlogon, winbind
 
 samba.ensure_external_module("dns", "dnspython")
-import dns.resolver as resolver
+import dns.resolver
+import dns.exception
 
 default_ttl = 900
 am_rodc = False
@@ -61,7 +63,10 @@ parser.add_option("--all-names", action="store_true")
 parser.add_option("--all-interfaces", action="store_true")
 parser.add_option("--use-file", type="string", help="Use a file, rather than real DNS calls")
 parser.add_option("--update-list", type="string", help="Add DNS names from the given file")
+parser.add_option("--update-cache", type="string", help="Cache database of already registered records")
 parser.add_option("--fail-immediately", action='store_true', help="Exit on first failure")
+parser.add_option("--no-credentials", dest='nocreds', action='store_true', help="don't try and get credentials")
+parser.add_option("--no-substiutions", dest='nosubs', action='store_true', help="don't try and expands variables in file specified by --update-list")
 
 creds = None
 ccachename = None
@@ -88,12 +93,21 @@ if len(IPs) == 0:
     print "No IP interfaces - skipping DNS updates"
     sys.exit(0)
 
+IP6s = []
+IP4s = []
+for i in IPs:
+    if i.find(':') != -1:
+        IP6s.append(i)
+    else:
+        IP4s.append(i)
+
+
 if opts.verbose:
     print "IPs: %s" % IPs
 
-########################################################
-# get credentials if we haven't got them already
+
 def get_credentials(lp):
+    """# get credentials if we haven't got them already."""
     from samba import credentials
     global ccachename, creds
     if creds is not None:
@@ -103,66 +117,83 @@ def get_credentials(lp):
     creds.set_machine_account(lp)
     creds.set_krb_forwardable(credentials.NO_KRB_FORWARDABLE)
     (tmp_fd, ccachename) = tempfile.mkstemp()
-    creds.get_named_ccache(lp, ccachename)
+    try:
+        creds.get_named_ccache(lp, ccachename)
+    except RuntimeError as e:
+        os.unlink(ccachename)
+        raise e
 
 
-#############################################
-# an object to hold a parsed DNS line
 class dnsobj(object):
+    """an object to hold a parsed DNS line"""
+
     def __init__(self, string_form):
         list = string_form.split()
+        if len(list) < 3:
+            raise Exception("Invalid DNS entry %r" % string_form)
         self.dest = None
         self.port = None
         self.ip = None
         self.existing_port = None
         self.existing_weight = None
         self.type = list[0]
-        self.name = list[1].lower()
+        self.name = list[1]
         if self.type == 'SRV':
-            self.dest = list[2].lower()
+            if len(list) < 4:
+                raise Exception("Invalid DNS entry %r" % string_form)
+            self.dest = list[2]
             self.port = list[3]
-        elif self.type == 'A':
+        elif self.type in ['A', 'AAAA']:
             self.ip   = list[2] # usually $IP, which gets replaced
         elif self.type == 'CNAME':
-            self.dest = list[2].lower()
+            self.dest = list[2]
+        elif self.type == 'NS':
+            self.dest = list[2]
         else:
-            print "Received unexpected DNS reply of type %s" % self.type
-            raise
+            raise Exception("Received unexpected DNS reply of type %s: %s" % (self.type, string_form))
 
     def __str__(self):
-        if d.type == "A":     return "%s %s %s" % (self.type, self.name, self.ip)
-        if d.type == "SRV":   return "%s %s %s %s" % (self.type, self.name, self.dest, self.port)
-        if d.type == "CNAME": return "%s %s %s" % (self.type, self.name, self.dest)
+        if self.type == "A":
+            return "%s %s %s" % (self.type, self.name, self.ip)
+        if self.type == "AAAA":
+            return "%s %s %s" % (self.type, self.name, self.ip)
+        if self.type == "SRV":
+            return "%s %s %s %s" % (self.type, self.name, self.dest, self.port)
+        if self.type == "CNAME":
+            return "%s %s %s" % (self.type, self.name, self.dest)
+        if self.type == "NS":
+            return "%s %s %s" % (self.type, self.name, self.dest)
 
 
-################################################
-# parse a DNS line from
 def parse_dns_line(line, sub_vars):
+    """parse a DNS line from."""
+    if line.startswith("SRV _ldap._tcp.pdc._msdcs.") and not samdb.am_pdc():
+        if opts.verbose:
+            print "Skipping PDC entry (%s) as we are not a PDC" % line
+        return None
     subline = samba.substitute_var(line, sub_vars)
-    d = dnsobj(subline)
-    return d
+    return dnsobj(subline)
+
 
-############################################
-# see if two hostnames match
 def hostname_match(h1, h2):
+    """see if two hostnames match."""
     h1 = str(h1)
     h2 = str(h2)
     return h1.lower().rstrip('.') == h2.lower().rstrip('.')
 
 
-############################################
-# check that a DNS entry exists
 def check_dns_name(d):
+    """check that a DNS entry exists."""
     normalised_name = d.name.rstrip('.') + '.'
     if opts.verbose:
         print "Looking for DNS entry %s as %s" % (d, normalised_name)
+
     if opts.use_file is not None:
         try:
             dns_file = open(opts.use_file, "r")
         except IOError:
             return False
-        
+
         for line in dns_file:
             line = line.strip()
             if line == '' or line[0] == "#":
@@ -171,20 +202,49 @@ def check_dns_name(d):
                 return True
         return False
 
+    resolver = dns.resolver.Resolver()
+    if d.type == "NS":
+        # we need to lookup the nameserver for the parent domain,
+        # and use that to check the NS record
+        parent_domain = '.'.join(normalised_name.split('.')[1:])
+        try:
+            ans = resolver.query(parent_domain, 'NS')
+        except dns.exception.DNSException:
+            if opts.verbose:
+                print "Failed to find parent NS for %s" % d
+            return False
+        nameservers = set()
+        for i in range(len(ans)):
+            try:
+                ns = resolver.query(str(ans[i]), 'A')
+            except dns.exception.DNSException:
+                continue
+            for j in range(len(ns)):
+                nameservers.add(str(ns[j]))
+        d.nameservers = list(nameservers)
+
     try:
+        if getattr(d, 'nameservers', None):
+            resolver.nameservers = list(d.nameservers)
         ans = resolver.query(normalised_name, d.type)
-    except resolver.NXDOMAIN:
+    except dns.exception.DNSException:
+        if opts.verbose:
+            print "Failed to find DNS entry %s" % d
         return False
-    if d.type == 'A':
+    if d.type in ['A', 'AAAA']:
         # we need to be sure that our IP is there
         for rdata in ans:
             if str(rdata) == str(d.ip):
                 return True
-    if d.type == 'CNAME':
+    elif d.type == 'CNAME':
+        for i in range(len(ans)):
+            if hostname_match(ans[i].target, d.dest):
+                return True
+    elif d.type == 'NS':
         for i in range(len(ans)):
             if hostname_match(ans[i].target, d.dest):
                 return True
-    if d.type == 'SRV':
+    elif d.type == 'SRV':
         for rdata in ans:
             if opts.verbose:
                 print "Checking %s against %s" % (rdata, d)
@@ -194,27 +254,24 @@ def check_dns_name(d):
                 else:
                     d.existing_port     = str(rdata.port)
                     d.existing_weight = str(rdata.weight)
+
     if opts.verbose:
-        print "Failed to find DNS entry %s" % d
+        print "Failed to find matching DNS entry %s" % d
 
     return False
 
 
-###########################################
-# get the list of substitution vars
-def get_subst_vars():
+def get_subst_vars(samdb):
+    """get the list of substitution vars."""
     global lp, am_rodc
     vars = {}
 
-    samdb = SamDB(url=lp.get("sam database"), session_info=system_session(),
-                  lp=lp)
-
-    vars['DNSDOMAIN'] = lp.get('realm').lower()
-    vars['DNSFOREST'] = lp.get('realm').lower()
-    vars['HOSTNAME']  = lp.get('netbios name').lower() + "." + vars['DNSDOMAIN']
+    vars['DNSDOMAIN'] = samdb.domain_dns_name()
+    vars['DNSFOREST'] = samdb.forest_dns_name()
+    vars['HOSTNAME']  = samdb.host_dns_name()
     vars['NTDSGUID']  = samdb.get_ntds_GUID()
     vars['SITE']      = samdb.server_site_name()
-    res = samdb.search(base=None, scope=SCOPE_BASE, attrs=["objectGUID"])
+    res = samdb.search(base=samdb.get_default_basedn(), scope=SCOPE_BASE, attrs=["objectGUID"])
     guid = samdb.schema_format_value("objectGUID", res[0]['objectGUID'][0])
     vars['DOMAINGUID'] = guid
     am_rodc = samdb.am_rodc()
@@ -222,56 +279,100 @@ def get_subst_vars():
     return vars
 
 
-############################################
-# call nsupdate for an entry
-def call_nsupdate(d):
-    global ccachename, nsupdate_cmd
+def call_nsupdate(d, op="add"):
+    """call nsupdate for an entry."""
+    global ccachename, nsupdate_cmd, krb5conf
+
+    assert(op in ["add", "delete"])
 
     if opts.verbose:
-        print "Calling nsupdate for %s" % d
+        print "Calling nsupdate for %s (%s)" % (d, op)
 
     if opts.use_file is not None:
-        wfile = open(opts.use_file, 'a')
-        fcntl.lockf(wfile, fcntl.LOCK_EX)
-        wfile.write(str(d)+"\n")
-        fcntl.lockf(wfile, fcntl.LOCK_UN)
+        try:
+            rfile = open(opts.use_file, 'r+')
+        except IOError:
+            # Perhaps create it
+            rfile = open(opts.use_file, 'w+')
+            # Open it for reading again, in case someone else got to it first
+            rfile = open(opts.use_file, 'r+')
+        fcntl.lockf(rfile, fcntl.LOCK_EX)
+        (file_dir, file_name) = os.path.split(opts.use_file)
+        (tmp_fd, tmpfile) = tempfile.mkstemp(dir=file_dir, prefix=file_name, suffix="XXXXXX")
+        wfile = os.fdopen(tmp_fd, 'a')
+        rfile.seek(0)
+        for line in rfile:
+            if op == "delete":
+                l = parse_dns_line(line, {})
+                if str(l).lower() == str(d).lower():
+                    continue
+            wfile.write(line)
+        if op == "add":
+            wfile.write(str(d)+"\n")
+        os.rename(tmpfile, opts.use_file)
+        fcntl.lockf(rfile, fcntl.LOCK_UN)
         return
 
     normalised_name = d.name.rstrip('.') + '.'
 
     (tmp_fd, tmpfile) = tempfile.mkstemp()
     f = os.fdopen(tmp_fd, 'w')
+    if getattr(d, 'nameservers', None):
+        f.write('server %s\n' % d.nameservers[0])
     if d.type == "A":
-        f.write("update add %s %u A %s\n" % (normalised_name, default_ttl, d.ip))
+        f.write("update %s %s %u A %s\n" % (op, normalised_name, default_ttl, d.ip))
+    if d.type == "AAAA":
+        f.write("update %s %s %u AAAA %s\n" % (op, normalised_name, default_ttl, d.ip))
     if d.type == "SRV":
-        if d.existing_port is not None:
+        if op == "add" and d.existing_port is not None:
             f.write("update delete %s SRV 0 %s %s %s\n" % (normalised_name, d.existing_weight,
                                                            d.existing_port, d.dest))
-        f.write("update add %s %u SRV 0 100 %s %s\n" % (normalised_name, default_ttl, d.port, d.dest))
+        f.write("update %s %s %u SRV 0 100 %s %s\n" % (op, normalised_name, default_ttl, d.port, d.dest))
     if d.type == "CNAME":
-        f.write("update add %s %u CNAME %s\n" % (normalised_name, default_ttl, d.dest))
+        f.write("update %s %s %u CNAME %s\n" % (op, normalised_name, default_ttl, d.dest))
+    if d.type == "NS":
+        f.write("update %s %s %u NS %s\n" % (op, normalised_name, default_ttl, d.dest))
     if opts.verbose:
         f.write("show\n")
     f.write("send\n")
     f.close()
 
-    os.putenv("KRB5CCNAME", ccachename)
+    global error_count
+    if ccachename:
+        os.environ["KRB5CCNAME"] = ccachename
     try:
-        cmd = "%s %s" % (nsupdate_cmd, tmpfile)
-        subprocess.check_call(cmd, shell=True)
-    except subprocess.CalledProcessError:
-        global error_count
+        cmd = nsupdate_cmd[:]
+        cmd.append(tmpfile)
+        env = {}
+        if krb5conf:
+            env["KRB5_CONFIG"] = krb5conf
+        if ccachename:
+            env["KRB5CCNAME"] = ccachename
+        ret = subprocess.call(cmd, shell=False, env=env)
+        if ret != 0:
+            if opts.fail_immediately:
+                if opts.verbose:
+                    print("Failed update with %s" % tmpfile)
+                sys.exit(1)
+            error_count = error_count + 1
+            if opts.verbose:
+                print("Failed nsupdate: %d" % ret)
+    except Exception, estr:
         if opts.fail_immediately:
             sys.exit(1)
         error_count = error_count + 1
+        if opts.verbose:
+            print("Failed nsupdate: %s : %s" % (str(d), estr))
     os.unlink(tmpfile)
 
 
 
-def rodc_dns_update(d, t):
+def rodc_dns_update(d, t, op):
     '''a single DNS update via the RODC netlogon call'''
     global sub_vars
 
+    assert(op in ["add", "delete"])
+
     if opts.verbose:
         print "Calling netlogon RODC update for %s" % d
 
@@ -295,22 +396,34 @@ def rodc_dns_update(d, t):
     name.weight   = 0
     if d.port is not None:
         name.port = int(d.port)
-    name.dns_register = True
+    if op == "add":
+        name.dns_register = True
+    else:
+        name.dns_register = False
     dns_names.names = [ name ]
     site_name = sub_vars['SITE'].decode('utf-8')
 
+    global error_count
+
     try:
         ret_names = w.DsrUpdateReadOnlyServerDnsRecords(site_name, default_ttl, dns_names)
         if ret_names.names[0].status != 0:
             print("Failed to set DNS entry: %s (status %u)" % (d, ret_names.names[0].status))
+            error_count = error_count + 1
     except RuntimeError, reason:
         print("Error setting DNS entry of type %u: %s: %s" % (t, d, reason))
+        error_count = error_count + 1
+
+    if error_count != 0 and opts.fail_immediately:
+        sys.exit(1)
 
 
-def call_rodc_update(d):
+def call_rodc_update(d, op="add"):
     '''RODCs need to use the netlogon API for nsupdate'''
     global lp, sub_vars
 
+    assert(op in ["add", "delete"])
+
     # we expect failure for 3268 if we aren't a GC
     if d.port is not None and int(d.port) == 3268:
         return
@@ -330,7 +443,7 @@ def call_rodc_update(d):
         subname = samba.substitute_var(map[t], sub_vars)
         if subname.lower() == d.name.lower():
             # found a match - do the update
-            rodc_dns_update(d, t)
+            rodc_dns_update(d, t, op)
             return
     if opts.verbose:
         print("Unable to map to netlogon DNS update: %s" % d)
@@ -342,19 +455,54 @@ if opts.update_list:
 else:
     dns_update_list = lp.private_path('dns_update_list')
 
+if opts.update_cache:
+    dns_update_cache = opts.update_cache
+else:
+    dns_update_cache = lp.private_path('dns_update_cache')
+
 # use our private krb5.conf to avoid problems with the wrong domain
 # bind9 nsupdate wants the default domain set
 krb5conf = lp.private_path('krb5.conf')
-os.putenv('KRB5_CONFIG', krb5conf)
+os.environ['KRB5_CONFIG'] = krb5conf
 
 file = open(dns_update_list, "r")
 
-# get the substitution dictionary
-sub_vars = get_subst_vars()
+if opts.nosubs:
+    sub_vars = {}
+else:
+    samdb = SamDB(url=lp.samdb_url(), session_info=system_session(), lp=lp)
+
+    # get the substitution dictionary
+    sub_vars = get_subst_vars(samdb)
 
 # build up a list of update commands to pass to nsupdate
 update_list = []
 dns_list = []
+cache_list = []
+delete_list = []
+
+dup_set = set()
+cache_set = set()
+
+rebuild_cache = False
+try:
+    cfile = open(dns_update_cache, 'r+')
+except IOError:
+    # Perhaps create it
+    cfile = open(dns_update_cache, 'w+')
+    # Open it for reading again, in case someone else got to it first
+    cfile = open(dns_update_cache, 'r+')
+fcntl.lockf(cfile, fcntl.LOCK_EX)
+for line in cfile:
+    line = line.strip()
+    if line == '' or line[0] == "#":
+        continue
+    c = parse_dns_line(line, {})
+    if c is None:
+        continue
+    if str(c) not in cache_set:
+        cache_list.append(c)
+        cache_set.add(str(c))
 
 # read each line, and check that the DNS name exists
 for line in file:
@@ -362,45 +510,106 @@ for line in file:
     if line == '' or line[0] == "#":
         continue
     d = parse_dns_line(line, sub_vars)
-    dns_list.append(d)
+    if d is None:
+        continue
+    if d.type == 'A' and len(IP4s) == 0:
+        continue
+    if d.type == 'AAAA' and len(IP6s) == 0:
+        continue
+    if str(d) not in dup_set:
+        dns_list.append(d)
+        dup_set.add(str(d))
 
 # now expand the entries, if any are A record with ip set to $IP
 # then replace with multiple entries, one for each interface IP
 for d in dns_list:
-    if d.type == 'A' and d.ip == "$IP":
-        d.ip = IPs[0]
-        for i in range(len(IPs)-1):
+    if d.ip != "$IP":
+        continue
+    if d.type == 'A':
+        d.ip = IP4s[0]
+        for i in range(len(IP4s)-1):
+            d2 = dnsobj(str(d))
+            d2.ip = IP4s[i+1]
+            dns_list.append(d2)
+    if d.type == 'AAAA':
+        d.ip = IP6s[0]
+        for i in range(len(IP6s)-1):
             d2 = dnsobj(str(d))
-            d2.ip = IPs[i+1]
+            d2.ip = IP6s[i+1]
             dns_list.append(d2)
 
 # now check if the entries already exist on the DNS server
 for d in dns_list:
+    found = False
+    for c in cache_list:
+        if str(c).lower() == str(d).lower():
+            found = True
+            break
+    if not found:
+        rebuild_cache = True
     if opts.all_names or not check_dns_name(d):
         update_list.append(d)
 
-if len(update_list) == 0:
+for c in cache_list:
+    found = False
+    for d in dns_list:
+        if str(c).lower() == str(d).lower():
+            found = True
+            break
+    if found:
+        continue
+    rebuild_cache = True
+    if not opts.all_names and not check_dns_name(c):
+        continue
+    delete_list.append(c)
+
+if len(delete_list) == 0 and len(update_list) == 0 and not rebuild_cache:
     if opts.verbose:
         print "No DNS updates needed"
     sys.exit(0)
 
 # get our krb5 creds
-get_credentials(lp)
+if len(delete_list) != 0 or len(update_list) != 0:
+    if not opts.nocreds:
+        get_credentials(lp)
+
+# ask nsupdate to delete entries as needed
+for d in delete_list:
+    if am_rodc:
+        if d.name.lower() == domain.lower():
+            continue
+        if not d.type in [ 'A', 'AAAA' ]:
+            call_rodc_update(d, op="delete")
+        else:
+            call_nsupdate(d, op="delete")
+    else:
+        call_nsupdate(d, op="delete")
 
 # ask nsupdate to add entries as needed
 for d in update_list:
     if am_rodc:
         if d.name.lower() == domain.lower():
             continue
-        if d.type != 'A':
+        if not d.type in [ 'A', 'AAAA' ]:
             call_rodc_update(d)
         else:
             call_nsupdate(d)
     else:
         call_nsupdate(d)
 
+if rebuild_cache:
+    (file_dir, file_name) = os.path.split(dns_update_cache)
+    (tmp_fd, tmpfile) = tempfile.mkstemp(dir=file_dir, prefix=file_name, suffix="XXXXXX")
+    wfile = os.fdopen(tmp_fd, 'a')
+    for d in dns_list:
+        wfile.write(str(d)+"\n")
+    os.rename(tmpfile, dns_update_cache)
+fcntl.lockf(cfile, fcntl.LOCK_UN)
+
 # delete the ccache if we created it
 if ccachename is not None:
     os.unlink(ccachename)
 
+if error_count != 0:
+    print("Failed update of %u entries" % error_count)
 sys.exit(error_count)