autocluster

   1 #!/bin/bash
   2 # main autocluster script
   3 #
   4 # Copyright (C) Andrew Tridgell  2008
   5 # Copyright (C) Martin Schwenke  2008
   6 #
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program; if not, see <http://www.gnu.org/licenses/>.
  19
  20 ##BEGIN-INSTALLDIR-MAGIC##
  21 # There are better ways of doing this but not if you still want to be
  22 # able to run straight out of a git tree.  :-)
  23 if [ -f "$0" ]; then
  24     autocluster="$0"
  25 else
  26     autocluster=$(which "$0")
  27 fi
  28 if [ -L "$autocluster" ] ; then
  29     autocluster=$(readlink "$autocluster")
  30 fi
  31 installdir=$(dirname "$autocluster")
  32 ##END-INSTALLDIR-MAGIC##
  33
  34 ####################
  35 # show program usage
  36 usage ()
  37 {
  38     cat <<EOF
  39 Usage: autocluster [OPTION] ... <COMMAND>
  40   options:
  41      -c <file>                   specify config file (default is "config")
  42      -e <expr>                   execute <expr> and exit
  43      -E <expr>                   execute <expr> and continue
  44      -x                          enable script debugging
  45      --dump                      dump config settings and exit
  46
  47   configuration options:
  48 EOF
  49
  50     usage_config_options
  51
  52     cat <<EOF
  53
  54   commands:
  55      base [ create | boot ] ...
  56
  57      cluster [ destroy | create | update_hosts | boot | configure ] ...
  58
  59      create base
  60            create a base image
  61
  62      create cluster [ CLUSTERNAME ]
  63            create a full cluster
  64
  65      create node CLUSTERNAME IP_OFFSET
  66            (re)create a single cluster node
  67
  68      mount DISK
  69            mount a qemu disk on mnt/
  70
  71      unmount | umount
  72            unmount a qemu disk from mnt/
  73
  74      bootbase
  75            boot the base image
  76 EOF
  77     exit 1
  78 }
  79
  80 ###############################
  81
  82 die () {
  83     if [ "$no_sanity" = 1 ] ; then
  84         fill_text 0 "WARNING: $*" >&2
  85     else
  86         fill_text 0 "ERROR: $*" >&2
  87         exit 1
  88     fi
  89 }
  90
  91 announce ()
  92 {
  93     echo "######################################################################"
  94     printf "# %-66s #\n" "$*"
  95     echo "######################################################################"
  96     echo ""
  97 }
  98
  99 ###############################
 100
 101 # Indirectly call a function named by ${1}_${2}
 102 call_func () {
 103     local func="$1" ; shift
 104     local type="$1" ; shift
 105
 106     local f="${func}_${type}"
 107     if type -t "$f" >/dev/null && ! type -P "$f" >/dev/null ; then
 108         "$f" "$@"
 109     else
 110         f="${func}_DEFAULT"
 111         if type -t "$f" >/dev/null && ! type -P "$f" >/dev/null  ; then
 112             "$f" "$type" "$@"
 113         else
 114             die "No function defined for \"${func}\" \"${type}\""
 115         fi
 116     fi
 117 }
 118
 119 # Note that this will work if you pass "call_func f" because the first
 120 # element of the node tuple is the node type.  Nice...  :-)
 121 for_each_node ()
 122 {
 123     local n
 124     for n in $NODES ; do
 125         "$@" $(IFS=: ; echo $n)
 126     done
 127 }
 128
 129 hack_one_node_with ()
 130 {
 131     local filter="$1" ; shift
 132
 133     local node_type="$1"
 134     local ip_offset="$2"
 135     local name="$3"
 136     local ctdb_node="$4"
 137
 138     $filter
 139
 140     local item="${node_type}:${ip_offset}${name:+:}${name}${ctdb_node:+:}${ctdb_node}"
 141     nodes="${nodes}${nodes:+ }${item}"
 142 }
 143
 144 # This also gets used for non-filtering iteration.
 145 hack_all_nodes_with ()
 146 {
 147     local filter="$1"
 148
 149     local nodes=""
 150     for_each_node hack_one_node_with "$filter"
 151     NODES="$nodes"
 152 }
 153
 154 register_hook ()
 155 {
 156     local hook_var="$1"
 157     local new_hook="$2"
 158
 159     eval "$hook_var=\"${!hook_var}${!hook_var:+ }${new_hook}\""
 160 }
 161
 162 run_hooks ()
 163 {
 164     local hook_var="$1"
 165     shift
 166
 167     local i
 168     for i in ${!hook_var} ; do
 169         $i "$@"
 170     done
 171 }
 172
 173 # Use with care, since this may clear some autocluster defaults.!
 174 clear_hooks ()
 175 {
 176     local hook_var="$1"
 177
 178     eval "$hook_var=\"\""
 179 }
 180
 181 ##############################
 182
 183 # These hooks are intended to customise the value of $DISK.  They have
 184 # access to 1 argument ("base", "system", "shared") and the variables
 185 # $VIRTBASE, $CLUSTER, $BASENAME (for "base"), $NAME (for "system"),
 186 # $SHARED_DISK_NUM (for "shared").  A hook must be deterministic and
 187 # should not be stateful, since they can be called multiple times for
 188 # the same disk.
 189 hack_disk_hooks=""
 190
 191 # common node creation stuff
 192 create_node_COMMON ()
 193 {
 194     local NAME="$1"
 195     local ip_offset="$2"
 196     local type="$3"
 197     local template_file="${4:-$NODE_TEMPLATE}"
 198
 199     if [ "$SYSTEM_DISK_FORMAT" != "qcow2" -a "$BASE_FORMAT" = "qcow2" ] ; then
 200         die "Error: if BASE_FORMAT is \"qcow2\" then SYSTEM_DISK_FORMAT must also be \"qcow2\"."
 201     fi
 202
 203     local IPNUM=$(($FIRSTIP + $ip_offset))
 204     make_network_map
 205
 206     # Determine base image name.  We use $DISK temporarily to allow
 207     # the path to be hacked.
 208     local DISK="${VIRTBASE}/${BASENAME}.${BASE_FORMAT}"
 209     if [ "$BASE_PER_NODE_TYPE" = "yes" ] ; then
 210         DISK="${VIRTBASE}/${BASENAME}-${type}.${BASE_FORMAT}"
 211     fi
 212     run_hooks hack_disk_hooks "base"
 213     local base_disk="$DISK"
 214
 215     # Determine the system disk image name.
 216     DISK="${VIRTBASE}/${CLUSTER}/${NAME}.${SYSTEM_DISK_FORMAT}"
 217     run_hooks hack_disk_hooks "system"
 218
 219     local di="$DISK"
 220     if [ "$DISK_FOLLOW_SYMLINKS" = "yes" -a -L "$DISK" ] ; then
 221         di=$(readlink "$DISK")
 222     fi
 223     rm -f "$di"
 224     local di_dirname="${di%/*}"
 225     mkdir -p "$di_dirname"
 226
 227     case "$SYSTEM_DISK_FORMAT" in
 228         qcow2)
 229             echo "Creating the disk..."
 230             qemu-img create -b "$base_disk" -f qcow2 "$di"
 231             create_node_configure_image "$DISK" "$type"
 232             ;;
 233         raw)
 234             echo "Creating the disk..."
 235             cp -v --sparse=always "$base_disk" "$di"
 236             create_node_configure_image "$DISK" "$type"
 237             ;;
 238         reflink)
 239             echo "Creating the disk..."
 240             cp -v --reflink=always "$base_disk" "$di"
 241             create_node_configure_image "$DISK" "$type"
 242             ;;
 243         mmclone)
 244             echo "Creating the disk (using mmclone)..."
 245             local base_snap="${base_disk}.snap"
 246             [ -f "$base_snap" ] || mmclone snap "$base_disk" "$base_snap"
 247             mmclone copy "$base_snap" "$di"
 248             create_node_configure_image "$DISK" "$type"
 249             ;;
 250         none)
 251             echo "Skipping disk image creation as requested"
 252             ;;
 253         *)
 254             die "Error: unknown SYSTEM_DISK_FORMAT=\"${SYSTEM_DISK_FORMAT}\"."
 255     esac
 256
 257     # Pull the UUID for this node out of the map.
 258     UUID=$(awk "\$1 == $ip_offset {print \$2}" $uuid_map)
 259
 260     mkdir -p tmp
 261
 262     echo "Creating $NAME.xml"
 263     substitute_vars $template_file tmp/$NAME.xml
 264
 265     # install the XML file
 266     $VIRSH undefine $NAME > /dev/null 2>&1 || true
 267     $VIRSH define tmp/$NAME.xml
 268 }
 269
 270 create_node_configure_image ()
 271 {
 272     local disk="$1"
 273     local type="$2"
 274
 275     diskimage mount "$disk"
 276     setup_base "$type"
 277     diskimage unmount
 278 }
 279
 280 # Provides an easy way of removing nodes from $NODE.
 281 create_node_null () {
 282     :
 283 }
 284
 285 hack_network_map_hooks=""
 286
 287 # Uses: CLUSTER, NAME, NETWORKS, FIRSTIP, ip_offset
 288 make_network_map ()
 289 {
 290     network_map="tmp/network_map.$NAME"
 291
 292     if [ -n "$CLUSTER" ] ; then
 293         local md5=$(echo "$CLUSTER" | md5sum)
 294         local nh=$(printf "%02x" $ip_offset)
 295         local mac_prefix="02:${md5:0:2}:${md5:2:2}:00:${nh}:"
 296     else
 297         local mac_prefix="02:42:42:00:00:"
 298     fi
 299
 300     local n
 301     local count=1
 302     for n in $NETWORKS ; do
 303         local ch=$(printf "%02x" $count)
 304         local mac="${mac_prefix}${ch}"
 305
 306         set -- ${n//,/ }
 307         local ip_bits="$1" ; shift
 308         local dev="$1" ; shift
 309         local opts="$*"
 310
 311         local net="${ip_bits%/*}"
 312         local netname="acnet_${net//./_}"
 313
 314         local ip="${net%.*}.${IPNUM}"
 315         local mask="255.255.255.0"
 316
 317         # This can be used to override the variables in the echo
 318         # statement below.  The hook can use any other variables
 319         # available in this function.
 320         run_hooks hack_network_map_hooks
 321
 322         echo "${netname} ${dev} ${ip} ${mask} ${mac} ${opts}"
 323         count=$(($count + 1))
 324     done >"$network_map"
 325 }
 326
 327 ##############################
 328
 329 hack_nodes_functions=
 330
 331 expand_nodes () {
 332     # Expand out any abbreviations in NODES.
 333     local ns=""
 334     local n
 335     for n in $NODES ; do
 336         local t="${n%:*}"
 337         local ips="${n#*:}"
 338         case "$ips" in
 339             *,*)
 340                 local i
 341                 for i in ${ips//,/ } ; do
 342                     ns="${ns}${ns:+ }${t}:${i}"
 343                 done
 344                 ;;
 345             *-*)
 346                 local i
 347                 for i in $(seq ${ips/-/ }) ; do
 348                     ns="${ns}${ns:+ }${t}:${i}"
 349                 done
 350                 ;;
 351             *)
 352                 ns="${ns}${ns:+ }${n}"
 353         esac
 354     done
 355     NODES="$ns"
 356
 357     # Apply nodes hacks.  Some of this is about backward compatibility
 358     # but the hacks also fill in the node names and whether they're
 359     # part of the CTDB cluster.  The order is the order that
 360     # configuration modules register their hacks.
 361     run_hooks hack_nodes_functions
 362
 363     if [ -n "$NUMNODES" ] ; then
 364         # Attempt to respect NUMNODES.  Reduce the number of CTDB
 365         # nodes to NUMNODES.
 366         local numnodes=$NUMNODES
 367
 368         hack_filter ()
 369         {
 370             if [ "$ctdb_node" = 1 ] ; then
 371                 if [ $numnodes -gt 0 ] ; then
 372                     numnodes=$(($numnodes - 1))
 373                 else
 374                     node_type="null"
 375                     ctdb_node=0
 376                 fi
 377             fi
 378         }
 379
 380         hack_all_nodes_with hack_filter
 381
 382         [ $numnodes -gt 0 ] && \
 383             die "Can't not use NUMNODES to increase the number of nodes over that specified by NODES.  You need to set NODES instead - please read the documentation."
 384     fi
 385
 386     # Check IP addresses for duplicates.
 387     local ip_offsets=":"
 388     # This function doesn't modify anything...
 389     get_ip_offset ()
 390     {
 391         [ "${ip_offsets/${ip_offset}}" != "$ip_offsets" ] && \
 392             die "Duplicate IP offset in NODES - ${node_type}:${ip_offset}"
 393         ip_offsets="${ip_offsets}${ip_offset}:"
 394     }
 395     hack_all_nodes_with get_ip_offset
 396 }
 397
 398 ##############################
 399
 400 sanity_check_cluster_name ()
 401 {
 402     [ -z "${CLUSTER//[A-Za-z0-9]}" ] || \
 403         die "Cluster names should be restricted to the characters A-Za-z0-9.  \
 404 Some cluster filesystems have problems with other characters."
 405 }
 406
 407 hosts_file=
 408
 409 common_nodelist_hacking ()
 410 {
 411     # Rework the NODES list
 412     expand_nodes
 413
 414     # Build /etc/hosts and hack the names of the ctdb nodes
 415     hosts_line_hack_name ()
 416     {
 417         # Ignore nodes without names (e.g. "null")
 418         [ "$node_type" != "null" -a -n "$name" ] || return 0
 419
 420         local sname=""
 421         local hosts_line
 422         local ip_addr="${NETWORK_PRIVATE_PREFIX}.$(($FIRSTIP + $ip_offset))"
 423
 424         if [ "$ctdb_node" = 1 ] ; then
 425             num_ctdb_nodes=$(($num_ctdb_nodes + 1))
 426             sname="${CLUSTER}n${num_ctdb_nodes}"
 427             hosts_line="$ip_addr ${sname}.${ld} ${name}.${ld} $name $sname"
 428             name="$sname"
 429         else
 430             hosts_line="$ip_addr ${name}.${ld} $name"
 431         fi
 432
 433         # This allows you to add a function to your configuration file
 434         # to modify hostnames (and other aspects of nodes).  This
 435         # function can access/modify $name (the existing name),
 436         # $node_type and $ctdb_node (1, if the node is a member of the
 437         # CTDB cluster, 0 otherwise).
 438         if [ -n "$HOSTNAME_HACKING_FUNCTION" ] ; then
 439             local old_name="$name"
 440             $HOSTNAME_HACKING_FUNCTION
 441             if [ "$name" != "$old_name" ] ; then
 442                 hosts_line="$ip_addr ${name}.${ld} $name"
 443             fi
 444         fi
 445
 446         echo "$hosts_line"
 447     }
 448     hosts_file="tmp/hosts.$CLUSTER"
 449     {
 450         local num_ctdb_nodes=0
 451         local ld=$(echo $DOMAIN | tr A-Z a-z)
 452         echo "# autocluster $CLUSTER"
 453         hack_all_nodes_with hosts_line_hack_name
 454         echo
 455     } >$hosts_file
 456
 457     # Build /etc/ctdb/nodes
 458     ctdb_nodes_line ()
 459     {
 460         [ "$ctdb_node" = 1 ] || return 0
 461         echo "${NETWORK_PRIVATE_PREFIX}.$(($FIRSTIP + $ip_offset))"
 462         num_nodes=$(($num_nodes + 1))
 463     }
 464     nodes_file="tmp/nodes.$CLUSTER"
 465     local num_nodes=0
 466     hack_all_nodes_with ctdb_nodes_line >$nodes_file
 467     : "${NUMNODES:=${num_nodes}}"  # Set $NUMNODES if necessary
 468
 469     # Build UUID map
 470     uuid_map="tmp/uuid_map.$CLUSTER"
 471     uuid_map_line ()
 472     {
 473         echo "${ip_offset} $(uuidgen) ${node_type}"
 474     }
 475     hack_all_nodes_with uuid_map_line >$uuid_map
 476 }
 477
 478 create_cluster_hooks=
 479 cluster_created_hooks=
 480
 481 cluster_create ()
 482 {
 483     # Use $1.  If not set then use value from configuration file.
 484     CLUSTER="${1:-${CLUSTER}}"
 485     announce "cluster create \"${CLUSTER}\""
 486     [ -n "$CLUSTER" ] || die "\$CLUSTER not set"
 487
 488     sanity_check_cluster_name
 489
 490     mkdir -p $VIRTBASE/$CLUSTER $KVMLOG tmp
 491
 492     # Run hooks before doing anything else.
 493     run_hooks create_cluster_hooks
 494
 495     common_nodelist_hacking
 496
 497     for_each_node call_func create_node
 498
 499     echo "Cluster $CLUSTER created"
 500     echo ""
 501
 502     run_hooks cluster_created_hooks
 503 }
 504
 505 cluster_created_hosts_message ()
 506 {
 507     echo "You may want to add this to your /etc/hosts file:"
 508     cat $hosts_file
 509 }
 510
 511 register_hook cluster_created_hooks cluster_created_hosts_message
 512
 513 cluster_destroy ()
 514 {
 515     announce "cluster destroy \"${CLUSTER}\""
 516     [ -n "$CLUSTER" ] || die "\$CLUSTER not set"
 517
 518     vircmd destroy "$CLUSTER" || true
 519 }
 520
 521 cluster_update_hosts ()
 522 {
 523     announce "cluster update_hosts \"${CLUSTER}\""
 524     [ -n "$CLUSTER" ] || die "\$CLUSTER not set"
 525
 526     [ -n "$hosts_file" ] || hosts_file="tmp/hosts.${CLUSTER}"
 527     [ -r "$hosts_file" ] || die "Missing hosts file \"${hosts_file}\""
 528
 529     local pat="# autocluster ${CLUSTER}\$|[[:space:]]${CLUSTER}(n|base)[[:digit:]]+"
 530
 531     local t="/etc/hosts.${CLUSTER}"
 532     grep -E "$pat" /etc/hosts >"$t" || true
 533     if diff -B "$t" "$hosts_file" >/dev/null ; then
 534         rm "$t"
 535         return
 536     fi
 537
 538     local old=/etc/hosts.old.autocluster
 539     cp /etc/hosts "$old"
 540     local new=/etc/hosts.new
 541     grep -Ev "$pat" "$old" |
 542     cat -s - "$hosts_file" >"$new"
 543
 544     mv "$new" /etc/hosts
 545
 546     echo "Made these changes to /etc/hosts:"
 547     diff -u "$old" /etc/hosts || true
 548 }
 549
 550 cluster_boot ()
 551 {
 552     [ -n "$CLUSTER_PATTERN" ] || CLUSTER_PATTERN="$CLUSTER"
 553     announce "cluster boot \"${CLUSTER_PATTERN}\""
 554     [ -n "$CLUSTER_PATTERN" ] || die "\$CLUSTER_PATTERN not set"
 555
 556     vircmd start "$CLUSTER_PATTERN"
 557
 558     local nodes=$(vircmd dominfo "$CLUSTER_PATTERN" 2>/dev/null | \
 559         sed -n -e 's/Name: *//p')
 560
 561     # Wait for each node
 562     local i
 563     for i in $nodes ; do
 564         waitfor "${KVMLOG}/serial.$i" "login:" 300 || {
 565             vircmd destroy "$CLUSTER_PATTERN"
 566             die "Failed to create cluster"
 567         }
 568     done
 569
 570     # Move past the last line of log output
 571     echo ""
 572 }
 573
 574 cluster_configure ()
 575 {
 576     announce "cluster configure \"${CLUSTER}\""
 577     [ -n "$CLUSTER" ] || die "\$CLUSTER not set"
 578
 579     local n1="${CLUSTER}n1"
 580     local ssh="ssh -o StrictHostKeyChecking=no"
 581
 582     case "$CLUSTER_TYPE" in
 583         "build")
 584             # Build node doesn't really need CTDB/Samba to be
 585             # installed, if the packages are not present in the repo,
 586             # they're skipped.
 587             $ssh "$n1" "./scripts/setup_build.sh || true"
 588             ;;
 589
 590         "ad")
 591             $ssh "$n1" ./scripts/setup_ad_server.sh
 592             ;;
 593
 594         "samba")
 595             [ -n "$CLUSTER_PATTERN" ] || CLUSTER_PATTERN="$CLUSTER"
 596
 597             local nodes=$(vircmd dominfo "$CLUSTER_PATTERN" 2>/dev/null | \
 598                 sed -n -e 's/Name: *//p')
 599
 600             for i in $nodes ; do
 601                 $ssh "$i" ./scripts/install_gpfs_nas.sh
 602             done
 603             $ssh "$n1" ./scripts/setup_gpfs.sh
 604
 605             if [ "$AUTH_METHOD" = "winbind" ]; then
 606                 args="-UAdministrator%${AD_ADMIN_PASS}"
 607             else
 608                 args=""
 609             fi
 610             $ssh "$n1" ./scripts/setup_cluster.sh "$args"
 611             ;;
 612     esac
 613 }
 614
 615 create_one_node ()
 616 {
 617     CLUSTER="$1"
 618     local single_node_ip_offset="$2"
 619
 620     sanity_check_cluster_name
 621
 622     mkdir -p $VIRTBASE/$CLUSTER $KVMLOG tmp
 623
 624     common_nodelist_hacking
 625
 626     for n in $NODES ; do
 627         set -- $(IFS=: ; echo $n)
 628         [ $single_node_ip_offset -eq $2 ] || continue
 629         call_func create_node "$@"
 630
 631         echo "Requested node created"
 632         echo ""
 633         echo "You may want to update your /etc/hosts file:"
 634         cat $hosts_file
 635
 636         break
 637     done
 638 }
 639
 640 ###############################
 641 # test the proxy setup
 642 test_proxy() {
 643     export http_proxy=$WEBPROXY
 644     wget -O /dev/null $INSTALL_SERVER || \
 645         die "Your WEBPROXY setting \"$WEBPROXY\" is not working"
 646     echo "Proxy OK"
 647 }
 648
 649 ###################
 650
 651 kickstart_floppy_create_hooks=
 652
 653 guess_install_network ()
 654 {
 655     # Figure out IP address to use during base install.  Default to
 656     # the IP address of the 1st (private) network. If a gateway is
 657     # specified then use the IP address associated with it.
 658     INSTALL_IP=""
 659     INSTALL_GW=""
 660     local netname dev ip mask mac opts
 661     while read netname dev ip mask mac opts; do
 662         local o
 663         for o in $opts ; do
 664             case "$o" in
 665                 gw\=*)
 666                     INSTALL_GW="${o#gw=}"
 667                     INSTALL_IP="${ip}${FIRSTIP}"
 668             esac
 669         done
 670         [ -n "$INSTALL_IP" ] || INSTALL_IP="$ip"
 671     done <"$network_map"
 672 }
 673
 674 # create base image
 675 base_create()
 676 {
 677     local NAME="$BASENAME"
 678     local DISK="${VIRTBASE}/${NAME}.${BASE_FORMAT}"
 679     run_hooks hack_disk_hooks "base"
 680
 681     mkdir -p $KVMLOG
 682
 683     echo "Testing WEBPROXY $WEBPROXY"
 684     test_proxy
 685
 686     local di="$DISK"
 687     if [ "$DISK_FOLLOW_SYMLINKS" = "yes" -a -L "$DISK" ] ; then
 688         di=$(readlink "$DISK")
 689     fi
 690     rm -f "$di"
 691     local di_dirname="${di%/*}"
 692     mkdir -p "$di_dirname"
 693
 694     echo "Creating the disk"
 695     qemu-img create -f $BASE_FORMAT "$di" $DISKSIZE
 696
 697     rm -rf tmp
 698     mkdir -p mnt tmp tmp/ISO
 699
 700     setup_timezone
 701
 702     make_network_map
 703
 704     guess_install_network
 705
 706     echo "Creating kickstart file from template"
 707     substitute_vars "$KICKSTART" "tmp/ks.cfg"
 708
 709     # $ISO gets $ISO_DIR prepended if it doesn't start with a leading '/'.
 710     case "$ISO" in
 711         (/*) : ;;
 712         (*) ISO="${ISO_DIR}/${ISO}"
 713     esac
 714
 715     echo "Creating kickstart floppy"
 716     dd if=/dev/zero of=tmp/floppy.img bs=1024 count=1440
 717     mkdosfs -n KICKSTART tmp/floppy.img
 718     mount -o loop -t msdos tmp/floppy.img mnt
 719     cp tmp/ks.cfg mnt
 720     mount -o loop,ro $ISO tmp/ISO
 721
 722     echo "Setting up bootloader"
 723     cp tmp/ISO/isolinux/isolinux.bin tmp
 724     cp tmp/ISO/isolinux/vmlinuz tmp
 725     cp tmp/ISO/isolinux/initrd.img tmp
 726
 727     run_hooks kickstart_floppy_create_hooks
 728
 729     umount tmp/ISO
 730     umount mnt
 731
 732     UUID=`uuidgen`
 733
 734     substitute_vars $INSTALL_TEMPLATE tmp/$NAME.xml
 735
 736     rm -f $KVMLOG/serial.$NAME
 737
 738     # boot the install CD
 739     $VIRSH create tmp/$NAME.xml
 740
 741     echo "Waiting for install to start"
 742     sleep 2
 743
 744     # wait for the install to finish
 745     if ! waitfor $KVMLOG/serial.$NAME "$KS_DONE_MESSAGE" $CREATE_BASE_TIMEOUT ; then
 746         $VIRSH destroy $NAME
 747         die "Failed to create base image ${DISK} after waiting for ${CREATE_BASE_TIMEOUT} seconds.
 748 You may need to increase the value of CREATE_BASE_TIMEOUT.
 749 Alternatively, the install might have completed but KS_DONE_MESSAGE
 750 (currently \"${KS_DONE_MESSAGE}\")
 751 may not have matched anything at the end of the kickstart output."
 752     fi
 753
 754     $VIRSH destroy $NAME
 755
 756     ls -l $DISK
 757     cat <<EOF
 758
 759 Install finished, base image $DISK created
 760
 761 You may wish to run
 762    chcon -t virt_content_t $DISK
 763    chattr +i $DISK
 764 To ensure that this image does not change
 765
 766 Note that the root password has been set to $ROOTPASSWORD
 767
 768 EOF
 769 }
 770
 771 ###############################
 772 # boot the base disk
 773 base_boot() {
 774     rm -rf tmp
 775     mkdir -p tmp
 776
 777     NAME="$BASENAME"
 778     DISK="${VIRTBASE}/${NAME}.${BASE_FORMAT}"
 779
 780     IPNUM=$FIRSTIP
 781
 782     make_network_map
 783
 784     CLUSTER="base"
 785
 786     diskimage mount $DISK
 787     setup_base
 788     diskimage unmount
 789
 790     UUID=`uuidgen`
 791
 792     echo "Creating $NAME.xml"
 793     substitute_vars $BOOT_TEMPLATE tmp/$NAME.xml
 794
 795     # boot the base system
 796     $VIRSH create tmp/$NAME.xml
 797 }
 798
 799 ######################################################################
 800
 801 # Updating a disk image...
 802
 803 diskimage ()
 804 {
 805     local func="$1"
 806     shift
 807     call_func diskimage_"$func" "$SYSTEM_DISK_ACCESS_METHOD" "$@"
 808 }
 809
 810 # setup the files from $BASE_TEMPLATES/, substituting any variables
 811 # based on the config
 812 copy_base_dir_substitute_templates ()
 813 {
 814     local dir="$1"
 815
 816     local d="$BASE_TEMPLATES/$dir"
 817     [ -d "$d" ] || return 0
 818
 819     local f
 820     for f in $(cd "$d" && find . \! -name '*~' \( -type d -name .svn -prune -o -print \) ) ; do
 821         f="${f#./}" # remove leading "./" for clarity
 822         if [ -d "$d/$f" ]; then
 823             # Don't chmod existing directory
 824             if diskimage is_directory "/$f" ; then
 825                 continue
 826             fi
 827             diskimage mkdir_p "/$f"
 828         else
 829             echo " Install: $f"
 830             diskimage substitute_vars "$d/$f" "/$f"
 831         fi
 832         diskimage chmod_reference "$d/$f" "/$f"
 833     done
 834 }
 835
 836 setup_base_hooks=
 837
 838 setup_base_ssh_keys ()
 839 {
 840     # this is needed as git doesn't store file permissions other
 841     # than execute
 842     # Note that we protect the wildcards from the local shell.
 843     diskimage chmod 600 "/etc/ssh/*key" "/root/.ssh/*"
 844     diskimage chmod 700 "/etc/ssh" "/root/.ssh" "/root"
 845     if [ -r "$HOME/.ssh/id_rsa.pub" ]; then
 846        echo "Adding $HOME/.ssh/id_rsa.pub to ssh authorized_keys"
 847        diskimage append_text_file "$HOME/.ssh/id_rsa.pub" "/root/.ssh/authorized_keys"
 848     fi
 849     if [ -r "$HOME/.ssh/id_dsa.pub" ]; then
 850        echo "Adding $HOME/.ssh/id_dsa.pub to ssh authorized_keys"
 851        diskimage append_text_file "$HOME/.ssh/id_dsa.pub" "/root/.ssh/authorized_keys"
 852     fi
 853 }
 854
 855 register_hook setup_base_hooks setup_base_ssh_keys
 856
 857 setup_base_grub_conf ()
 858 {
 859     echo "Adjusting grub.conf"
 860     local o="$EXTRA_KERNEL_OPTIONS" # For readability.
 861     local grub_configs="/boot/grub/grub.conf"
 862     if ! diskimage is_file "$grub_configs" ; then
 863         grub_configs="/etc/default/grub /boot/grub2/grub.cfg"
 864     fi
 865     local c
 866     for c in $grub_configs ; do
 867         diskimage sed "$c" \
 868             -e "s/console=ttyS0,19200/console=ttyS0,115200/"  \
 869             -e "s/ console=tty1//" -e "s/ rhgb/ norhgb/"  \
 870             -e "s/ nodmraid//" -e "s/ nompath//"  \
 871             -e "s/quiet/noapic divider=10${o:+ }${o}/g"
 872     done
 873 }
 874
 875 register_hook setup_base_hooks setup_base_grub_conf
 876
 877 setup_base()
 878 {
 879     local type="$1"
 880
 881     umask 022
 882     echo "Copy base files"
 883     copy_base_dir_substitute_templates "all"
 884     if [ -n "$type" ] ; then
 885         copy_base_dir_substitute_templates "$type"
 886     fi
 887
 888     run_hooks setup_base_hooks
 889 }
 890
 891 # setup various networking components
 892 setup_network()
 893 {
 894     # This avoids doing anything when we're called from boot_base().
 895     if [ -z "$hosts_file" ] ; then
 896         echo "Skipping network-related setup"
 897         return
 898     fi
 899
 900     echo "Setting up networks"
 901     diskimage append_text_file "$hosts_file" "/etc/hosts"
 902
 903     echo "Setting up /etc/ctdb/nodes"
 904     diskimage mkdir_p "/etc/ctdb"
 905     diskimage put "$nodes_file" "/etc/ctdb/nodes"
 906
 907     [ "$WEBPROXY" = "" ] || {
 908         diskimage append_text "export http_proxy=$WEBPROXY" "/etc/bashrc"
 909     }
 910
 911     if [ -n "$NFSSHARE" -a -n "$NFS_MOUNTPOINT" ] ; then
 912         echo "Enabling nfs mount of $NFSSHARE"
 913         diskimage mkdir_p "$NFS_MOUNTPOINT"
 914         diskimage append_text "$NFSSHARE $NFS_MOUNTPOINT nfs nfsvers=3,intr 0 0" "/etc/fstab"
 915     fi
 916
 917     diskimage mkdir_p "/etc/yum.repos.d"
 918     echo '@@@YUM_TEMPLATE@@@' | diskimage substitute_vars - "/etc/yum.repos.d/autocluster.repo"
 919
 920     diskimage rm_rf "/etc/udev/rules.d/70-persistent-net.rules"
 921
 922     echo "Setting up network interfaces: "
 923     local netname dev ip mask mac opts
 924     while read netname dev ip mask mac opts; do
 925         echo "  $dev"
 926
 927         local o gw
 928         gw=""
 929         for o in $opts ; do
 930             case "$o" in
 931                 gw\=*)
 932                     gw="${o#gw=}"
 933             esac
 934         done
 935
 936         cat <<EOF | \
 937             diskimage put - "/etc/sysconfig/network-scripts/ifcfg-${dev}"
 938 DEVICE=$dev
 939 ONBOOT=yes
 940 TYPE=Ethernet
 941 IPADDR=$ip
 942 NETMASK=$mask
 943 HWADDR=$mac
 944 ${gw:+GATEWAY=}${gw}
 945 EOF
 946
 947         # This goes to 70-persistent-net.rules
 948         cat <<EOF
 949 # Generated by autocluster
 950 SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="${mac}", ATTR{type}=="1", KERNEL=="eth*", NAME="${dev}"
 951
 952 EOF
 953     done <"$network_map" |
 954     diskimage put - "/etc/udev/rules.d/70-persistent-net.rules"
 955 }
 956
 957 register_hook setup_base_hooks setup_network
 958
 959 setup_timezone() {
 960     [ -z "$TIMEZONE" ] && {
 961         [ -r /etc/timezone ] && {
 962             TIMEZONE=`cat /etc/timezone`
 963         }
 964         [ -r /etc/sysconfig/clock ] && {
 965             . /etc/sysconfig/clock
 966             TIMEZONE="$ZONE"
 967         }
 968         TIMEZONE="${TIMEZONE// /_}"
 969     }
 970     [ -n "$TIMEZONE" ] || \
 971         die "Unable to determine TIMEZONE - please set in config"
 972 }
 973
 974 # substite a set of variables of the form @@XX@@ for the shell
 975 # variables $XX in a file.
 976 #
 977 # Indirect variables @@@XX@@@ (3 ats) specify that the variable should
 978 # contain a filename whose contents are substituted, with variable
 979 # substitution applied to those contents.  If filename starts with '|'
 980 # it is a command instead - however, quoting is extremely fragile.
 981 substitute_vars() {(
 982         infile="${1:-/dev/null}" # if empty then default to /dev/null
 983         outfile="$2" # optional
 984
 985         tmp_out=$(mktemp)
 986         cat "$infile" >"$tmp_out"
 987
 988         # Handle any indirects by looping until nothing changes.
 989         # However, only handle 10 levels of recursion.
 990         count=0
 991         while : ; do
 992             if ! _substitute_vars "$tmp_out" "@@@" ; then
 993                 rm -f "$tmp_out"
 994                 die "Failed to expand template $infile"
 995             fi
 996
 997             # No old version of file means no changes made.
 998             if [ ! -f "${tmp_out}.old" ] ; then
 999                 break
1000             fi
1001
1002             rm -f "${tmp_out}.old"
1003
1004             count=$(($count + 1))
1005             if [ $count -ge 10 ] ; then
1006                 rm -f "$tmp_out"
1007                 die "Recursion too deep in $infile - only 10 levels allowed!"
1008             fi
1009         done
1010
1011         # Now regular variables.
1012         if ! _substitute_vars "$tmp_out" "@@" ; then
1013             rm -f "$tmp_out"
1014             die "Failed to expand template $infile"
1015         fi
1016         rm -f "${tmp_out}.old"
1017
1018         if [ -n "$outfile" ] ; then
1019             mv "$tmp_out" "$outfile"
1020         else
1021             cat "$tmp_out"
1022             rm -f "$tmp_out"
1023         fi
1024 )}
1025
1026
1027 # Delimiter @@ means to substitute contents of variable.
1028 # Delimiter @@@ means to substitute contents of file named by variable.
1029 # @@@ supports leading '|' in variable value, which means to excute a
1030 # command.
1031 _substitute_vars() {(
1032         tmp_out="$1"
1033         delimiter="${2:-@@}"
1034
1035         # Get the list of variables used in the template.  The grep
1036         # gets rid of any blank lines and lines with extraneous '@'s
1037         # next to template substitutions.
1038         VARS=$(sed -n -e "s#[^@]*${delimiter}\([A-Z0-9_][A-Z0-9_]*\)${delimiter}[^@]*#\1\n#gp" "$tmp_out" |
1039             grep '^[A-Z0-9_][A-Z0-9_]*$' |
1040             sort -u)
1041
1042         tmp=$(mktemp)
1043         for v in $VARS; do
1044             # variable variables are fun .....
1045             [ "${!v+x}" ] || {
1046                 rm -f $tmp
1047                 die "No substitution given for ${delimiter}$v${delimiter} in $infile"
1048             }
1049             s=${!v}
1050
1051             if [ "$delimiter" = "@@@" ] ; then
1052                 f=${s:-/dev/null}
1053                 c="${f#|}" # Is is a command, signified by a leading '|'?
1054                 if [ "$c" = "$f" ] ; then
1055                     # No leading '|', cat file.
1056                     s=$(cat -- "$f")
1057                     [ $? -eq 0 ] || {
1058                         rm -f $tmp
1059                         die "Could not substitute contents of file $f"
1060                     }
1061                 else
1062                     # Leading '|', execute command.
1063                     # Quoting problems here - using eval "$c" doesn't help.
1064                     s=$($c)
1065                     [ $? -eq 0 ] || {
1066                         rm -f $tmp
1067                         die "Could not execute command $c"
1068                     }
1069                 fi
1070             fi
1071
1072             # escape some pesky chars
1073             # This first one can be too slow if done using a bash
1074             # variable pattern subsitution.
1075             s=$(echo -n "$s" | tr '\n' '\001' | sed -e 's/\o001/\\n/g')
1076             s=${s//#/\\#}
1077             s=${s//&/\\&}
1078             echo "s#${delimiter}${v}${delimiter}#${s}#g"
1079         done > $tmp
1080
1081         # Get the in-place sed to make a backup of the old file.
1082         # Remove the backup if it is the same as the resulting file -
1083         # this acts as a flag to the caller that no changes were made.
1084         sed -i.old -f $tmp "$tmp_out"
1085         if cmp -s "${tmp_out}.old" "$tmp_out" ; then
1086             rm -f "${tmp_out}.old"
1087         fi
1088
1089         rm -f $tmp
1090 )}
1091
1092 check_command() {
1093     which $1 > /dev/null || die "Please install $1 to continue"
1094 }
1095
1096 # Set a variable if it isn't already set.  This allows environment
1097 # variables to override default config settings.
1098 defconf() {
1099     local v="$1"
1100     local e="$2"
1101
1102     [ "${!v+x}" ] || eval "$v=\"$e\""
1103 }
1104
1105 load_config () {
1106     local i
1107
1108     for i in "${installdir}/config.d/"*.defconf ; do
1109         . "$i"
1110     done
1111 }
1112
1113 # Print the list of config variables defined in config.d/.
1114 get_config_options () {( # sub-shell for local declaration of defconf()
1115         local options=
1116         defconf() { options="$options $1" ; }
1117         load_config
1118         echo $options
1119 )}
1120
1121 # Produce a list of long options, suitable for use with getopt, that
1122 # represent the config variables defined in config.d/.
1123 getopt_config_options () {
1124     local x=$(get_config_options | tr 'A-Z_' 'a-z-')
1125     echo "${x// /:,}:"
1126 }
1127
1128 # Unconditionally set the config variable associated with the given
1129 # long option.
1130 setconf_longopt () {
1131     local longopt="$1"
1132     local e="$2"
1133
1134     local v=$(echo "${longopt#--}" | tr 'a-z-' 'A-Z_')
1135     # unset so defconf will set it
1136     eval "unset $v"
1137     defconf "$v" "$e"
1138 }
1139
1140 # Dump all of the current config variables.
1141 dump_config() {
1142     local o
1143     for o in $(get_config_options) ; do
1144         echo "${o}=\"${!o}\""
1145     done
1146     exit 0
1147 }
1148
1149 # $COLUMNS is set in interactive bash shells.  It probably isn't set
1150 # in this shell, so let's set it if it isn't.
1151 : ${COLUMNS:=$(stty size 2>/dev/null | sed -e 's@.* @@')}
1152 : ${COLUMNS:=80}
1153 export COLUMNS
1154
1155 # Print text assuming it starts after other text in $startcol and
1156 # needs to wrap before $COLUMNS - 2.  Subsequent lines start at $startcol.
1157 # Long "words" will extend past $COLUMNS - 2.
1158 fill_text() {
1159     local startcol="$1"
1160     local text="$2"
1161
1162     local width=$(($COLUMNS - 2 - $startcol))
1163     [ $width -lt 0 ] && width=$((78 - $startcol))
1164
1165     local out=""
1166
1167     local padding
1168     if [ $startcol -gt 0 ] ; then
1169         padding=$(printf "\n%${startcol}s" " ")
1170     else
1171         padding="
1172 "
1173     fi
1174
1175     while [ -n "$text" ] ; do
1176         local orig="$text"
1177
1178         # If we already have output then arrange padding on the next line.
1179         [ -n "$out" ] && out="${out}${padding}"
1180
1181         # Break the text at $width.
1182         out="${out}${text:0:${width}}"
1183         text="${text:${width}}"
1184
1185         # If we have left over text then the line break may be ugly,
1186         # so let's check and try to break it on a space.
1187         if [ -n "$text" ] ; then
1188             # The 'x's stop us producing a special character like '(',
1189             # ')' or '!'.  Yuck - there must be a better way.
1190             if [ "x${text:0:1}" != "x " -a "x${text: -1:1}" != "x " ] ; then
1191                 # We didn't break on a space.  Arrange for the
1192                 # beginning of the broken "word" to appear on the next
1193                 # line but not if it will make us loop infinitely.
1194                 if [ "${orig}" != "${out##* }${text}" ] ; then
1195                     text="${out##* }${text}"
1196                     out="${out% *}"
1197                 else
1198                     # Hmmm, doing that would make us loop, so add the
1199                     # rest of the word from the remainder of the text
1200                     # to this line and let it extend past $COLUMNS - 2.
1201                     out="${out}${text%% *}"
1202                     if [ "${text# *}" != "$text" ] ; then
1203                         # Remember the text after the next space for next time.
1204                         text="${text# *}"
1205                     else
1206                         # No text after next space.
1207                         text=""
1208                     fi
1209                 fi
1210             else
1211                 # We broke on a space.  If it will be at the beginning
1212                 # of the next line then remove it.
1213                 text="${text# }"
1214             fi
1215         fi
1216     done
1217
1218     echo "$out"
1219 }
1220
1221 # Display usage text, trying these approaches in order.
1222 # 1. See if it all fits on one line before $COLUMNS - 2.
1223 # 2. See if splitting before the default value and indenting it
1224 #    to $startcol means that nothing passes $COLUMNS - 2.
1225 # 3. Treat the message and default value as a string and just us fill_text()
1226 #    to format it.
1227 usage_display_text () {
1228     local startcol="$1"
1229     local desc="$2"
1230     local default="$3"
1231
1232     local width=$(($COLUMNS - 2 - $startcol))
1233     [ $width -lt 0 ] && width=$((78 - $startcol))
1234
1235     default="(default \"$default\")"
1236
1237     if [ $((${#desc} + 1 + ${#default})) -le $width ] ; then
1238         echo "${desc} ${default}"
1239     else
1240         local padding=$(printf "%${startcol}s" " ")
1241
1242         if [ ${#desc} -lt $width -a ${#default} -lt $width ] ; then
1243             echo "$desc"
1244             echo "${padding}${default}"
1245         else
1246             fill_text $startcol "${desc} ${default}"
1247         fi
1248     fi
1249 }
1250
1251 # Display usage information for long config options.
1252 usage_smart_display () {( # sub-shell for local declaration of defconf()
1253         local startcol=33
1254
1255         defconf() {
1256             local local longopt=$(echo "$1" | tr 'A-Z_' 'a-z-')
1257
1258             printf "     --%-25s " "${longopt}=${3}"
1259
1260             usage_display_text $startcol "$4" "$2"
1261         }
1262
1263         "$@"
1264 )}
1265
1266
1267 # Display usage information for long config options.
1268 usage_config_options (){
1269     usage_smart_display load_config
1270 }
1271
1272 actions_init ()
1273 {
1274     actions=""
1275 }
1276
1277 actions_add ()
1278 {
1279     actions="${actions}${actions:+ }$*"
1280 }
1281
1282 actions_run ()
1283 {
1284     [ -n "$actions" ] || usage
1285
1286     local a
1287     for a in $actions ; do
1288         $a
1289     done
1290 }
1291
1292 ######################################################################
1293
1294 post_config_hooks=
1295
1296 ######################################################################
1297
1298 load_config
1299
1300 ############################
1301 # parse command line options
1302 long_opts=$(getopt_config_options)
1303 getopt_output=$(getopt -n autocluster -o "c:e:E:xh" -l help,dump -l "$long_opts" -- "$@")
1304 [ $? != 0 ] && usage
1305
1306 use_default_config=true
1307
1308 # We do 2 passes of the options.  The first time we just handle usage
1309 # and check whether -c is being used.
1310 eval set -- "$getopt_output"
1311 while true ; do
1312     case "$1" in
1313         -c) shift 2 ; use_default_config=false ;;
1314         -e) shift 2 ;;
1315         -E) shift 2 ;;
1316         --) shift ; break ;;
1317         --dump|-x) shift ;;
1318         -h|--help) usage ;; # Usage should be shown here for real defaults.
1319         --*) shift 2 ;; # Assume other long opts are valid and take an arg.
1320         *) usage ;; # shouldn't happen, so this is reasonable.
1321     esac
1322 done
1323
1324 config="./config"
1325 $use_default_config && [ -r "$config" ] && . "$config"
1326
1327 eval set -- "$getopt_output"
1328
1329 while true ; do
1330     case "$1" in
1331         -c)
1332             b=$(basename $2)
1333             # force at least ./local_file to avoid accidental file
1334             # from $PATH
1335             . "$(dirname $2)/${b}"
1336             # If $CLUSTER is unset then try to base it on the filename
1337             if [ ! -n "$CLUSTER" ] ; then
1338                 case "$b" in
1339                     *.autocluster)
1340                         CLUSTER="${b%.autocluster}"
1341                 esac
1342             fi
1343             shift 2
1344             ;;
1345         -e) no_sanity=1 ; run_hooks post_config_hooks ; eval "$2" ; exit ;;
1346         -E) eval "$2" ; shift 2 ;;
1347         -x) set -x; shift ;;
1348         --dump) no_sanity=1 ; run_hooks post_config_hooks ; dump_config ;;
1349         --) shift ; break ;;
1350         -h|--help) usage ;; # Redundant.
1351         --*)
1352             # Putting --opt1|opt2|... into a variable and having case
1353             # match against it as a pattern doesn't work.  The | is
1354             # part of shell syntax, so we need to do this.  Look away
1355             # now to stop your eyes from bleeding! :-)
1356             x=",${long_opts}" # Now each option is surrounded by , and :
1357             if [ "$x" != "${x#*,${1#--}:}" ] ; then
1358                 # Our option, $1, surrounded by , and : was in $x, so is legal.
1359                 setconf_longopt "$1" "$2"; shift 2
1360             else
1361                 usage
1362             fi
1363             ;;
1364         *) usage ;; # shouldn't happen, so this is reasonable.
1365     esac
1366 done
1367
1368 run_hooks post_config_hooks
1369
1370 # catch errors
1371 set -e
1372 set -E
1373 trap 'es=$?;
1374       echo ERROR: failed in function \"${FUNCNAME}\" at line ${LINENO} of ${BASH_SOURCE[0]} with code $es;
1375       exit $es' ERR
1376
1377 # check for needed programs
1378 check_command expect
1379
1380 [ $# -lt 1 ] && usage
1381
1382 t="$1"
1383 shift
1384
1385 case "$t" in
1386     base)
1387         actions_init
1388         for t in "$@" ; do
1389             case "$t" in
1390                 create|boot) actions_add "base_${t}" ;;
1391                 *) usage ;;
1392             esac
1393         done
1394         actions_run
1395         ;;
1396
1397     cluster)
1398         actions_init
1399         for t in "$@" ; do
1400             case "$t" in
1401                 destroy|create|update_hosts|boot|configure)
1402                     actions_add "cluster_${t}" ;;
1403                 *) usage ;;
1404             esac
1405         done
1406         actions_run
1407         ;;
1408
1409     create)
1410         t="$1"
1411         shift
1412         case "$t" in
1413             base)
1414                 [ $# != 0 ] && usage
1415                 base_create
1416                 ;;
1417             cluster)
1418                 [ $# != 1 ] && usage
1419                 cluster_create "$1"
1420                 ;;
1421             node)
1422                 [ $# != 2 ] && usage
1423                 create_one_node "$1" "$2"
1424                 ;;
1425             *)
1426                 usage;
1427                 ;;
1428         esac
1429         ;;
1430     mount)
1431         [ $# != 1 ] && usage
1432         diskimage mount "$1"
1433         ;;
1434     unmount|umount)
1435         [ $# != 0 ] && usage
1436         diskimage unmount
1437         ;;
1438     bootbase)
1439         base_boot;
1440         ;;
1441     *)
1442         usage;
1443         ;;
1444 esac