Various:
[obnox/wireshark/wip.git] / make-manuf
index a9df3ec7f5e169172db105da33cb70df4d587d0c..b1b20f0a13a07fcec9bf6091b2707f035cafa58d 100755 (executable)
@@ -1,6 +1,6 @@
 #!/usr/bin/perl -w
 #
-# $Id: make-manuf,v 1.7 2002/09/09 19:38:09 guy Exp $
+# $Id$
 #
 # Make-manuf - Creates a file containing ethernet OUIs and their
 # company IDs.  It merges the databases at
 # precedence.
 
 # LWP is part of the standard Perl module libwww 
+
+use Encode;
+use open ':encoding(utf8)'; 
+
 eval "require LWP::UserAgent;";
 if( $@ ) {
   die "LWP isn't installed. It is part of the standard Perl\n" .
        " module libwww.  Bailing.\n";
 }
+$agent    = LWP::UserAgent->new;
 
 $template = "manuf.tmpl";
 $wkatmpl  = "wka.tmpl";
 $outfile  = "manuf";
 $inheader = 1;
-$ieee_url = "http://standards.ieee.org/regauth/oui/oui_public.txt";
+$oui_url  = "http://standards.ieee.org/regauth/oui/oui.txt";
+$iab_url  = "http://standards.ieee.org/regauth/oui/iab.txt";
 $cb_url   = "http://www.cavebear.com/CaveBear/Ethernet/Ethernet.txt";
 %oui_list = ();
 $hp       = "[0-9a-fA-F]{2}";
@@ -35,53 +41,96 @@ $ieee_re  = "$hp-$hp-$hp";
 $tmpl_added   = 0;
 $cb_added     = 0;
 $cb_skipped   = 0;
-$ieee_added   = 0;
-$ieee_skipped = 0;
-
-$agent    = LWP::UserAgent->new;
-
-print "Fetching $cb_url.\n";
-$request  = HTTP::Request->new(GET => $cb_url);
-$result   = $agent->request($request);
-
-if (!$result->is_success) {
-  die ("Error fetching $cb_url: " . $result->status_line . "\n");
+$oui_added   = 0;
+$oui_skipped = 0;
+$iab_added   = 0;
+$iab_skipped = 0;
+
+sub shorten
+{
+  my $origmanuf = shift; 
+  my $manuf = " " . $origmanuf . " ";
+  # Remove any punctuation
+  $manuf =~ tr/',.()/    /;
+  # & isn't needed when Standalone
+  $manuf =~ s/ \& / /g;
+  # Remove any "the", "inc", "plc" ...
+  $manuf =~ s/\s(the|inc|incorporated|plc||systems|corp|corporation|s\/a|a\/s|ab|ag|kg|gmbh|co|company|limited|ltd|holding|spa)(?= )//gi;
+  # Convert to consistent case
+  $manuf =~ s/(\w+)/\u\L$1/g;
+  # Remove all spaces
+  $manuf =~ s/\s+//g;
+  # Truncate all names to a reasonable length, say 10 characters.
+  $manuf = substr($manuf, 0, 10);
+
+  if ($manuf =~ /\Q$origmanuf\E/i) {
+    return $manuf;
+  } else {
+    return sprintf("%-22s # %s", $manuf, $origmanuf);
+  }
 }
-$cb_list = $result->content;
 
-print "Fetching $ieee_url.\n";
-$request  = HTTP::Request->new(GET => $ieee_url);
-$result   = $agent->request($request);
+sub fetch
+{
+  my $url = shift;
+  print "Fetching $url.\n";
+  $request  = HTTP::Request->new(GET => $url);
+  $result   = $agent->request($request);
 
-if (!$result->is_success) {
-  die ("Error fetching $ieee_url: " . $result->status_line . "\n");
+  if (!$result->is_success) {
+    die ("Error fetching $url: " . $result->status_line . "\n");
+  }
+  return decode("iso-8859-1", $result->content);
 }
-$ieee_list = $result->content;
+
+# Write out the header and populate the OUI list with our entries.
 
 open (TMPL, "< $template") || 
   die "Couldn't open template file for reading ($template)\n";
 
-open (WKATMPL, "< $wkatmpl") || 
-  die "Couldn't open well-known address template file for reading ($wkatmpl)\n";
-
-open (OUT, "> $outfile") ||
-  die "Couldn't open output file for writing ($outfile)\n";
-
-# Write out the header and populate the OUI list with our entries.
 while ($line = <TMPL>) {
   chomp($line);
   if ($line !~ /^$oui_re\s+\S/ && $inheader) {
-    print(OUT "$line\n");
+    $header .= "$line\n";
   } elsif (($oui, $manuf) = ($line =~ /^($oui_re)\s+(\S.*)$/)) {
     $inheader = 0;
     # Ensure OUI is all upper-case
     $oui =~ tr/a-f/A-F/;
+    # $oui_list{$oui} = &shorten($manuf);
     $oui_list{$oui} = $manuf;
     $tmpl_added++;
   }
 }
 
+# Add IEEE entries for IABs
+
+$ieee_list = fetch($iab_url);
+
+foreach $line (split(/\n/, $ieee_list)) {
+  # determine the OUI used for IAB (currently only 00-50-C2)
+  if (($iab_tmp, $manuf) = ($line =~ /^($ieee_re)\s+\(hex\)\s+(\S.*)$/)) {
+      $iab_base = $iab_tmp;
+  }
+  # determine next two bytes
+  if (($iab4, $iab5, $manuf) = ($line =~ /^($hp)($hp)$hp-$hp$hp$hp\s+\(base\s16\)\s+(\S.*)$/)) {
+    $iab = "$iab_base:$iab4:$iab5:00/36";
+    $iab =~ tr /-/:/; # The IEEE bytes are separated by dashes.
+    # Ensure IAB is all upper-case
+    $iab =~ tr/a-f/A-F/;
+    if (exists $oui_list{$iab}) {
+      printf "$iab - Skipping IEEE \"$manuf\" in favor of \"$oui_list{$iab}\"\n";
+      $iab_skipped++;
+    } else {
+      $oui_list{$iab} = &shorten($manuf);
+      $iab_added++;
+    }
+  }
+}
+
 # Add IEEE entries for OUIs not yet known.
+
+$ieee_list = fetch($oui_url);
+
 foreach $line (split(/\n/, $ieee_list)) {
   if (($oui, $manuf) = ($line =~ /^($ieee_re)\s+\(hex\)\s+(\S.*)$/)) {
     $oui =~ tr /-/:/;  # The IEEE bytes are separated by dashes.
@@ -89,15 +138,18 @@ foreach $line (split(/\n/, $ieee_list)) {
     $oui =~ tr/a-f/A-F/;
     if (exists $oui_list{$oui}) {
       printf "$oui - Skipping IEEE \"$manuf\" in favor of \"$oui_list{$oui}\"\n";
-      $ieee_skipped++;
+      $oui_skipped++;
     } else {
-      $oui_list{$oui} = $manuf;
-      $ieee_added++;
+      $oui_list{$oui} = &shorten($manuf);
+      $oui_added++;
     }
   }
 }
 
 # Add CaveBear entries for OUIs not yet known.
+
+$cb_list = fetch($cb_url);
+
 foreach $line (split(/\n/, $cb_list)) {
   if (($oui, $manuf) = ($line =~ /^($cb_re)\s+(\S.*)$/)) {
     ($h1, $h2, $h3) = ($oui =~ /($hp)($hp)($hp)/);  # The CaveBear bytes have no separators
@@ -105,24 +157,36 @@ foreach $line (split(/\n/, $cb_list)) {
     # Ensure OUI is all upper-case
     $oui =~ tr/a-f/A-F/;
     if (exists $oui_list{$oui}) {
-      printf "$oui - Skipping CaveBear \"$manuf\" in favor of \"$oui_list{$oui}\"\n";
+      printf "$oui - Skipping CaveBear \"$manuf\" in favor of \"$oui_list{$oui}\"\n";
       $cb_skipped++;
     } else {
-      $oui_list{$oui} = $manuf;
+      printf "$oui - adding \"$manuf\" from CaveBear\n";
+      $oui_list{$oui} = &shorten($manuf);
       $cb_added++;
     }
   }
 }
 
+# Write output file
+
+open (OUT, "> $outfile") ||
+  die "Couldn't open output file for writing ($outfile)\n";
+
+print(OUT "# This file was generated by running ./make-manuf.\n");
+print(OUT "# Don't change it directly, change manuf.tmpl and wka.tmpl instead.\n#\n");
+print(OUT "$header");
+
 foreach $oui (sort(keys %oui_list)) {
   print(OUT "$oui\t$oui_list{$oui}\n");
 }
 
-#
 # Write out a blank line separating the OUIs from the well-known
 # addresses, and then read the well-known address template file
 # and write it to the manuf file.
-#
+
+open (WKATMPL, "< $wkatmpl") || 
+  die "Couldn't open well-known address template file for reading ($wkatmpl)\n";
+
 # XXX - it'd be nice to get this from the Cavebear file, but inferring
 # the address mask from entries in that file involves some work.
 #
@@ -132,13 +196,15 @@ while ($line = <WKATMPL>) {
   print(OUT "$line\n");
 }
 
-$total_added = $tmpl_added + $cb_added + $ieee_added;
+$total_added = $tmpl_added + $cb_added + $oui_added + $iab_added;
 print <<"Fin"
 Original entries : $tmpl_added
-IEEE added       : $ieee_added
+IEEE OUI added   : $oui_added
+IEEE IAB added   : $iab_added
 CaveBear added   : $cb_added
 Total            : $total_added
 
-IEEE skipped     : $ieee_skipped
+IEEE OUI skipped : $oui_skipped
+IEEE IAB skipped : $iab_skipped
 CaveBear skipped : $cb_skipped
 Fin