autobuild: Output test results in subunit.
[sfrench/samba-autobuild/.git] / script / autobuild.py
1 #!/usr/bin/env python
2 # run tests on all Samba subprojects and push to a git tree on success
3 # Copyright Andrew Tridgell 2010
4 # released under GNU GPL v3 or later
5
6 from subprocess import Popen, PIPE
7 import os, tarfile, sys, time
8 from optparse import OptionParser
9 import smtplib
10 from email.mime.text import MIMEText
11
12 samba_master = os.getenv('SAMBA_MASTER', 'git://git.samba.org/samba.git')
13 samba_master_ssh = os.getenv('SAMBA_MASTER_SSH', 'git+ssh://git.samba.org/data/git/samba.git')
14
15 cleanup_list = []
16
17 os.putenv('CC', "ccache gcc")
18
19 tasks = {
20     "source3" : [ ("autogen", "./autogen.sh", "text/plain"),
21                   ("configure", "./configure.developer ${PREFIX}", "text/plain"),
22                   ("make basics", "make basics", "text/plain"),
23                   ("make", "make -j 4 everything", "text/plain"), # don't use too many processes
24                   ("install", "make install", "text/plain"),
25                   ("test", "TDB_NO_FSYNC=1 make subunit-test FAIL_IMMEDIATELY=1", "text/x-subunit") ],
26
27     "source4" : [ ("configure", "./configure.developer ${PREFIX}", "text/plain"),
28                   ("make", "make -j", "text/plain"),
29                   ("install", "make install", "text/plain"),
30                   ("test", "TDB_NO_FSYNC=1 make subunit-test FAIL_IMMEDIATELY=1", "text/x-subunit") ],
31
32     "source4/lib/ldb" : [ ("configure", "./configure --enable-developer -C ${PREFIX}", "text/plain"),
33                           ("make", "make -j", "text/plain"),
34                           ("install", "make install", "text/plain"),
35                           ("test", "make test", "text/plain") ],
36
37     "lib/tdb" : [ ("autogen", "./autogen-waf.sh", "text/plain"),
38                   ("configure", "./configure --enable-developer -C ${PREFIX}", "text/plain"),
39                   ("make", "make -j", "text/plain"),
40                   ("install", "make install", "text/plain"),
41                   ("test", "make test", "text/plain") ],
42
43     "lib/talloc" : [ ("autogen", "./autogen-waf.sh", "text/plain"),
44                      ("configure", "./configure --enable-developer -C ${PREFIX}", "text/plain"),
45                      ("make", "make -j", "text/plain"),
46                      ("install", "make install", "text/plain"),
47                      ("test", "make test", "text/plain"), ],
48
49     "lib/replace" : [ ("autogen", "./autogen-waf.sh", "text/plain"),
50                       ("configure", "./configure --enable-developer -C ${PREFIX}", "text/plain"),
51                       ("make", "make -j", "text/plain"),
52                       ("install", "make install", "text/plain"),
53                       ("test", "make test", "text/plain"), ],
54
55     "lib/tevent" : [ ("configure", "./configure --enable-developer -C ${PREFIX}", "text/plain"),
56                      ("make", "make -j", "text/plain"),
57                      ("install", "make install", "text/plain"),
58                      ("test", "make test", "text/plain"), ],
59 }
60
61 retry_task = [ '''set -e
62                 git remote add -t master master %s
63                 git fetch master
64                 while :; do
65                   sleep 60
66                   git describe master/master > old_master.desc
67                   git fetch master
68                   git describe master/master > master.desc
69                   diff old_master.desc master.desc
70                 done
71                ''' % samba_master]
72
73 def run_cmd(cmd, dir=".", show=None, output=False, checkfail=True):
74     cwd = os.getcwd()
75     os.chdir(dir)
76     if show is None:
77         show = options.verbose
78     if show:
79         print("Running: '%s' in '%s'" % (cmd, dir))
80     if output:
81         ret = Popen([cmd], shell=True, stdout=PIPE).communicate()[0]
82         os.chdir(cwd)
83         return ret
84     ret = os.system(cmd)
85     os.chdir(cwd)
86     if checkfail and ret != 0:
87         raise Exception("FAILED %s: %d" % (cmd, ret))
88     return ret
89
90 class builder(object):
91     '''handle build of one directory'''
92
93     def __init__(self, name, sequence):
94         self.name = name
95
96         if name in ['pass', 'fail', 'retry']:
97             self.dir = "."
98         else:
99             self.dir = self.name
100
101         self.tag = self.name.replace('/', '_')
102         self.sequence = sequence
103         self.next = 0
104         self.stdout_path = "%s/%s.stdout" % (gitroot, self.tag)
105         self.stderr_path = "%s/%s.stderr" % (gitroot, self.tag)
106         if options.verbose:
107             print("stdout for %s in %s" % (self.name, self.stdout_path))
108             print("stderr for %s in %s" % (self.name, self.stderr_path))
109         run_cmd("rm -f %s %s" % (self.stdout_path, self.stderr_path))
110         self.stdout = open(self.stdout_path, 'w')
111         self.stderr = open(self.stderr_path, 'w')
112         self.stdin  = open("/dev/null", 'r')
113         self.sdir = "%s/%s" % (testbase, self.tag)
114         self.prefix = "%s/prefix/%s" % (testbase, self.tag)
115         run_cmd("rm -rf %s" % self.sdir)
116         cleanup_list.append(self.sdir)
117         cleanup_list.append(self.prefix)
118         os.makedirs(self.sdir)
119         run_cmd("rm -rf %s" % self.sdir)
120         run_cmd("git clone --shared %s %s" % (gitroot, self.sdir))
121         self.start_next()
122
123     def start_next(self):
124         if self.next == len(self.sequence):
125             print '%s: Completed OK' % self.name
126             self.done = True
127             return
128         (self.stage, self.cmd, self.output_mime_type) = self.sequence[self.next]
129         self.cmd = self.cmd.replace("${PREFIX}", "--prefix=%s" % self.prefix)
130         if self.output_mime_type == "text/x-subunit":
131             self.cmd += " | %s --immediate" % (os.path.join(os.path.dirname(__file__), "selftest/format-subunit"))
132         print '%s: [%s] Running %s' % (self.name, self.stage, self.cmd)
133         cwd = os.getcwd()
134         os.chdir("%s/%s" % (self.sdir, self.dir))
135         self.proc = Popen(self.cmd, shell=True,
136                           stdout=self.stdout, stderr=self.stderr, stdin=self.stdin)
137         os.chdir(cwd)
138         self.next += 1
139
140
141 class buildlist(object):
142     '''handle build of multiple directories'''
143
144     def __init__(self, tasklist, tasknames):
145         global tasks
146         self.tlist = []
147         self.tail_proc = None
148         self.retry = None
149         if tasknames == ['pass']:
150             tasks = { 'pass' : [ ("pass", '/bin/true', "text/plain") ]}
151         if tasknames == ['fail']:
152             tasks = { 'fail' : [ ("fail", '/bin/false', "text/plain") ]}
153         if tasknames == []:
154             tasknames = tasklist
155         for n in tasknames:
156             b = builder(n, tasks[n])
157             self.tlist.append(b)
158         if options.retry:
159             self.retry = builder('retry', retry_task)
160             self.need_retry = False
161
162     def kill_kids(self):
163         if self.tail_proc is not None:
164             self.tail_proc.terminate()
165             self.tail_proc.wait()
166             self.tail_proc = None
167         if self.retry is not None:
168             self.retry.proc.terminate()
169             self.retry.proc.wait()
170             self.retry = None
171         for b in self.tlist:
172             if b.proc is not None:
173                 run_cmd("killbysubdir %s > /dev/null 2>&1" % b.sdir, checkfail=False)
174                 b.proc.terminate()
175                 b.proc.wait()
176                 b.proc = None
177
178     def wait_one(self):
179         while True:
180             none_running = True
181             for b in self.tlist:
182                 if b.proc is None:
183                     continue
184                 none_running = False
185                 b.status = b.proc.poll()
186                 if b.status is None:
187                     continue
188                 b.proc = None
189                 return b
190             if options.retry:
191                 ret = self.retry.proc.poll()
192                 if ret is not None:
193                     self.need_retry = True
194                     self.retry = None
195                     return None
196             if none_running:
197                 return None
198             time.sleep(0.1)
199
200     def run(self):
201         while True:
202             b = self.wait_one()
203             if options.retry and self.need_retry:
204                 self.kill_kids()
205                 print("retry needed")
206                 return (0, "retry")
207             if b is None:
208                 break
209             if os.WIFSIGNALED(b.status) or os.WEXITSTATUS(b.status) != 0:
210                 self.kill_kids()
211                 return (b.status, b.name, b.stage, b.tag, "%s: [%s] failed '%s' with status %d" % (b.name, b.stage, b.cmd, b.status))
212             b.start_next()
213         self.kill_kids()
214         return (0, None, None, None, "All OK")
215
216     def tarlogs(self, fname):
217         tar = tarfile.open(fname, "w:gz")
218         for b in self.tlist:
219             tar.add(b.stdout_path, arcname="%s.stdout" % b.tag)
220             tar.add(b.stderr_path, arcname="%s.stderr" % b.tag)
221         tar.close()
222
223     def remove_logs(self):
224         for b in self.tlist:
225             os.unlink(b.stdout_path)
226             os.unlink(b.stderr_path)
227
228     def start_tail(self):
229         cwd = os.getcwd()
230         cmd = "tail -f *.stdout *.stderr"
231         os.chdir(gitroot)
232         self.tail_proc = Popen(cmd, shell=True)
233         os.chdir(cwd)
234
235
236 def cleanup():
237     if options.nocleanup:
238         return
239     print("Cleaning up ....")
240     for d in cleanup_list:
241         run_cmd("rm -rf %s" % d)
242
243
244 def find_git_root():
245     '''get to the top of the git repo'''
246     p=os.getcwd()
247     while p != '/':
248         if os.path.isdir(os.path.join(p, ".git")):
249             return p
250         p = os.path.abspath(os.path.join(p, '..'))
251     return None
252
253
254 def daemonize(logfile):
255     pid = os.fork()
256     if pid == 0: # Parent
257         os.setsid()
258         pid = os.fork()
259         if pid != 0: # Actual daemon
260             os._exit(0)
261     else: # Grandparent
262         os._exit(0)
263
264     import resource      # Resource usage information.
265     maxfd = resource.getrlimit(resource.RLIMIT_NOFILE)[1]
266     if maxfd == resource.RLIM_INFINITY:
267         maxfd = 1024 # Rough guess at maximum number of open file descriptors.
268     for fd in range(0, maxfd):
269         try:
270             os.close(fd)
271         except OSError:
272             pass
273     os.open(logfile, os.O_RDWR | os.O_CREAT)
274     os.dup2(0, 1)
275     os.dup2(0, 2)
276
277
278 def rebase_tree(url):
279     print("Rebasing on %s" % url)
280     run_cmd("git remote add -t master master %s" % url, show=True, dir=test_master)
281     run_cmd("git fetch master", show=True, dir=test_master)
282     if options.fix_whitespace:
283         run_cmd("git rebase --whitespace=fix master/master", show=True, dir=test_master)
284     else:
285         run_cmd("git rebase master/master", show=True, dir=test_master)
286     diff = run_cmd("git --no-pager diff HEAD master/master", dir=test_master, output=True)
287     if diff == '':
288         print("No differences between HEAD and master/master - exiting")
289         sys.exit(0)
290
291 def push_to(url):
292     print("Pushing to %s" % url)
293     if options.mark:
294         run_cmd("EDITOR=script/commit_mark.sh git commit --amend -c HEAD", dir=test_master)
295         # the notes method doesn't work yet, as metze hasn't allowed refs/notes/* in master
296         # run_cmd("EDITOR=script/commit_mark.sh git notes edit HEAD", dir=test_master)
297     run_cmd("git remote add -t master pushto %s" % url, show=True, dir=test_master)
298     run_cmd("git push pushto +HEAD:master", show=True, dir=test_master)
299
300 def_testbase = os.getenv("AUTOBUILD_TESTBASE", "/memdisk/%s" % os.getenv('USER'))
301
302 parser = OptionParser()
303 parser.add_option("", "--tail", help="show output while running", default=False, action="store_true")
304 parser.add_option("", "--keeplogs", help="keep logs", default=False, action="store_true")
305 parser.add_option("", "--nocleanup", help="don't remove test tree", default=False, action="store_true")
306 parser.add_option("", "--testbase", help="base directory to run tests in (default %s)" % def_testbase,
307                   default=def_testbase)
308 parser.add_option("", "--passcmd", help="command to run on success", default=None)
309 parser.add_option("", "--verbose", help="show all commands as they are run",
310                   default=False, action="store_true")
311 parser.add_option("", "--rebase", help="rebase on the given tree before testing",
312                   default=None, type='str')
313 parser.add_option("", "--rebase-master", help="rebase on %s before testing" % samba_master,
314                   default=False, action='store_true')
315 parser.add_option("", "--pushto", help="push to a git url on success",
316                   default=None, type='str')
317 parser.add_option("", "--push-master", help="push to %s on success" % samba_master_ssh,
318                   default=False, action='store_true')
319 parser.add_option("", "--mark", help="add a Tested-By signoff before pushing",
320                   default=False, action="store_true")
321 parser.add_option("", "--fix-whitespace", help="fix whitespace on rebase",
322                   default=False, action="store_true")
323 parser.add_option("", "--retry", help="automatically retry if master changes",
324                   default=False, action="store_true")
325 parser.add_option("", "--email", help="send email to the given address on failure",
326                   type='str', default=None)
327 parser.add_option("", "--always-email", help="always send email, even on success",
328                   action="store_true")
329 parser.add_option("", "--daemon", help="daemonize after initial setup",
330                   action="store_true")
331
332
333 def email_failure(status, failed_task, failed_stage, failed_tag, errstr):
334     '''send an email to options.email about the failure'''
335     user = os.getenv("USER")
336     text = '''
337 Dear Developer,
338
339 Your autobuild failed when trying to test %s with the following error:
340    %s
341
342 the autobuild has been abandoned. Please fix the error and resubmit.
343
344 You can see logs of the failed task here:
345
346   http://git.samba.org/%s/samba-autobuild/%s.stdout
347   http://git.samba.org/%s/samba-autobuild/%s.stderr
348
349 or you can get full logs of all tasks in this job here:
350
351   http://git.samba.org/%s/samba-autobuild/logs.tar.gz
352
353 ''' % (failed_task, errstr, user, failed_tag, user, failed_tag, user)
354     msg = MIMEText(text)
355     msg['Subject'] = 'autobuild failure for task %s during %s' % (failed_task, failed_stage)
356     msg['From'] = 'autobuild@samba.org'
357     msg['To'] = options.email
358
359     s = smtplib.SMTP()
360     s.connect()
361     s.sendmail(msg['From'], [msg['To']], msg.as_string())
362     s.quit()
363
364 def email_success():
365     '''send an email to options.email about a successful build'''
366     user = os.getenv("USER")
367     text = '''
368 Dear Developer,
369
370 Your autobuild has succeeded.
371
372 '''
373
374     if options.keeplogs:
375         text += '''
376
377 you can get full logs of all tasks in this job here:
378
379   http://git.samba.org/%s/samba-autobuild/logs.tar.gz
380
381 ''' % (user,)
382     msg = MIMEText(text)
383     msg['Subject'] = 'autobuild success'
384     msg['From'] = 'autobuild@samba.org'
385     msg['To'] = options.email
386
387     s = smtplib.SMTP()
388     s.connect()
389     s.sendmail(msg['From'], [msg['To']], msg.as_string())
390     s.quit()
391
392
393 (options, args) = parser.parse_args()
394
395 if options.retry:
396     if not options.rebase_master and options.rebase is None:
397         raise Exception('You can only use --retry if you also rebase')
398
399 testbase = "%s/b%u" % (options.testbase, os.getpid())
400 test_master = "%s/master" % testbase
401
402 gitroot = find_git_root()
403 if gitroot is None:
404     raise Exception("Failed to find git root")
405
406 try:
407     os.makedirs(testbase)
408 except Exception, reason:
409     raise Exception("Unable to create %s : %s" % (testbase, reason))
410 cleanup_list.append(testbase)
411
412 if options.daemon:
413     logfile = os.path.join(testbase, "log")
414     print "Forking into the background, writing progress to %s" % logfile
415     daemonize(logfile)
416
417 while True:
418     try:
419         run_cmd("rm -rf %s" % test_master)
420         cleanup_list.append(test_master)
421         run_cmd("git clone --shared %s %s" % (gitroot, test_master))
422     except:
423         cleanup()
424         raise
425
426     try:
427         if options.rebase is not None:
428             rebase_tree(options.rebase)
429         elif options.rebase_master:
430             rebase_tree(samba_master)
431         blist = buildlist(tasks, args)
432         if options.tail:
433             blist.start_tail()
434         (status, failed_task, failed_stage, failed_tag, errstr) = blist.run()
435         if status != 0 or errstr != "retry":
436             break
437         cleanup()
438     except:
439         cleanup()
440         raise
441
442 blist.kill_kids()
443 if options.tail:
444     print("waiting for tail to flush")
445     time.sleep(1)
446
447 if status == 0:
448     print errstr
449     if options.passcmd is not None:
450         print("Running passcmd: %s" % options.passcmd)
451         run_cmd(options.passcmd, dir=test_master)
452     if options.pushto is not None:
453         push_to(options.pushto)
454     elif options.push_master:
455         push_to(samba_master_ssh)
456     if options.keeplogs:
457         blist.tarlogs("logs.tar.gz")
458         print("Logs in logs.tar.gz")
459     if options.always_email:
460         email_success()
461     blist.remove_logs()
462     cleanup()
463     print(errstr)
464     sys.exit(0)
465
466 # something failed, gather a tar of the logs
467 blist.tarlogs("logs.tar.gz")
468
469 if options.email is not None:
470     email_failure(status, failed_task, failed_stage, failed_tag, errstr)
471
472 cleanup()
473 print(errstr)
474 print("Logs in logs.tar.gz")
475 sys.exit(status)