tools/whenjobs.ml

   1 (* whenjobs daemon
   2  * Copyright (C) 2012 Red Hat Inc.
   3  *
   4  * This program is free software; you can redistribute it and/or modify
   5  * it under the terms of the GNU General Public License as published by
   6  * the Free Software Foundation; either version 2 of the License, or
   7  * (at your option) any later version.
   8  *
   9  * This program is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License along
  15  * with this program; if not, write to the Free Software Foundation, Inc.,
  16  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  17  *)
  18
  19 open Big_int
  20 open Unix
  21 open Printf
  22
  23 open Whenutils
  24
  25 (* Ensures that Whentools module is linked to the whenjobs tool. *)
  26 let _ = Whentools.set_variable
  27
  28 let libdir = ref Libdir.libdir
  29
  30 let jobsdir =
  31   (* Running the program as root is a mistake.  It must be run as a
  32    * non-root user.
  33    *)
  34   let euid = geteuid () in
  35   if euid = 0 then (
  36     eprintf "whenjobs: this program must not be run as root\n";
  37     exit 1
  38   );
  39
  40   (* $HOME must be defined and must exist and be a directory and must be
  41    * owned by the current user.
  42    *)
  43   let home =
  44     try getenv "HOME"
  45     with Not_found ->
  46       eprintf "whenjobs: $HOME environment variable must be defined\n";
  47       exit 1 in
  48
  49   let stat =
  50     try lstat home
  51     with Unix_error (err, fn, _) ->
  52       eprintf "whenjobs: %s: %s ($HOME): %s\n" fn home (error_message err);
  53       exit 1 in
  54   if stat.st_kind != S_DIR then (
  55     eprintf "whenjobs: %s ($HOME): not a directory\n" home;
  56     exit 1
  57   );
  58
  59   if stat.st_uid != euid then (
  60     eprintf "whenjobs: %s ($HOME): not owned by the current user (uid %d)\n"
  61       home euid;
  62     exit 1
  63   );
  64
  65   (* Make the $HOME/.whenjobs directory if it doesn't exist. *)
  66   let jobsdir = sprintf "%s/.whenjobs" home in
  67   (try mkdir jobsdir 0o700 with Unix_error _ -> ());
  68
  69   jobsdir
  70
  71 let rec main () =
  72   (* Parse the command line arguments. *)
  73   let mode = ref None in
  74   let typ = ref `String in
  75
  76   let set_mode m () = mode := Some m in
  77
  78   let set_type t =
  79     typ :=
  80       match t with
  81       | "bool"|"boolean" -> `Bool
  82       | "string" -> `String
  83       | "int" -> `Int
  84       | "float"|"double" -> `Float
  85       | "unit" -> `Unit
  86       | _ ->
  87         eprintf "whenjobs: --type: unknown type (%s)\n" t;
  88         exit 1
  89   in
  90
  91   let display_version () =
  92     printf "%s %s\n" Config.package_name Config.package_version;
  93     exit 0
  94   in
  95
  96   let argspec = Arg.align [
  97     "--cancel", Arg.Unit (set_mode `Cancel), " Cancel a job";
  98     "--daemon-start", Arg.Unit (set_mode `Daemon_start), " Start the daemon";
  99     "--daemon-status", Arg.Unit (set_mode `Daemon_status), " Display the status of the daemon";
 100     "--daemon-stop", Arg.Unit (set_mode `Daemon_stop), " Stop the daemon";
 101     "--daemon-restart", Arg.Unit (set_mode `Daemon_restart), " Restart the daemon";
 102     "-e", Arg.Unit (set_mode `Edit), " Edit and upload the script";
 103     "--edit", Arg.Unit (set_mode `Edit), " Edit and upload the script";
 104     "--get", Arg.Unit (set_mode `Get), "var Display the variable";
 105     "--job-names", Arg.Unit (set_mode `JobNames), " List names of loaded jobs";
 106     "--jobs", Arg.Unit (set_mode `Jobs), " List running jobs";
 107     "-l", Arg.Unit (set_mode `List), " List the script";
 108     "--list", Arg.Unit (set_mode `List), " List the script";
 109     "--lib", Arg.Set_string libdir, "dir Specify directory that contains pa_when.cmo";
 110     "--set", Arg.Unit (set_mode `Set), " Set the variable";
 111     "--start", Arg.Unit (set_mode `Start), "name Start a job manually";
 112     "--tail", Arg.Unit (set_mode `Tail), "serial Tail job output";
 113     "--test", Arg.Unit (set_mode `Test), " Test the effect of setting variables";
 114     "--type", Arg.String set_type, "bool|int|float|string|.. Set the variable type";
 115     "--upload", Arg.Unit (set_mode `Upload), " Upload the script";
 116     "--variables", Arg.Unit (set_mode `Variables), " Display all variables and values";
 117     "-V", Arg.Unit display_version, " Display version number and exit";
 118     "--version", Arg.Unit display_version, " Display version number and exit";
 119     "--whisper", Arg.Unit (set_mode `Whisper), " Set the variable, quietly";
 120   ] in
 121
 122   (* anon_fun normally just collects up the anonymous arguments as
 123    * strings, and most modes just use 'args' as a list of strings.
 124    * However for `Set, `Test and `Whisper modes we need to record the
 125    * type of each argument as well, so we keep that in a separate list
 126    * (argtypes).
 127    *)
 128   let argtypes = ref [] in
 129   let anon_fun str = argtypes := (str, !typ) :: !argtypes in
 130
 131   let usage_msg = "\
 132 Whenjobs is a powerful but simple cron replacement.
 133 Whenjobs copyright (C) 2012 Red Hat Inc.
 134
 135 Editing the script:
 136
 137   whenjobs -e | --edit
 138   whenjobs -l | --list
 139
 140 Get and set variables:
 141
 142   whenjobs --get variable
 143   whenjobs --set variable=value
 144
 145 Start and stop the per-user daemon:
 146
 147   whenjobs --daemon-start | --daemon-stop | --daemon-status
 148
 149 For documentation see the whenjobs(1) man page.
 150
 151 Options:
 152 " in
 153
 154   Arg.parse argspec anon_fun usage_msg;
 155
 156   let mode = !mode in
 157   let argtypes = List.rev !argtypes in
 158   let args = List.map fst argtypes in
 159   let nr_args = List.length args in
 160   let arg1 = match args with [] -> "" | a::_ -> a in
 161
 162   (* Depending on the selected mode, perform a different action. *)
 163   match mode with
 164   | None ->
 165     eprintf "whenjobs: no operation selected.\n";
 166     suggest_help ();
 167     exit 1
 168
 169   | Some `Edit ->
 170     unused_error args "-e";
 171     edit_file ()
 172
 173   | Some `List ->
 174     unused_error args "-l";
 175     list_file ()
 176
 177   | Some `Upload ->
 178     unused_error args "--upload";
 179     upload_file ()
 180
 181   | Some `Set ->
 182     if nr_args = 2 && not (String.contains arg1 '=') then (
 183       eprintf "'whenjobs --set variable value' is the old whenjobs <= 0.5 syntax!\n";
 184       eprintf "You need to change this to:\n";
 185       eprintf "  whenjobs --set variable=value\n";
 186       suggest_help ();
 187       exit 1
 188     );
 189     (* Just ignore the case where no variables are defined, to make
 190      * it easier to write shell scripts.
 191      *)
 192     if nr_args > 0 then
 193       set_variables argtypes
 194
 195   | Some `Test ->
 196     if nr_args > 0 then
 197       test_variables argtypes
 198
 199   | Some `Whisper ->
 200     if nr_args > 0 then
 201       whisper_variables argtypes
 202
 203   | Some `Get ->
 204     if nr_args != 1 then (
 205       eprintf "whenjobs --get variable\n";
 206       suggest_help ();
 207       exit 1
 208     );
 209     get_variable arg1
 210
 211   | Some `Variables ->
 212     unused_error args "--variables";
 213     list_variables ()
 214
 215   | Some `Daemon_start ->
 216     unused_error args "--daemon-start";
 217     daemon_start ()
 218
 219   | Some `Daemon_stop ->
 220     unused_error args "--daemon-stop";
 221     daemon_stop ()
 222
 223   | Some `Daemon_restart ->
 224     unused_error args "--daemon-restart";
 225     daemon_restart ()
 226
 227   | Some `Daemon_status ->
 228     unused_error args "--daemon-status";
 229     daemon_status ()
 230
 231   | Some `Jobs ->
 232     unused_error args "--jobs";
 233     jobs ()
 234
 235   | Some `Cancel ->
 236     if nr_args != 1 then (
 237       eprintf "whenjobs --cancel serial\n";
 238       suggest_help ();
 239       exit 1
 240     );
 241     cancel_job arg1
 242
 243   | Some `Start ->
 244     if nr_args != 1 then (
 245       eprintf "whenjobs --start jobname\n";
 246       eprintf "If 'value' contains spaces, you may need to quote it.\n";
 247       suggest_help ();
 248       exit 1
 249     );
 250     start_job arg1
 251
 252   | Some `Tail ->
 253     if nr_args != 1 then (
 254       eprintf "whenjobs --tail serial\n";
 255       suggest_help ();
 256       exit 1
 257     );
 258     tail arg1
 259
 260   | Some `JobNames ->
 261     unused_error args "--job-names";
 262     job_names ()
 263
 264 and edit_file () =
 265   (* If there is no initial file, create an empty one containing the
 266    * tutorial.
 267    *)
 268   let file = get_jobs_filename () in
 269   if not (Sys.file_exists file) then
 270     create_tutorial file;
 271
 272   (* Is $EDITOR set?  If not, use a default. *)
 273   let editor = try getenv "EDITOR" with Not_found -> "vi" in
 274
 275   (* Get the (size, MD5) of the file to tell if it changed. *)
 276   let file_stamp () =
 277     try (lstat file).st_size, Digest.file file
 278     with Unix_error (err, fn, _) ->
 279       eprintf "whenjobs: %s: %s: %s\n" fn file (error_message err);
 280       exit 1
 281   in
 282   let old_stamp = file_stamp () in
 283
 284   let cmd = sprintf "%s %s" editor file in
 285   if Sys.command cmd != 0 then (
 286     eprintf "whenjobs: error editing file (is $EDITOR set correctly?)\n";
 287     exit 1
 288   );
 289
 290   let new_stamp = file_stamp () in
 291
 292   if old_stamp <> new_stamp then
 293     upload_file ()
 294
 295 and list_file () =
 296   let file = get_jobs_filename () in
 297   if not (Sys.file_exists file) then (
 298     eprintf "whenjobs: there is no jobs file, use 'whenjobs -e' to create one\n";
 299     exit 1
 300   );
 301   let chan = open_in file in
 302   let rec loop () =
 303     printf "%s\n" (input_line chan);
 304     loop ()
 305   in
 306   (try loop () with End_of_file -> ());
 307   close_in chan
 308
 309 and upload_file () =
 310   (* Recompile the jobs file(s). *)
 311   let files = get_multijobs_filenames () in
 312   List.iter (
 313     fun file ->
 314       let cmd = sprintf "%s c -I +camlp4 -I %s -package unix,camlp4.lib -pp 'camlp4o %s/pa_when.cmo' -c %s"
 315         Config.ocamlfind !libdir !libdir file in
 316       if Sys.command cmd <> 0 then (
 317         eprintf "whenjobs: %s: could not compile jobs script, see earlier errors\n"
 318           file;
 319         eprintf "compile command was:\n%s\n" cmd;
 320         exit 1
 321       )
 322   ) files;
 323
 324   let cmo_files = List.map (
 325     fun file ->
 326       let n = String.length file in
 327       if n < 4 then assert false;
 328       String.sub file 0 (n-3) ^ ".cmo"
 329   ) files in
 330
 331   (* Test-load the jobs files to ensure they make sense. *)
 332   Whenfile.init Whenstate.empty;
 333   (try
 334      List.iter Dynlink.loadfile cmo_files
 335    with
 336      Dynlink.Error err ->
 337        eprintf "whenjobs: %s\n" (Dynlink.error_message err);
 338        (* Since it failed, unlink the cmo files. *)
 339        List.iter (
 340          fun cmo_file ->
 341            (try unlink cmo_file with Unix_error _ -> ())
 342        ) cmo_files;
 343        exit 1
 344   );
 345
 346   (* OK now let's tell the daemon to reload it. *)
 347   let client = start_client () in
 348   (match Whenproto_clnt.When.V1.reload_file client () with
 349   | `ok -> ()
 350   | `error msg ->
 351     eprintf "whenjobs: reload: %s\n" msg;
 352     suggest_check_server_logs ();
 353     exit 1
 354   );
 355   stop_client client
 356
 357 and set_variables argtypes =
 358   let vars = List.map (
 359     fun (def, typ) ->
 360       (* 'def' should have the form "name=value".  The value part may
 361        * be missing, but the equals sign is required.
 362        *)
 363       let i =
 364         try String.index def '='
 365         with Not_found ->
 366           eprintf "whenjobs: set: missing = sign in variable definition\n";
 367           suggest_help ();
 368           exit 1 in
 369       let name = String.sub def 0 i in
 370       let value = String.sub def (i+1) (String.length def - (i+1)) in
 371       let value = value_of_string value typ in
 372       { Whenproto_aux.sv_name = name; sv_value = value }
 373   ) argtypes in
 374   let vars = Array.of_list vars in
 375
 376   let client = start_client () in
 377   (match Whenproto_clnt.When.V1.set_variables client vars with
 378   | `ok -> ()
 379   | `error msg ->
 380     eprintf "whenjobs: set: %s\n" msg;
 381     suggest_check_server_logs ();
 382     exit 1
 383   );
 384   stop_client client
 385
 386 and test_variables argtypes =
 387   let vars = List.map (
 388     fun (def, typ) ->
 389       (* 'def' should have the form "name=value".  The value part may
 390        * be missing, but the equals sign is required.
 391        *)
 392       let i =
 393         try String.index def '='
 394         with Not_found ->
 395           eprintf "whenjobs: test: missing = sign in variable definition\n";
 396           suggest_help ();
 397           exit 1 in
 398       let name = String.sub def 0 i in
 399       let value = String.sub def (i+1) (String.length def - (i+1)) in
 400       let value = value_of_string value typ in
 401       { Whenproto_aux.sv_name = name; sv_value = value }
 402   ) argtypes in
 403   let vars = Array.of_list vars in
 404
 405   let client = start_client () in
 406   let jobnames = Whenproto_clnt.When.V1.test_variables client vars in
 407   stop_client client;
 408
 409   Array.iter print_endline jobnames
 410
 411 and whisper_variables argtypes =
 412   let vars = List.map (
 413     fun (def, typ) ->
 414       (* 'def' should have the form "name=value".  The value part may
 415        * be missing, but the equals sign is required.
 416        *)
 417       let i =
 418         try String.index def '='
 419         with Not_found ->
 420           eprintf "whenjobs: whisper: missing = sign in variable definition\n";
 421           suggest_help ();
 422           exit 1 in
 423       let name = String.sub def 0 i in
 424       let value = String.sub def (i+1) (String.length def - (i+1)) in
 425       let value = value_of_string value typ in
 426       { Whenproto_aux.sv_name = name; sv_value = value }
 427   ) argtypes in
 428   let vars = Array.of_list vars in
 429
 430   let client = start_client () in
 431   (match Whenproto_clnt.When.V1.whisper_variables client vars with
 432   | `ok -> ()
 433   | `error msg ->
 434     eprintf "whenjobs: whisper: %s\n" msg;
 435     suggest_check_server_logs ();
 436     exit 1
 437   );
 438   stop_client client
 439
 440 and get_variable name =
 441   let client = start_client () in
 442   let value = Whenproto_clnt.When.V1.get_variable client name in
 443   print_endline (string_of_variable value);
 444   stop_client client
 445
 446 and list_variables () =
 447   let client = start_client () in
 448   let names = Whenproto_clnt.When.V1.get_variable_names client () in
 449   Array.iter (
 450     fun name ->
 451       let value = Whenproto_clnt.When.V1.get_variable client name in
 452       printf "%s=%s\n" name (string_of_variable value)
 453   ) names;
 454   stop_client client
 455
 456 and daemon_start () =
 457   exit (Sys.command "whenjobsd")
 458
 459 and daemon_stop () =
 460   let client = start_client () in
 461   (match Whenproto_clnt.When.V1.exit_daemon client () with
 462   | `ok -> ()
 463   | `error msg ->
 464     eprintf "whenjobs: daemon-stop: %s\n" msg;
 465     suggest_check_server_logs ();
 466     exit 1
 467   );
 468   stop_client client
 469
 470 and daemon_restart () =
 471   (try
 472      let client = start_client_no_exit () in
 473      ignore (Whenproto_clnt.When.V1.exit_daemon client ());
 474      stop_client client
 475    with _ -> ()
 476   );
 477   sleep 1;
 478   daemon_start ()
 479
 480 and daemon_status () =
 481   let r =
 482     try
 483       let client = start_client_no_exit () in
 484       let r = Whenproto_clnt.When.V1.ping_daemon client () in
 485       stop_client client;
 486       r = `ok
 487     with
 488       exn -> false in
 489   print_endline (if r then "up" else "down")
 490
 491 and jobs () =
 492   let client = start_client () in
 493   let jobs = Whenproto_clnt.When.V1.get_jobs client () in
 494   stop_client client;
 495
 496   let cmp { Whenproto_aux.job_name = name1; job_serial = serial1 }
 497       { Whenproto_aux.job_name = name2; job_serial = serial2 } =
 498     let i = compare name1 name2 in
 499     if i <> 0 then i
 500     else
 501       compare_big_int (big_int_of_string serial1) (big_int_of_string serial2)
 502   in
 503   Array.sort cmp jobs;
 504
 505   Array.iter (
 506     fun { Whenproto_aux.job_serial = serial; job_name = name;
 507           job_tmpdir = tmpdir; job_start_time = time } ->
 508       printf "%s %s\n\trunning in: %s\n\tstarted at: %s\n"
 509         serial name tmpdir
 510         (string_of_time_t ~localtime:true (Int64.to_float time))
 511   ) jobs
 512
 513 and cancel_job serial =
 514   let client = start_client () in
 515   (match Whenproto_clnt.When.V1.cancel_job client serial with
 516   | `ok -> ()
 517   | `error msg ->
 518     eprintf "whenjobs: cancel-job: %s\n" msg;
 519     suggest_check_server_logs ();
 520     exit 1
 521   );
 522   stop_client client
 523
 524 and start_job name =
 525   let client = start_client () in
 526   (match Whenproto_clnt.When.V1.start_job client name with
 527   | `ok -> ()
 528   | `error msg ->
 529     eprintf "whenjobs: start-job: %s\n" msg;
 530     suggest_check_server_logs ();
 531     exit 1
 532   );
 533   stop_client client
 534
 535   (* This only works for local.  If we ever make whenjobs work
 536    * remotely we'll have to change the implementation to use
 537    * the server.
 538    *)
 539 and tail serial =
 540   let client = start_client () in
 541   let job = Whenproto_clnt.When.V1.get_job client serial in
 542   stop_client client;
 543   let cmd =
 544     sprintf "tail -f %s/output.txt"
 545       (Filename.quote job.Whenproto_aux.job_tmpdir) in
 546   exit (Sys.command cmd)
 547
 548 and job_names () =
 549   let client = start_client () in
 550   let names = Whenproto_clnt.When.V1.get_job_names client () in
 551   stop_client client;
 552   Array.iter print_endline names
 553
 554 and unused_error args op =
 555   if args <> [] then (
 556     eprintf "whenjobs %s: unused parameters on the command line.\n" op;
 557     suggest_help ();
 558     exit 1
 559   )
 560
 561 and suggest_help () =
 562   eprintf "Use 'whenjobs --help' for a summary of options or read whenjobs(1) man page.\n"
 563
 564 and suggest_check_server_logs () =
 565   eprintf "Look at the server logs (/var/log/cron or /var/log/syslog usually) for\n";
 566   eprintf "further information on why this daemon operation failed.\n"
 567
 568 and get_jobs_filename () =
 569   sprintf "%s/jobs.ml" jobsdir
 570
 571 and get_multijobs_filenames () =
 572   (* Get dir/*.ml *)
 573   let files = Array.to_list (Sys.readdir jobsdir) in
 574   let files = List.filter (
 575     fun file ->
 576       let n = String.length file in
 577       n >= 4 && String.sub file (n-3) 3 = ".ml"
 578   ) files in
 579   let files = List.map (fun file -> jobsdir // file) files in
 580   List.sort compare files
 581
 582 and create_tutorial file =
 583   let chan = open_out file in
 584   output_string chan Tutorial.tutorial;
 585   close_out chan
 586
 587 and start_client () =
 588   let addr = sprintf "%s/socket" jobsdir in
 589   let client =
 590     try start_client_no_exit ()
 591     with
 592     | Unix_error ((ECONNREFUSED|ENOENT), _, _) ->
 593       eprintf "whenjobs: error: the daemon ('whenjobsd') is not running\n";
 594       eprintf "Use 'whenjobs --daemon-start' to start the daemon.\n";
 595       exit 1
 596     | Unix_error (err, fn, _) ->
 597       eprintf "whenjobs: %s: %s: %s\n" fn addr (error_message err);
 598       exit 1 in
 599   client
 600
 601 and start_client_no_exit () =
 602   let addr = sprintf "%s/socket" jobsdir in
 603   Whenproto_clnt.When.V1.create_client
 604     (Rpc_client.Unix addr)
 605     Rpc.Tcp (* not TCP, this is the same as SOCK_STREAM *)
 606
 607 and stop_client client =
 608   Rpc_client.shut_down client
 609
 610 and string_of_variable = function
 611   | `unit_t -> ""
 612   | `bool_t b -> string_of_bool b
 613   | `string_t s -> s
 614   | `int_t i -> i (* passed on the wire as a string *)
 615   | `float_t f -> string_of_float f
 616
 617 and value_of_string value = function
 618   | `Bool ->
 619     (match value with
 620     | "true"|"t"|"yes"|"y"|"on"|"1" -> `bool_t true
 621     | "false"|"f"|"no"|"n"|"off"|"0" -> `bool_t false
 622     | _ ->
 623       eprintf "whenjobs: variable does not have a boolean value\n";
 624       exit 1
 625     )
 626   | `String -> `string_t value
 627   | `Int ->
 628     (try ignore (big_int_of_string value)
 629      with Failure _ ->
 630        eprintf "whenjobs: variable is not an integer\n";
 631        exit 1
 632     );
 633     `int_t value (* the string is what we pass over the wire *)
 634   | `Float ->
 635     (try `float_t (float_of_string value)
 636      with Failure _ ->
 637        eprintf "whenjobs: variable is not a floating point number\n";
 638        exit 1
 639     )
 640   | `Unit ->
 641     if value <> "" then (
 642       eprintf "whenjobs: unit variables must be empty strings\n";
 643       exit 1
 644     );
 645     `unit_t
 646
 647 let () =
 648   try main ()
 649   with
 650     (* Pretty print some of the exceptions that main can throw. *)
 651   | Rpc.Rpc_server err ->
 652     eprintf "whenjobs: rpc error: %s\n" (Rpc.string_of_server_error err);
 653     suggest_check_server_logs ();
 654     exit 1
 655   | Failure msg ->
 656     eprintf "whenjobs: error: %s\n" msg;
 657     exit 1
 658   | Invalid_argument msg ->
 659     eprintf "whenjobs: invalid argument: %s\n" msg;
 660     exit 1
 661   | exn ->
 662     eprintf "whenjobs: error: %s\n" (Printexc.to_string exn);
 663     exit 1