libguestfs: Ignore error: mkfs_btrfs: /dev/sda1: not enough free space.
[goaljobs-goals.git] / fedora_ocaml_rebuild.ml
index b2beaf2..13a8c01 100644 (file)
@@ -9,12 +9,17 @@ open Git
 open Fedora
 
 let branch = "master"
-let koji_target = "rawhide"
+let side_tag = Some "f24-ocaml"
+
+let koji_target =
+  match side_tag with
+  | Some t -> t
+  | None -> "rawhide"
 
 (* The name of the rebuild, and also the magic substring that must
  * appear in the %changelog when the package has been rebuilt.
  *)
-let rebuild_name = "OCaml 4.02.0 beta"
+let rebuild_name = "OCaml 4.02.3"
 
 (* Local repository that contains build dependencies. *)
 let yum_repo = "koji-rawhide"
@@ -23,15 +28,8 @@ let yum_repo = "koji-rawhide"
  * dependent packages.
  *)
 let blocked = [
-  "ocaml-bitstring";               (* needs upstream fix for 4.02.0 *)
-
-  "ocaml-mikmatch";                     (* build failure on 4.02.0 *)
-  "ocaml-omake";                        (* build failure on 4.02.0 with hevea *)
-  "ocaml-p3l";                          (* build failure on 4.02.0 -warn-error A *)
-  "ocaml-pa-do";                        (* build failure, complex *)
-  "ocaml-lwt";                          (* build failure on 4.02.0 *)
-  "ocaml-preludeml";                    (* build failure *)
-  "cduce";                              (* complex build failure *)
+  "ocaml-pa-do";                        (* orphaned *)
+  "ocaml-camlp5";                       (* not updated to 4.02.3 yet *)
 ]
 let blocked pkg = List.mem pkg blocked
 
@@ -39,13 +37,7 @@ let blocked pkg = List.mem pkg blocked
 let ignored = [
   "ocaml-srpm-macros";             (* don't need to build this *)
   "ocaml";                         (* rebuilt by hand *)
-  "ocaml-findlib";                 (* rebuilt by hand *)
-  "ocaml-camlidl";                 (* rebuilt by orionp *)
   "whenjobs";                      (* obsolete *)
-  "libguestfs";                    (* rebuilt by hand *)
-  "graphviz";                      (* rebuilt by hand *)
-  "xen";                           (* already done *)
-  "plplot";                        (* already done *)
 ]
 let ignored pkg = List.mem pkg ignored
 
@@ -53,8 +45,11 @@ let ignored pkg = List.mem pkg ignored
 let source_packages =
   let dirs = shlines "cd %s && ls -1d ocaml*" fedora_dir in
   dirs @ [ "alt-ergo"; "apron"; "brltty"; "coccinelle"; "coq";
-           "cduce"; "frama-c"; "gappalib-coq"; "graphviz"; "hivex";
-           "js-of-ocaml"; "llvm"; "plplot"; "why3"; "xen" ]
+           "cduce"; "frama-c"; "gappalib-coq"; "graphviz"; "hevea"; "hivex";
+           "js-of-ocaml"; "plplot"; "virt-top"; "why3"; "z3";
+           "flocq" (* no OCaml code, but needs to be rebuilt after Coq *);
+           "guestfs-browser"; "libguestfs";
+           "virt-dmesg" ]
 
 (* Dependencies of each package.  (pkg, [deps ...]) *)
 let pkg_deps = dependencies branch source_packages
@@ -72,13 +67,54 @@ let source_packages =
   in
   List.filter (fun pkg -> not (is_blocked pkg)) source_packages
 
+(* Short the dependencies lists so that the build order is stable
+ * each time it runs.
+ *)
+let pkg_deps =
+  List.map (fun (pkg, deps) -> pkg, List.sort compare deps) pkg_deps
+
+(* Sort the source packages so that the packages with the largest
+ * number of reverse dependencies [other packages that depend on it]
+ * appear earlier in the list, on the basis that building these
+ * packages first has the greatest advantage.
+ *)
+let source_packages =
+  let rdeps pkg =
+    Utils.filter_map (
+      fun (rdep, deps) -> if List.mem pkg deps then Some rdep else None
+    ) pkg_deps
+  in
+  let cmp p1 p2 =
+    let r1 = rdeps p1 and r2 = rdeps p2 in
+    let n1 = List.length r1 and n2 = List.length r2 in
+    if n1 <> n2 then compare n2 n1 else compare p1 p2
+  in
+  List.sort cmp source_packages
+
 let () =
   printf "final list of source packages = %s\n%!"
     (String.concat " " source_packages)
 
+(*
+(* We could make this a goal, but it's cheap enough to run it unconditionally. *)
+let install_build_dependencies pkg =
+  sh "sudo yum clean all --disablerepo=\\* --enablerepo=%s"
+    (quote yum_repo);
+  sh "sudo yum-builddep -y --disablerepo=\\* --enablerepo=%s %s"
+    (quote yum_repo) (fedora_specfile pkg branch)
+ *)
+
+(* Unset MAKEFLAGS so it doesn't affect local builds. *)
+let () = Unix.putenv "MAKEFLAGS" ""
+
 (* Goal: rebuild all packages. *)
 let rec goal all () =
-  List.iter (fun pkg -> require (rebuild_started pkg)) source_packages
+  let n = List.length source_packages in
+  List.iteri (
+    fun i pkg ->
+      require (rebuild_started pkg);
+      printf "*** *** rebuilt %d/%d packages *** ***\n%!" (i+1) n
+  ) source_packages
 
 (* Goal: That 'package' has been rebuilt and exists in Koji. *)
 and rebuilt pkg =
@@ -149,11 +185,15 @@ and rebuild_started pkg =
 
   (* Ignored packages are treated as if they have been rebuilt. *)
   if not (ignored pkg) then (
+(*
     (* A local test build must succeed. *)
     require (local_build_succeeded pkg);
+*)
+    (* local_build_succeeded normally does this ... *)
+    require (specfile_updated pkg);
 
     (* Rebuild the package in Koji.  Don't wait ... *)
-    koji_build ~wait:false pkg branch;
+    koji_build ~wait:false ?side_tag pkg branch;
 
     (* ... but the build doesn't appear in Koji (eg. in 'koji
      * buildinfo') until the SRPM has been built.  This can take quite
@@ -176,6 +216,7 @@ and rebuild_started pkg =
     loop ()
   )
 
+(*
 and local_build_succeeded pkg =
   (* The specfile must have been updated. *)
   require (specfile_updated pkg);
@@ -185,16 +226,16 @@ and local_build_succeeded pkg =
 
   target (memory_exists key);
 
-  (* Do a local test build to ensure the Koji build will work. *)
+  install_build_dependencies pkg;
+
+ (* Do a local test build to ensure the Koji build will work. *)
   sh "
     cd %s
-    sudo yum-builddep -y --disablerepo=\\* --enablerepo=%s %s
-    fedpkg local
-  " (fedora_repo pkg branch)
-    (quote yum_repo)
-    (fedora_specfile pkg branch);
+     fedpkg local
+  " (fedora_repo pkg branch);
 
   memory_set key "1"
+*)
 
 and specfile_updated pkg =
   let repodir = fedora_repo pkg branch in
@@ -212,8 +253,9 @@ and specfile_updated pkg =
       git pull --rebase
     " repodir;
 
-  sh "sudo yum-builddep -y --disablerepo=\\* --enablerepo=%s %s"
-    (quote yum_repo) specfile;
+(* - XXX why did we do this here?
+  install_build_dependencies pkg;
+*)
 
   (* For rationale behind always bumping the spec file, see comment
    * in 'fedora.ml'.
@@ -229,16 +271,6 @@ and specfile_updated pkg =
 
   sh "
     cd %s
-    echo 'Please make further changes as required to the spec file %s.spec'
-    echo '(Press return key)'
-    read
-    emacs -nw %s
-    echo 'OK to commit this change? (press ^C if not)'
-    read
     fedpkg commit -c
-    echo 'OK to push this change? (press ^C if not)'
-    read
     fedpkg push
   " repodir
-    pkg
-    specfile