helper: Print /modules when verbose >= 2

Fix Python code when _bestPackageFromList returns None.

Yet Another Bug caused by lack of strong typing and nullable types in
this sad excuse for a programming language.

Add TODO file.

debian: Quote parameters to grep.

This updates commit daa0a6218be2cee5284d6961fc05b7e53d368abd.

debian: Ignore other secondary architectures, not just :i386.

Version 3.12.

ubuntu: Remove '*:i386' (multiarch?) packages.

This is a hack.  Unclear if this is really needed or what it does, but
it fixes Ubuntu 11.10 builds for me.

debian: Clean up a debug message.

debian: Fix Debian package handler when --use-installed not given.

If there is no --use-installed option, then it didn't download all the
packages (only the ones not installed).  But this failed later when it
tried to unpack the packages that hadn't been downloaded.

Thus download all the packages if !use_installed.

debian: Get installed package list in the ph_init handler.

Use the Debian ph_init handler to get the list of installed
packages.

Don't pass use_installed to every package handler function.

use_installed is a global variable (defined in febootstrap_cmdline.mli)
so there's not much point in passing it around to every function that
needs it.  This commit removes the optional argument in favour of just
using the global variable in each package handler.

However we still need a place where we can bail if the --use-installed
flag is used for package handlers which don't support this yet.

Thus add a ph_init function is called after the right package handler
has been detected but before it is used.  This is a convenient place
to put the --use-installed checking and any other initialization that
is required.

debian: Don't always try to run dpkg-query command.

Delay calling this until after debian_detect() has been called and
we've decided to use the Debian backend.  Otherwise this breaks
non-dpkg backends.

This fixes commit b8cea4656e5bf1b9e7bb2274ef968ea42b10e0df.

Version 3.11.

helper/init: Display version and zlib support.

Find package dependencies fix for pacman.

Since the pactree utility only accepts one package name, we must iterate
through the packages rather than specify them all on the command line.
To avoid errors when febootstrap is run on a system with outdated packages,
use ls and awk on the febootstrap package cache directory rather than using
the host's outdated pacman database.

Replace ArchLinux module detection with generic method.

ArchLinux used to keep its kernel in /boot/vmlinuz26 but, with
Linux 3.0, now uses /boot/vmlinuz-linux.  Instead of just changing the
kernel filename and module directory, this change removes the ArchLinux
specific code, lets febootstrap find a kernel, and then computes the
module directory from the version string extracted from the actual kernel
file.

helper/init: Handle compressed modules transparently.

Detect libz and, if present, define HAS_LIBZ and add -lz to Makefile's
LIBS variable.

Add entry on optional zlib package requirement.

Detect both uncompressed and gzipped kernel modules.

Some Linux distros (like ArchLinux) use gzipped kernel modules with
filenames like ext2.ko.gz.  This change modifies the filename pattern
from (e.g.) "ext2.ko" to "ext2.ko*".

When available, use libz to read the module.

The init_module system call requires uncompressed kernel module bytes.
On some systems (e.g. ArchLinux) the modules are gzipped on disk.
Libz is used to read and uncompress gzipped disk files (*.ko.gz) or
transparently read uncompressed modules (*.ko).

Checkout gnulib if the directory is empty.

helper: Improve error message when run on random files (thanks Alexey Torkhov).

Use ext2fs_close2 API if available to avoid unnecessary fsync.

This saves over 5 seconds during the slow path construction of the
appliance.

The ext2fs_close2 API is present in the e2fsprogs 'next' branch and
will be in a later e2fsprogs release (thanks Ted Ts'o).

febootstrap: Use contents of installed Debian packages instead of downloading and unpacking them.

This also adds --use-installed switch (which for now only works for
Debian).

Verbose message when adding kernel modules.

This step takes a considerable amount of time (about half of the total
construction time), so separately display a timestamped message for it.

yum-rpm: Add more debugging to the Python code.

Stable OCaml dependencies.

This technique copied from libguestfs/resize/Makefile.am and modified
so that it works with old ocamldep that used to add spaces at the end
of lines.

docs: Use multiple =item's instead of =item foo|bar

Version 3.10.

Move febootstrap into src/ subdirectory.

Now we have src/ for febootstrap and helper/ for
febootstrap-supermin-helper.

Fix previous commit for non-Debian case.

This updates commit 3ac623701e5fe5ce94b22b4f40f72ee0161d5184.

debian: Include workaround for broken apt-cache depends --recurse.

Ubuntu 10.04 LTS has a broken apt-cache depends --recurse command
which does not in fact recurse deeply enough to find all dependencies
(this is fixed in Ubuntu 11.04).

Include a workaround for this so we can use febootstrap on old Ubuntu
versions.

debian: Use configured aptitude program instead of just "aptitude".

debian: Detect apt-cache in configure.

Version 3.9.

Remove obsolete ELF_DEFAULT_ARCH, DEFAULT_ARCH rules from Makefile.

This updates commit df569d49aa10af5995f771362ddc1400f16486e8.

febootstrap: Fix build on platforms where there is no native OCaml compiler.

febootstrap-supermin-helper: Replace objcopy call for embedding init binary

objcopy needs "output-target" and "binary-architecture" parameters
which makes it necessary to keep a list of known architectures.

The bin2s.pl script generates input for the GNU assembler which should
produce an object file that is equivalent to that produced by objcopy.

I have successfully tested the change on an amd64 Debian/unstable system.

RWMJ: Added bin2s.pl to EXTRA_DIST and updated .gitignore.

febootstrap: Add --save-temps option to save temporary files on exit.

Update copyright notices in manual pages.

Include ext4 module in the initrd.

Modern kernels allow you to use the ext4.ko module to support ext2 and
ext3 access.

On Fedora, this is the default (albeit not as a module, so this code
path would not be tested yet).

Download archives with permissive umask (thanks David Konerding).

https://www.redhat.com/archives/libguestfs/2011-August/msg00025.html

Version 3.8.

helper: Allow kernel and modpath to be selected from envvars (RHBZ#671082).

helper: create_kernel_archlinux should return const char *

helper: Move all_files down function.

This is just code tidy-up.

debian: Check for gawk.

Version 3.7.

De-duplicate directories with the same name, like "/etc" and "/etc/"

In Rawhide there are two patches which create /etc/pam.d and /etc/pam.d/

febootstrap was trying to treat these as two separate directories.
Add a de-duplication step so that these names are considered the same.

We could go further than this patch (eg. removing multiple //
characters), but this patch is sufficient to fix Fedora builds.

debian: Add missing build dependency on gawk.

helper: Fix error message when modules.dep is not found.

Remove trailing whitespace from one line.

febootstrap/helper: Major change to kernel module handling code

The previous implementation had two problems: (I) Not all needed
kernel modules were copied to the initrd. (II) If a kernel module
depended on more than one other module, only the first dependency was
considered for the load order. Using 2.6.39-1-amd64 (Debian/unstable)
ext2.ko was not loaded and therefore the root FS could not be mounted.

The use of tsort(1) has been replaced with a set of functions that
build a DAG in memory and use that to calculate the list of modules to
be copied into the initrd and the order in which to load them.

febootstrap/helper/init: Add translations for errno

Version 3.6.

Fix some printf format warnings when -Wall is enabled.

febootstrap/helper/init: Mount /proc if not already present.

Don't require external insmod.static.

Add module loading functionality into init.c, thus making
insmod.static unnecessary.

febootstrap: Look for insmod.static, mke2fs in /sbin

Force creation of /lib/modules directory.

After adding a line containing "/lib/modules" to hostfiles solved the
immediate problem for me -- febootstrap-supermin-helper finished its
run.

The attached patch makes sure that febootstrap-supermin-helper always
creates this directory.

Version 3.5.

Check lseek return type against (off_t) -1.

Increase appliance container to 4 GB.

The overhead is now 66 MB which is unfortunate.  However 4 GB should
be enough for people who accidentally add kernel modules that are
hand-compiled with all the debuginfo information in them.

helper: Add better error messages if files too big for appliance root.

The appliance root was 1GB.  However the error message you got
if you overran this space was very obscure:

  febootstrap-supermin-helper: ext2fs_file_write:
  Could not allocate block in ext2 filesystem

This adds the name of the file that is failing, and replaces the error
message with something more meaningful.

helper: When /init fails, print some debugging information.

Force mode +x on insmod.static binary (RHBZ#666880).

helper: Change to root directory before running find command.

helper: Don't fail if objects are created in a symlinked dir (RHBZ#698089).

Version 3.4.

Allow config files from different packages if both files have zero size.

Fairly recurrent bug in Fedora.  It need not cause us to fail,
provided that both config files are empty.

Collect the size (ft_size) of files from package handlers.

Link init with '-static' instead of '-all-static'.

Latest gcc (4.6.0) does not recognize the -all-static
option; see http://gcc.gnu.org/bugzilla/show_bug.cgi?id=46410

Using -static still results in a static init binary:
$ file helper/init
helper/init: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, for GNU/Linux 2.6.32, stripped
$ ldd helper/init
           not a dynamic executable
(cherry picked from commit 42a6e60307b8116dd888e9dae4960f12d895f73f)

helper: Add support for ArchLinux kernels.

ArchLinux doesn't use the ordinary Linux kernel naming scheme.
(Thanks Thomas S Hatch for helping to diagnose the issue)

pacman: Update ArchLinux module.

If package is not in the main repos, check AUR.

Download and unpack the package.

Version 3.3.

helper: Ignore times of special files when calculating checksum.

Variation in the times of /dev/ptmx was causing the
appliance to be rebuilt too frequently.

Add debian/ subdirectory (temporary).

This adds the debian/ subdirectory to make it easier for us
to build Debian packages.

When we get this into Debian, this directory can be removed.

debian, pacman: incorrect detection of config files.

Config files were being incorrectly detected, with the
effect that all /etc/ files were being added to hostfiles.

docs: Missing backslash.

Add pod.css to EXTRA_DIST.

Version 3.2

docs: Refresh documentation with explanation of supermin appliances.

helper: Remove refs in docs to old manual pages.

Add HTML documentation to the public website.

autobuild: Factor out HOSTNAME variable.

Add autobuild script.

This script is run on the builder(s) regularly.

Real fix for .*.hmac files (accidental reopening of RHBZ#654638).

Previous commit was broken.

Properly ignore .*.hmac files (accidental reopening of RHBZ#654638).

Version 3.1.

Add --yum-config option to set a yum configuration file.

Clean up some warnings and debug messages.

yum: Don't pass tmpdir as an explicit parameter.

Encode it directly in the script instead.

yum: Call setCacheDir so this works for non-root users.

Allow --verbose to control whether yum messages are verbose.

Without --verbose, yum will be quiet for once.

Add support for Arch Linux (pacman package manager).

docs: Arrange required/optional packages more logically.

docs: Note that gawk (GNU awk) is required.

configure: Check for insmod.static and fail if not present.

This is not packaged on Debian/Ubuntu, but we require it.  Fail
with a useful error message if it is not available.

docs: Note that libcom_err is required.

Rewrite febootstrap as a general supermin appliance building tool.

This complete rewrite of the building tools turns febootstrap
into a general purpose, cross-distro, supermin appliance only
build tool.

There is now only one program 'febootstrap' which is used to
build a supermin appliance from a list of packages.

Normal appliances are not supported.

The tools are incompatible with febootstrap 2.x (use the
febootstrap-2.x branch from git to get the old package).

Version 2.11.

ext2: Fix "ext2fs_mkdir .. No free space in directory".

We weren't expanding ext2 directories and as a result we could
hit a limit when the directory grows larger than one block.

Note that this fix only applies for creating subdirectories.
For creating files (ie. ext2fs_link) we were already doing the
right thing.

elf-default-arch should exit with an error if it fails.