New APIs: compress-out, compress-device-out.

These APIs let you copy compressed files or devices out from the disk
image.

Compression is useful for large images which are mostly zeroes.  We
cannot currently do sparseness detection, and compression gives us a
form of zero detection for free.

Example usage:

$ guestfish --ro -a /dev/vg_pin/F16x64 -i \
    compress-out gzip /etc/passwd /tmp/passwd.gz
$ file -z /tmp/passwd.gz
/tmp/passwd.gz: ASCII text (gzip compressed data, was "passwd", from
Unix, last modified: Sun Aug 28 14:40:46 2011)

daemon: Move useful is_zero function to header file.

Code motion.

Add no_timer_check to disable faulty test during boot (RHBZ#502058).

See:

https://bugzilla.redhat.com/show_bug.cgi?id=502058#c15
https://bugzilla.redhat.com/show_bug.cgi?id=698842#c8

This updates commit 79e66f89e2f6c27486476d7857da58feb491bf5c.

docs: Show how to use a qemu wrapper to edit the qemu command line.

Version 1.13.14.

Update to latest gnulib.

erlang: Use the official autoconf macros.

todo: Suggestion to improve Erlang bindings.

Enable APIC.

Originally this was disabled to work around RHBZ#502058.  That bug was
never officially fixed, but it may have fixed itself.

In the meantime, KVM has broken ordinary PIC support (RHBZ#723822).
Since APIC is the most common way that regular Linux and Windows
guests run it makes sense to remove this hack.

Version 1.13.13.

Add Erlang bindings.

inspection: Handle /dev/root in /etc/fstab.

This means "the device that holds /etc/fstab", so map it correctly.

This fixes support for ttylinux and also some other guests that use
/dev/root instead of a real device name.

inspection: Add support for ttylinux (a minimal Linux).

Add an optional group ("grub") for the guestfs_grub_install API.

This also improves the documentation for this call, pointing out
several pitfalls in using it.

This unfortunately breaks existing callers that might use
guestfs_grub_install without checking for this new group.

Version 1.13.12.

test-tool: Display TMPDIR.

test-tool: Refresh libguestfs-test-tool man page.

test-tool: Make the default timeout be 600 seconds (10 minutes).

We could sometimes hit the 120 second timeout, eg. if the appliance
needed to be rebuilt and the machine was very slow and/or under heavy
I/O load.  10 minutes should be enough for any reasonable situation.

test-tool: Document the -t command line option.

test-tool: Use B<...> for command line options in man page.

po-docs: Make podfiles sort stable.

Stable OCaml dependencies.

docs: Add a section explaining the appliance boot process.

Version 1.13.11.

Remove old regression test that mainly tested a buggy API.

The guestfs_ll command currently lists files in the appliance if you
prefix filenames with "/..".  However this is a bug, not a feature,
and we should not be testing it.

debian: Missing build dependency on db4.8-util.

daemon: Factor out name of virtio serial channel.

This is just code motion.

Create /sys directory if it doesn't exist already.

Ubuntu 10.04 LTS packages don't create /sys.

Version 1.13.10.

cat: Small documentation correction.

inspector: Use xmlstarlet instead of xpath in examples.

man pages: Add a standard EXIT STATUS section to most pages.

Version 1.13.9.

progress: Make default UTF-8 progress bar less black.

resize: Add --machine-readable option for machine friendly output.

progress: Add machine readable flag.

Machine-readable progress bars look like:

0/100
1/100
2/100

resize: Use guestfish progress bar mini-library.

There are two benefits:

 - the progress bars look better
 - there is a reasonably accurate estimate of how long each operation
   will take

Add GUESTFS_EVENT_ENTER event.

This event is generated whenever a libguestfs function is called.

fish: Make progress bars into a mini library.

This library could now be called from other virt tools.

fish: clarify comment: shared source files are used by virt tools too.

Version 1.13.8.

ruby: Check Ruby callback exists before we call it (RHBZ#733297).

ruby: Use a regular C array to pass the arguments through rb_rescue.

ruby: Append newline character after printing exception in callback.

python: Newer versions want parentheses around arguments of "print"

python: Don't build static library

Version 1.13.7.

php: Fix bug in PHP tests.

We partitioned the disk, and then tried to create a PV on the whole
disk.  LVM gave the error:

  Device /dev/vda not found (or ignored by filtering).

It is unclear how this bug persisted for so long.  It might be due to
a change in LVM.

Coverity: fix memory leak along error path.

Coverity: Initialize msg buffer.

msg_flags was not being initialized and would have been passed to
sendmsg with a random value.

Coverity: fix memory leak in guestfish.

Coverity: in daemon, free struct in RStruct, RStructList functions.

pclose: Fix other places where we only tested pclose == -1.

pclose can return > 0 when the status of the command was non-zero.

test_qemu: Improve the error message.

Note that errno is probably not set to a useful value here, so there
is not much point recording it.

test_qemu: pclose may return any != 0 on error.

In particular pclose returns a status > 0 if the command fails.

qemu detection: Free up previous qemu help/version strings if they exist.

Coverity: test_qemu: Ensure FILE * is not leaked along error paths.

This refactors the code in test_qemu slightly to ensure that
FILE *fp is not leaked on error paths.

Coverity: Check guestfs_inspect_get_product_name() != NULL before using.

rescue: Ignore errno after guestfs_launch.

errno is pretty much random on the error path back from guestfs_launch
so there is nothing useful to be gained by checking it.

We could do with a better way to detect if appliance launch failed.

Coverity: Ignore return value from guestfs_launch in virt-rescue.

We expect guestfs_launch to fail in this program.

Coverity: Check return value from sscanf in bindtests calls.

autobuild: Only add last 100 lines of the log file.

New autobuild script.

Remove the old top-level autobuild.sh that confused a lot
of people.

Add an autobuild.sh script that builds from the latest tarball.

configure: Add --with-extra flag to allow setting the extra version string.

Intended use in Fedora and RHEL is to encode the release
string, eg.

  ./configure [...] --with-extra="-%{release}"

Version 1.13.6.

protocol: Fix case where download can fail for small files.

There is another case where downloads of small files could fail if the
library side (writer) fails.  In this case the library would send back
a cancellation, but it would be received after the daemon had finished
sending the whole file (because the file is small enough).  The daemon
would reenter the main loop and immediately get an unexpected cancel
message, causing the daemon to die.

This commit also makes test-cancellation-download-librarycancels.sh
more robust.  We use Monte-Carlo testing with a range of file sizes.
Small file sizes should trigger the error case.

Escape special/non-printing characters in debug output (RHBZ#731744).

The default event handler in libguestfs was simply writing all debug
output directly to stderr.  However if the output contains
non-printable characters such as terminal control codes then these
would also be sent directly.

With newer SeaBIOS there is a lame attempt to implement a splash
screen using terminal control codes, thus when libguestfs tries to
display debugging output it would cause the screen to clear and debug
output to be lost.

This commit causes all non-printing characters to be escaped.
(\n and \r characters from the appliance are treated somewhat
specially).

Furthermore, instead of using write(2), use buffered stderr calls.

Remove guestfs___print_timestamped_argv.

This function was used to print the qemu and
febootstrap-supermin-helper command lines.

Unfortunately in the qemu case it was used incorrectly: it called the
internal debug function (ie. event API callback) from the forked qemu
subprocess, which meant that higher level event callbacks might have
been invoked from the child process.

To fix this, convert the qemu case into a new function called
print_qemu_command line which just prints the command line directly to
stderr.  This is called after stderr has been redirected into the pipe
to the main process.  Thus the qemu command line will be marshalled
into the event API along with other qemu and appliance output.

After fixing this, only one use of guestfs___print_timestamped_argv
remained, for printing the febootstrap-supermin-helper command line.
This is converted to a local function print_febootstrap_command_line.

Also print_febootstrap_command_line is now called before we fork
febootstrap-supermin-helper, so that messages no longer overlap.

out-of-tree build: generate ./run from template, fix image checks

./run can now be run in a separate build directory. Since some files
needed in the image checks are found in the source tree (but not the
build tree), the source tree location is passed to make-*-img.sh via
an environment variable.

Version 1.13.5

fish: Add fish-cmds.h to generator_built.

This updates commit 3064277680ad11f887691646d0fa17bb35f38c19.

out-of-tree build: fix make and make install

$(srcdir) is not needed for guestfs_c.c.
*.mli only exists in $(srcdir) and isn't found on "make install" otherwise

out-of-tree build: fix documentation generation II

out-of-tree build: remove unneeded explicit paths

Improve zeroing and detection of zeroes.

This code modifies zero, zero-device, is-zero, is-zero-device.

zero and zero-device are modified so that if the blocks of the device
already contain zeroes, then we don't write zeroes.  The reason for
this is to avoid unnecessarily making the underlying storage
non-sparse or (in the qcow2 case) growing it.

is-zero and is-zero-device are modified so that zero detection is
faster.  This is a nice side effect of making the first change.

Since avoiding unnecessary zeroing involves reading the blocks before
writing them, whereas before we just blindly wrote, this can be
slower.  As you can see from the tests below, in the case where the
disk is sparse, it actually turns out to be faster, because we avoid
allocating the underlying blocks.

However in the case where the disk is non-sparse and full of existing
data, it is much slower.  There might be a case for an API flag to
adjust whether or not we perform the zero check.  I did not add this
flag because it is unlikely that the caller would have enough
information to be able to set the flag correctly.

                                (Elapsed time in seconds)
Format  Test case                 Before     After

Raw     Sparse                    16.4       5.3

        Preallocated zero         17.0       18.8

        Preallocated random       16.0       41.3

Qcow2   preallocation=off         18.7       5.6

        preallocation=metadata    17.4       5.8

The current code uses a fixed block size of 4K for reading and
writing.  I also tried the same tests with a block size of 64K but it
didn't make any significant difference.

(Thanks to Federico Simoncelli for suggesting this change)

recipes: Remove two C file dependencies which are not actually used in the POD.

out-of-tree build: fix building library

out-of-tree build: Fix up OCaml bindings and generator

out-of-tree build: fix appliance

out-of-tree build: fix documentation generation

ruby: Fix typo in Ruby bindings file.

Note that additional memory may be required to typecheck Augeas lenses (RHBZ#729887).

fish: Document that remote run in cmd substitution context hangs.

This documents bug 592910.

Version 1.13.4.

Fix 'unknown filesystem' warnings in old inspection code (RHBZ#678231 RHBZ#666578).

This is a comprehensive fix for the warnings from the old (and
obsolete) Perl inspection code.  For a full description and
reproducer, see:

https://bugzilla.redhat.com/show_bug.cgi?id=678231#c5

inspection: Better checking for Windows root disks (RHBZ#729075).

Previously any disk that had /autoexec.bat or /boot.ini or /ntldr
would be picked up as a candidate for a Windows root disk.  If further
checking could not find any systemroot (eg. /windows) then this would
result in complete failure of inspection.

In particular, this got confused by Hp_recovery partitions which have
/autoexec.bat, but don't have a systemroot in one of the usual places
(they have /MiniNT instead).

What we do now is to properly investigate all possible systemroot
places before deciding this is a Windows systemroot, so the subsequent
failure cannot occur.

(Thanks to lorimar for reporting this bug).

build: Set TMPDIR for local testing.

This avoids conflicts with the globally installed libguestfs
appliance, or lets us build in multiple local directories at the same
time without conflicts.

Version 1.13.3.

daemon: Don't include .gitignore in EXTRA_DIST.

This updates commit 60d5a50f4d3d9e2c2f5a7d42a6859de709bda3f6.

fish: Add setenv and unsetenv commands.

These commands allow you to manipulate the environment within
guestfish.

fish: Declare run_* functions in a generated header file.

Calls to these functions are generated, so there is no need to declare
the functions by hand.

docs: Move deprecation notice up to the top in C man page.

docs: Emphasize deprecation notice in man pages.

docs: Fix function names in deprecation notices.

docs: guestfs_set_out_of_memory_handler returns void, not int.

It always has done.  The documentation was wrong.

docs: Clarify error handler example.

fish: Fix regression tests for new guestfish line numbers.

This updates commit 319e946b92e175c05cdd1fdcb85c9b86f5631011.

fish: Print input file and line number in error messages.

eg:
*stdin*:37: libguestfs: error: luks_close: Device lukstest is busy.

gnulib: Add all other libs when linking libguestfs.so.

This updates the previous two commits.

gnulib: Add $(LIB_CLOCK_GETTIME) when linking libguestfs.so.

We don't use this library (it is only used in the daemon),
but we need to add this to make the linker happy.