resize: Add tests for some Utils functions.

(Cherry picked from commit 63898268101e5ec91c8dac46651dbee5976272ce
and modified for stable-1.12 branch.)

python: Use sys.version_info[0] instead of sys.version_info.major.

The major/minor fields only exist in Python >= 2.7.  This works for at
least Python 2.5 and 2.6.

Thanks to Hilko Bengen.

This updates commit 646142f5136da9cfe2b908703a822c53350f70e9.
(cherry picked from commit 31e5539a14f78d8815d0d930e91023a65b5395e7)

python: Pass $PYTHON environment variable to tests.

If the user set PYTHON when configuring, this variable is not passed
through to the tests, so it is possible the tests will fail because
they are testing the wrong version of python.  By passing $PYTHON
through to the tests we ensure that we test against the same version
of python that we configured with.

(cherry picked from commit e2249b7ce1dd0a2f8f110e0e47aca397185a6373)

python: Include <config.h>.

Ooops ...
(cherry picked from commit 25454b83082a4cfed4f1664d2f9cdfcb222ba7c2)

python: Correctly check for Python major/minor.

The manual for sys.version warns that you should not parse the string,
which we were doing.  It would have failed on python "2.10" or
similar.

Do it correctly using the sys.version_info struct instead.
(cherry picked from commit 646142f5136da9cfe2b908703a822c53350f70e9)

fish: Use size_t instead of int when counting strings.
(cherry picked from commit b4da051d54a1597c7d8db8880d21a52265a6172e)

Fix debug help error message.

When given an invalid debug command, libguestfs responds with the
error message:

  libguestfs: error: debug: use 'debug help' to list the supported commands

However this command does not work, as debug requires two
arguments. This change updates the message to prompt the user to use
'debug help 0'.
(cherry picked from commit 4e3a1205ebfec1a5cbc3062d6f73a684090e80b5)

appliance: Add 'mdadm' package.
(cherry picked from commit 6f84ef6768e9c625d67f7eb015277b0ec1b2c2af)

Version 1.12.9.

perl: Add %guestfs_introspection hash with introspection information.

Because this is a useful introspection API, it is a candidate for
being backported into older stable branches.
(cherry picked from commit 365885dab2ae6dcdf0b2c45d0adeb803ade03f63)

fuse: Skip guestmount test if setfacl is not installed.

This dependency is optional, don't fail the test if it's not
installed.
(cherry picked from commit 7b44f7b3df0b20b2b5e889d89e82a35eed20d43e)

test-user-cancel: Make this test choose smaller cancellation numbers.

Use a Gaussian distribution for random numbers so that smaller numbers
are chosen more frequently.

This also exposes a bug in this test which only happens when small
numbers are chosen:

If the test thread starts up quickly, it can get to
guestfs_user_cancel before the guestfs_upload command has happened in
the main thread.  This causes the cancel to be ignored (correctly) and
we end up in the second loop writing data until the disk runs out of
space.  Fix this by repeatedly asserting the cancel flag in the second
loop.
(cherry picked from commit 62909197d120c01cc86095518aacca9d4ad268dd)

Flush stdout for progress bars used by guestfish, virt-resize.
(cherry picked from commit 178a6d78a84a82cfddbf17678c8c8c2a9d9d0dd2)

ocaml: Make sure virt-resize is rebuilt if Guestfs API changes.

Add a dependency so this tool is rebuilt from scratch if the
Guestfs API changes.  This prevents the error:
"[...] make inconsistent assumptions over interface Guestfs".

This commit includes the generated changes to .depend files.
(cherry picked from commit 663b99950daeaa2b023520aae756a3a28969c493)

Add test for qemu broken -machine option (RHBZ#748266).

Also add this option, if necessary, when testing for virtio-serial
support.

When the workaround is enabled, we specify machine type 'pc'.
(cherry picked from commit 3814680423984b3c46c2f99e944c2a71862bde9f)

virt-make-fs: Refresh man page.
(cherry picked from commit e192035bbd6f80262f60565e0a91588848f2a4e3)

virt-make-fs: Set MBR partition type byte correctly (RHBZ#746295).
(cherry picked from commit 0c06d740b77fb9225a0e2bd13dc88b0b88ee87cb)

Allow compilation without hivex (RHBZ#723474).
(cherry picked from commit f5172902bc9d92451c83dc3c1a85b5aeb975b43a)

po-docs: Force make update-po on first build from git.
(cherry picked from commit 9a6e5369b2134a3bd2a6decda48bbf5ac9d7cd41)

appliance: udev-174 moves udevd to /lib/udev/udevd (instead of /sbin/udevd)
(cherry picked from commit fef0ff3d869d2ebdb48eea0c538270fc98f5952d)

resize: Remove p_size field from partitions structure.

This field simply contained a duplicate copy of p_part.part_size.

There is no functional change in this commit.
(cherry picked from commit 9f198956047583e506713a4472117922f8b27b2e)

Version 1.12.8.

inspection: Return root devices sorted.
(cherry picked from commit c46bedf925cd9c6c9a9cbaee115358fd1dffcbfe)

inspect: Don't assume number of captures in match functions

It is possible for the pcre library to return a variable number of captures for
a single regular expression. e.g.:

  ^/dev/(cciss/c\d+d\d+)(?:p(\d+))?$

This will return either 1 or 2 captures depending on whether the device has a
partition suffix. The current match wrappers don't allow for this, and require
that a predictable number of matches are returned.

This change updates match, match1, match2, and match3 to ignore the specific
number of matches returned. Instead, any returned captures are assigned to the
given arguments, and any remaining arguments are set to NULL.
(cherry picked from commit f5c9f0e9ee1729b1260cef3e51ca91936e1868c4)

NFC: Remove unnecessary goto

Cherry picked from commit 1f615fddaffd33afc75a582021769583c8f4db4e and
backported to libguestfs-1.12 branch.

launch: Ensure g->cmdline is allocated before assigning g->cmdline[0].
(cherry picked from commit 138e118d62046b197b715462072256082ecfc0f7)

valgrind: guestfish -i: free strings before exit.

This isn't really necessary, but it keeps valgrind happy.
(cherry picked from commit 2f6ec8b4da27c550e2c7187fd17df28f1bdd51a7)

Ubuntu 11.10: Create /run and /run/lock if not already.

In real machines these directories are a ramdisk.
(cherry picked from commit 6d7d645cdd4a9c94c4d95fc52de53c37b88847e4)

Skip guestmount tests if no /dev/fuse.

Cherry picked from commit cf4cc1143393d607a7fb4cdbee1434544237d5d4 and
modified for libguestfs-1.12 branch which only has guestmount.

appliance: Fedora cryptsetup-luks renamed to cryptsetup.

Therefore we need both names to be listed in the file.
(cherry picked from commit af0c123be8cc62acf9e1368b1d00acccdd6d91e9)

roadmap: Fix Bugzilla URL.
(cherry picked from commit db499d98e7a290ccbfc4fb333f85021b23155e9d)

fish: docs: note how to clean up the remote process properly.

Killing it is always a bad idea, because the qemu subprocess will be
left hanging around.  The best thing is to send the exit command.

Cherry picked from commit 11be7d8eee16e6249ed2868b5bd552f29508ec02
and modified.

fish: Close guestfs handle explicitly before exiting.

NOTE this is just a cleanup.  It is NOT necessary for correctness,
since libguestfs itself is correctly closing the handle in the exit
handler.
(cherry picked from commit baa1618e0f917017c1934b7da41250029c1791ef)

guestmount: Add note to man page about 'fuse' group for Debian.
(cherry picked from commit e57c3c37a8648966e19ef33832f353d0f9487a77)

fish: Add man page section on calling guestfish remote robustly from bash.
(cherry picked from commit 3a546663655abfcd6399d4fdb7febc6b0d83b822)

Makefile.am: Fix comment.
(cherry picked from commit c6be95453d66ea714a9813a21cfb224d8e346d9e)

docs: Add directory section for resize/

Based on commit f3341222b37f91d7f7fcdafe30b107ea9da9ad02, but modified
since only resize exists in this branch of libguestfs.

docs: Add virt-resize to list of links in guestfs(3).
(cherry picked from commit 293772bf7511dee41a1f3e842424678c1a6bf9e4)

docs: virt-win-reg is written in Perl, not virt-resize.
(cherry picked from commit b39b3c5c74f1dfb88a6074aac476df877f1bfc4d)

daemon: mkswap --help output changed, breaking linuxfsuuid group detection.
(cherry picked from commit 4e9ed018475ff4bd5171ed50a47ffae7abbdda4b)

daemon: Move useful is_zero function to header file.

Code motion.
(cherry picked from commit ffc01285ee4289da90983a3320873f27b3d31c4d)

Add no_timer_check to disable faulty test during boot (RHBZ#502058).

See:

https://bugzilla.redhat.com/show_bug.cgi?id=502058#c15
https://bugzilla.redhat.com/show_bug.cgi?id=698842#c8

This updates commit 79e66f89e2f6c27486476d7857da58feb491bf5c.
(cherry picked from commit 322106521f546d7c70c5a38255db7d243a456a6b)

docs: Show how to use a qemu wrapper to edit the qemu command line.
(cherry picked from commit 3c7b3634b2c86a4c41fec044ccb59a1fe3224e66)

Version 1.12.7.

inspection: Handle /dev/root in /etc/fstab.

This means "the device that holds /etc/fstab", so map it correctly.

This fixes support for ttylinux and also some other guests that use
/dev/root instead of a real device name.
(cherry picked from commit 917f947590c92318fee2545ba88245d0de012e31)

Add an optional group ("grub") for the guestfs_grub_install API.

This also improves the documentation for this call, pointing out
several pitfalls in using it.

This unfortunately breaks existing callers that might use
guestfs_grub_install without checking for this new group.
(cherry picked from commit 99624d29226ece1abbbdd921183b360f5f80de91)

test-tool: Display TMPDIR.
(cherry picked from commit bddde7799b80b8292879634548c3c92a3cc1c044)

test-tool: Refresh libguestfs-test-tool man page.
(cherry picked from commit cda7fa973cbdd5fc4ad3974dcc6b5ea02ec6bb44)

test-tool: Make the default timeout be 600 seconds (10 minutes).

We could sometimes hit the 120 second timeout, eg. if the appliance
needed to be rebuilt and the machine was very slow and/or under heavy
I/O load.  10 minutes should be enough for any reasonable situation.
(cherry picked from commit 912284b02e28bd63bdf3397ef841b9782adfd2cd)

test-tool: Document the -t command line option.
(cherry picked from commit 95136b149212b92e87d0c9badb7d6849a084ed4d)

test-tool: Use B<...> for command line options in man page.
(cherry picked from commit c7b88da039725ecd0d1d826b112bc69b518d4c78)

po-docs: Make podfiles sort stable.
(cherry picked from commit 7c521c7211d61a1bac46c155de1f4d3e8b60b3d7)

Stable OCaml dependencies.
(cherry picked from commit cbef2ffb0432756822cd2b02a305384f814e9b50)

docs: Add a section explaining the appliance boot process.
(cherry picked from commit b3f1457fddd19b1e540866fa01c665aeb371cb44)

Version 1.12.6.

Remove old regression test that mainly tested a buggy API.

The guestfs_ll command currently lists files in the appliance if you
prefix filenames with "/..".  However this is a bug, not a feature,
and we should not be testing it.
(cherry picked from commit 8ab2b85b2a67270b8cc5a91bb62a70c84cd6a02c)

debian: Missing build dependency on db4.8-util.
(cherry picked from commit 8928de32d391e3ad4dd98bb27472c27bb8bc38ac)

debian: Build libguestfs-ocaml and libguestfs-ocaml-dev subpackages.
(cherry picked from commit 1d134301fc4d05338d09517abc978d0a90d82e09)

daemon: Factor out name of virtio serial channel.

This is just code motion.
(cherry picked from commit 73be6db9bf1c0ae96262a5f4fa9328bb4e648637)

Create /sys directory if it doesn't exist already.

Ubuntu 10.04 LTS packages don't create /sys.
(cherry picked from commit 5b012024c49672cc69635ff01f9b9e4f87de1c65)

cat: Small documentation correction.
(cherry picked from commit 085a56690611980f438e8af2eb47ebb411465775)

Version 1.12.5.

inspector: Use xmlstarlet instead of xpath in examples.
(cherry picked from commit baefb8225c8cbde56a1637c17af5c0965a81060e)

man pages: Add a standard EXIT STATUS section to most pages.
(cherry picked from commit f0f3e1621180724e0a907a30ff5dea9695ddead0)

progress: Make default UTF-8 progress bar less black.
(cherry picked from commit ceb3a57f67f33b33c1f6cafdd0ef81808273f0c0)

resize: Add --machine-readable option for machine friendly output.

Use virt-resize --machine-readable to print a list of facts about what
this version of virt-resize supports.

This includes parts of commit 09a7545649e6cac0de2c4421cb64b659164174ee
from the development branch, but doesn't include the machine-readable
progress bar.

fish: Make progress bars into a mini library.

This library could now be called from other virt tools.
(cherry picked from commit 6146412f06c2f6f33c3ea7d571f16d4fe71dddb2)

fish: clarify comment: shared source files are used by virt tools too.
(cherry picked from commit 0bd055316f8581f4da33b039e33d5f61cc00294c)

ruby: Check Ruby callback exists before we call it (RHBZ#733297).
(cherry picked from commit 1a4f1df77eecee053eaae35d5544f151d37342e2)

ruby: Use a regular C array to pass the arguments through rb_rescue.
(cherry picked from commit 675f336319058fdbaf11ee004968b4543a5a9815)

ruby: Append newline character after printing exception in callback.
(cherry picked from commit 0cd5b9ac15c62eb570ec74d19b4aebde4990fd82)

python: Newer versions want parentheses around arguments of "print"
(cherry picked from commit 54911bdd325393d1f7f2861f298463c364b45469)

php: Fix bug in PHP tests.

We partitioned the disk, and then tried to create a PV on the whole
disk.  LVM gave the error:

  Device /dev/vda not found (or ignored by filtering).

It is unclear how this bug persisted for so long.  It might be due to
a change in LVM.
(cherry picked from commit 4fb3b23fb69e4274f434f9258e38f185426298f7)

Coverity: fix memory leak along error path.
(cherry picked from commit ce18be33cd5279a8d4120eedd037400c275585c0)

Coverity: Initialize msg buffer.

msg_flags was not being initialized and would have been passed to
sendmsg with a random value.
(cherry picked from commit a31ac8fc32297cc9185fd20a5578d2bc81cc1bce)

Coverity: fix memory leak in guestfish.
(cherry picked from commit c38cb92ec478c4dca83e4d38963720f463d52314)

Coverity: in daemon, free struct in RStruct, RStructList functions.
(cherry picked from commit b2edcbe1b9c9d161e96cb56d0efd944e84d84526)

pclose: Fix other places where we only tested pclose == -1.

pclose can return > 0 when the status of the command was non-zero.
(cherry picked from commit 631faad97171d7c1238b2e413c663cf61476f440)

test_qemu: Improve the error message.

Note that errno is probably not set to a useful value here, so there
is not much point recording it.
(cherry picked from commit f15961911316460f7d45342d63c2d784a483f0d1)

test_qemu: pclose may return any != 0 on error.

In particular pclose returns a status > 0 if the command fails.
(cherry picked from commit a24652c7b27e8494268ccb6c9a5a2e5541ba5efd)

qemu detection: Free up previous qemu help/version strings if they exist.
(cherry picked from commit 2ace9be4cd69e84cd88e5b0fd74de861a4973c91)

Coverity: test_qemu: Ensure FILE * is not leaked along error paths.

This refactors the code in test_qemu slightly to ensure that
FILE *fp is not leaked on error paths.
(cherry picked from commit 08e77ad8cb4e8ac70d4217ebd5d236eba81645b5)

Coverity: Check guestfs_inspect_get_product_name() != NULL before using.
(cherry picked from commit fa44536b0ff12102c72ae0337e51d272f0fc2353)

rescue: Ignore errno after guestfs_launch.

errno is pretty much random on the error path back from guestfs_launch
so there is nothing useful to be gained by checking it.

We could do with a better way to detect if appliance launch failed.
(cherry picked from commit 00fef9eed6a53e10a975814beef775483ff0b3dd)

Coverity: Ignore return value from guestfs_launch in virt-rescue.

We expect guestfs_launch to fail in this program.
(cherry picked from commit 9bab154d48e367702b65852c3c822341b474ffd2)

Coverity: Check return value from sscanf in bindtests calls.
(cherry picked from commit 4c76aaa391d591c5917a06b0277fb9eb7d6d790f)

autobuild: Only add last 100 lines of the log file.
(cherry picked from commit ca727deac186981f4d9784696324c8f3af79f9e5)

New autobuild script.

Remove the old top-level autobuild.sh that confused a lot
of people.

Add an autobuild.sh script that builds from the latest tarball.
(cherry picked from commit 6375aede61d57422ad82f4941693493c07b78aa2)

configure: Add --with-extra flag to allow setting the extra version string.

Intended use in Fedora and RHEL is to encode the release
string, eg.

  ./configure [...] --with-extra="-%{release}"

protocol: Fix case where download can fail for small files.

There is another case where downloads of small files could fail if the
library side (writer) fails.  In this case the library would send back
a cancellation, but it would be received after the daemon had finished
sending the whole file (because the file is small enough).  The daemon
would reenter the main loop and immediately get an unexpected cancel
message, causing the daemon to die.

This commit also makes test-cancellation-download-librarycancels.sh
more robust.  We use Monte-Carlo testing with a range of file sizes.
Small file sizes should trigger the error case.
(cherry picked from commit e4cba8f2b1a68e7361ce342ff659cccb0490446e)

Escape special/non-printing characters in debug output (RHBZ#731744).

The default event handler in libguestfs was simply writing all debug
output directly to stderr.  However if the output contains
non-printable characters such as terminal control codes then these
would also be sent directly.

With newer SeaBIOS there is a lame attempt to implement a splash
screen using terminal control codes, thus when libguestfs tries to
display debugging output it would cause the screen to clear and debug
output to be lost.

This commit causes all non-printing characters to be escaped.
(\n and \r characters from the appliance are treated somewhat
specially).

Furthermore, instead of using write(2), use buffered stderr calls.
(cherry picked from commit 06019bc82e107f7715ebc59e491610e06dad1e39)

Remove guestfs___print_timestamped_argv.

This function was used to print the qemu and
febootstrap-supermin-helper command lines.

Unfortunately in the qemu case it was used incorrectly: it called the
internal debug function (ie. event API callback) from the forked qemu
subprocess, which meant that higher level event callbacks might have
been invoked from the child process.

To fix this, convert the qemu case into a new function called
print_qemu_command line which just prints the command line directly to
stderr.  This is called after stderr has been redirected into the pipe
to the main process.  Thus the qemu command line will be marshalled
into the event API along with other qemu and appliance output.

After fixing this, only one use of guestfs___print_timestamped_argv
remained, for printing the febootstrap-supermin-helper command line.
This is converted to a local function print_febootstrap_command_line.

Also print_febootstrap_command_line is now called before we fork
febootstrap-supermin-helper, so that messages no longer overlap.
(cherry picked from commit 635af5be04265f845186b40e9a9fe7b102ad6909)

out-of-tree build: generate ./run from template, fix image checks

./run can now be run in a separate build directory. Since some files
needed in the image checks are found in the source tree (but not the
build tree), the source tree location is passed to make-*-img.sh via
an environment variable.
(cherry picked from commit 70c033998e0e721dc4f9eb2a20348098b259752c)

fish: Add fish-cmds.h to generator_built.

This updates commit 3064277680ad11f887691646d0fa17bb35f38c19.
(cherry picked from commit 85efbc6aa70d522af066a38fd1aae05b790c46d3)

out-of-tree build: fix make and make install

$(srcdir) is not needed for guestfs_c.c.
*.mli only exists in $(srcdir) and isn't found on "make install" otherwise
(cherry picked from commit 0938e43a60f9d729d9795cf45498e60217fece0e)

out-of-tree build: fix documentation generation II
(cherry picked from commit 8876b2d3764b42ebae3c5fdf61b1899095508169)

out-of-tree build: remove unneeded explicit paths
(cherry picked from commit 4baec012b1b09a888e570fc89dbaa9fbf9944f34)

Improve zeroing and detection of zeroes.

This code modifies zero, zero-device, is-zero, is-zero-device.

zero and zero-device are modified so that if the blocks of the device
already contain zeroes, then we don't write zeroes.  The reason for
this is to avoid unnecessarily making the underlying storage
non-sparse or (in the qcow2 case) growing it.

is-zero and is-zero-device are modified so that zero detection is
faster.  This is a nice side effect of making the first change.

Since avoiding unnecessary zeroing involves reading the blocks before
writing them, whereas before we just blindly wrote, this can be
slower.  As you can see from the tests below, in the case where the
disk is sparse, it actually turns out to be faster, because we avoid
allocating the underlying blocks.

However in the case where the disk is non-sparse and full of existing
data, it is much slower.  There might be a case for an API flag to
adjust whether or not we perform the zero check.  I did not add this
flag because it is unlikely that the caller would have enough
information to be able to set the flag correctly.

                                (Elapsed time in seconds)
Format  Test case                 Before     After

Raw     Sparse                    16.4       5.3

        Preallocated zero         17.0       18.8

        Preallocated random       16.0       41.3

Qcow2   preallocation=off         18.7       5.6

        preallocation=metadata    17.4       5.8

The current code uses a fixed block size of 4K for reading and
writing.  I also tried the same tests with a block size of 64K but it
didn't make any significant difference.

(Thanks to Federico Simoncelli for suggesting this change)
(cherry picked from commit 5a50c04906828f6e99db6a9be420c84114476d39)

recipes: Remove two C file dependencies which are not actually used in the POD.
(cherry picked from commit 1fdd0193fd63af71359748915a0326d623a3d6ad)

out-of-tree build: fix building library
(cherry picked from commit 0241c753937e577d51a070f7db471260bf931f9c)