virt-tar test: Stable ordering of test output.

The files could be listed in any order, resulting in the test failing
for no reason.  Sort the output of tar.
(cherry picked from commit 995b3fecb9af7a8bd52b238bad2a631a1193c83a)

Change link, since PostgreSQL switched to using git.
(cherry picked from commit 3cf31c2fe0b356ea5c04117c5235b0a3cfe34971)

Don't fail if HOSTNAME field is missing on Red Hat guests (RHBZ#726739).
(cherry picked from commit bad3f4b54a959685f3c0697238fc5753096834fb)

Version 1.10.6.

perl: Fix another place where qw() was used as parentheses.

This is a fix for Perl 5.14.

See previous commit 5c3c7e8825341e18c9449976f8a321a04cc78d79.
(cherry picked from commit c70532ab4b3d977ed7484e473107808b22d90a2a)

ocaml: Fix locking in event callbacks.

We weren't acquiring the GC lock around some allocations, resulting in
segfaults when an event callback ran at the same time as a main thread
allocation or garbage collection.

In particular this fixes a noticable crash in guestfs-browser.

(Cherry picked from commit 2b8b3f9794ceb43eabd3083e225c669896d8b186).

virt-df: Re-add documentation for --csv option.

The documentation for the --csv option disappeared between 1.6 and 1.8
when we rewrote virt-df in C.  Re-add it from 1.6 sources.
(cherry picked from commit 01f6bce19dbfaf42fa4908683f3cc8785585d023)

test-tool: Print FEBOOTSTRAP_* environment variables (RHBZ#671082).
(cherry picked from commit 15289d4b726d7c38702794df23c61ae40879a46c)

perl: Fix CCFLAGS for Perl 5.14.

A change to ExtUtils::CBuilder in Perl 5.14 causes CCFLAGS to
completely replace, rather than appending, the C flags.

The unfortunate consequence of this is that vital flags such as
-D_FILE_OFFSET_BITS=64 are missing.  For 32 bit code, this means you
get binary-incompatible code that completely fails to load.

For further analysis see:

http://www.nntp.perl.org/group/perl.perl5.porters/2011/04/msg171535.html

This commit changes CCFLAGS so that it appends to the existing
$Config{ccflags} instead of replacing it.  On earlier versions of Perl
this means we get two copies of the flags, which is unfortunate but
should be safe.
(cherry picked from commit 8386a57458aceb768f0e59aa090a15a544f7466e)

build: Redirect ./configure errors in general to config.log.
(cherry picked from commit 71eb0bf45649eefa1f0cd4b1372cfc2653c8e7a5)

build: Send failed Perl test configure output to config.log.
(cherry picked from commit 610642491a4846f45c7b233060ffde46f6ca09f0)

build: Allow 'make quickcheck' test-tool args to be overridden.

A typical use for this is for packagers who want to increase
the default timeout:

  make quickcheck QUICKCHECK_TEST_TOOL_ARGS="-t 300"
(cherry picked from commit 806b6e01506dea4eae68ac3e468d9398d63cafcb)

blkid: Use -c /dev/null option to kill the cache.

On recent Debian, /etc/blkid.tab is now a symlink to /dev/.blkid.tab.
Rather than chasing the cache file around (it may move to /run in future)
use the -c /dev/null option to stop blkid from reading the cache.
(cherry picked from commit 1d0f398d8e3c74ce6a70cbbb8d9b8ae07c6d7ef6)

blkid: Detect when value not found and return empty string.

If the blkid command returns 2, that means the value was not found.

Note that this changes the output of the vfs-type API when the
filesystem has no type (eg when it is empty).  Previously this would
return an error.  Now it returns empty string "".

We did not document this either way.  Making it return empty string is
consistent with vfs-label and vfs-uuid.

This change broke list-filesystems, since that code was assuming that
vfs-type could only return a filesystem type or an error.
(cherry picked from commit 168fd4ad5d1e5da93e11388095d41aaa8f804ceb)

appliance: Capture stderr from qemu to the event system.
(cherry picked from commit 8b2e60ce4b46e86da093ee64d4e0b0ae3c998d55)

appliance: Document pipe fds.
(cherry picked from commit 70daccfe4e9939078436c2830928d8e53432dd84)

Partially revert d82438431c1551610eb7d9945fa76d6387534582.

It appears qemu-kvm does *not* require -machine accel=tcg option.
That problem disappeared after upgrading seabios(!)  However leave the
test for qemu -help option, since that's useful to determine if qemu
is completely broken or not.
(cherry picked from commit 5dec7842655dd872bb0fd9fe07f6a9eab6b13bfd)

build: Fix virtio-serial test for qemu 0.15.

Now qemu 0.15 won't even start up unless the -machine accel=... option
is specified.  Essentially this is a regression in qemu.
(cherry picked from commit d82438431c1551610eb7d9945fa76d6387534582)

Add missing reference to guestfs-perl(3) to guestfs(3).
(cherry picked from commit a548c9668315844763456c15e89e35e9702b851a)

fish: Add is_interactive flag.

Decide early (before launch) if this is going to be an interactive
session, and set the is_interactive flag.
(cherry picked from commit e187aa8431ccf0436d9aee03ee1e80b79f148217)

guestfs.h: Add missing extern keyword before event functions.
(cherry picked from commit 4b53a3737b76cad7aca407a0d9e37fed1d42ef69)

mkfs: Don't die if mke2fs is not available.

Allow other types of filesystems to be created.
(cherry picked from commit c6340f45007b0ab7e1c5391cf78afc10a816553f)

Version 1.10.5.

appliance: Add systemd to get /sbin/reboot for virt-rescue (RHBZ#661280).
(cherry picked from commit aa8a9ebf29b7fdc97467e911560a1a7a774e9e1f)

part-get-bootable: Fix when partitions are missing or unordered (RHBZ#602997).
(cherry picked from commit 511c82df46f5c6f4a7f984fdb81d4691038ed6da)

Document that ntfsresize cannot be used multiple times (RHBZ#685009).
(cherry picked from commit 2ba2ddf2113db7bb2afe3f739dc3cbaa5416a4ba)

protocol: Force optargs_bitmask to be passed as 0 for non-opt actions.

If the action doesn't take optional arguments, nevertheless force the
optargs_bitmask field in the header to be passed as 0, and give an
error if not.
(cherry picked from commit 0344248af55802bbbd816b349ec1ba9305996f6e)

capitests: Allow tests to properly test optional arguments.

For optional arguments, you can now specify empty string to mean no
argument, except for String optional arguments where you must use
"NOARG" (empty string meaning a supplied empty string argument).
(cherry picked from commit f7a11c60437afa700775eaa86a9be1a543427959)

Add caution subdirectory containing safety and liveness tests.

Not that I'm paranoid about qemu breaking snapshots of anything like
that ...
(cherry picked from commit f3ada2c7653866f2529c9f18aaa99f76cd984844)

Change download_to_tmp so it can work with multi-root operating systems.

The previous guestfs___download_to_tmp function did not handle
multiboot correctly.  In particular it used the same cache name
for downloaded files from different roots, which could have caused
things like applications in each root to be confused.

This changes the function so that the cache filename is prefixed
with the root / fs number, eg. $tmpdir/0-Name instead of $tmpdir/Name.

This change also requires the function to return the new name, so
all places in the code which called this function had to be
updated.

This updates and fixes commit 3c1f762abed92f7a358f3bc93e3396d0606b18ad.

(Cherry picked and backported from
commit 5f26270c343bf543a7bf20cf3e6f182f6282f8ea)

generator: Fix functions with both RBufferOut and optional args.

No current function returns RBufferOut and has optional args.  Such
functions would be generated incorrectly.

RBufferOut implies a silent "size_t *size_r" argument is added after
the regular arguments and before the optional arguments.  Various
changes to the code generator need to be made to take this into
account.
(cherry picked from commit adb5db58d850ce6d15380177a63c68276f863c98)

inspector: Fix comment in virt-inspector.rng.

The comment referred to the command line syntax of the old
virt-inspector.
(cherry picked from commit ea96c7acf7a332c08c2214796add647224a2ede0)

Revert "Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)"

This reverts commit 5cab0d6c807d8a3bf9690375c663d11a10e21656.
(cherry picked from commit 123610f1b5133a9e541a245467f60d065ea96575)

trace: Print empty list correctly.

Empty lists returned by RStringList and RHashtable functions
were incorrectly printed as [""].

Fix this so they are printed as [] instead.
(cherry picked from commit 56b94f5f6aa7981533ad867cc908c6e9cca2ba42)

perl: Ignore MYMETA.yml.

This file is created by one of the build tools used by Perl 5.14.
(cherry picked from commit cabfaa857fbd325bd0303fa56b28df8ce52aab33)

perl: Don't use qw() as parentheses.

In Perl 5.14:

Use of qw(...) as parentheses is deprecated at perl/blib/lib/Sys/Guestfs/Lib.pm line 1111.
(cherry picked from commit 5c3c7e8825341e18c9449976f8a321a04cc78d79)

Version 1.10.4.

generator: Rewrite UUIDs that begin with zero byte.

In util-linux <= 2.19, mkswap -U cannot handle the first byte of the
UUID being zero, so we artificially rewrite such UUIDs.

See: http://article.gmane.org/gmane.linux.utilities.util-linux-ng/4273
(cherry picked from commit 4ee190628bc05f0c8fad1f6d9c3e85619a91e8b8)

build: include <string.h> for src/match.c's use of strlen
(cherry picked from commit daf55c07978cd29fe6675911bf76da0b056fdae1)

daemon: Keep Coverity happy by ignoring some return values.
(cherry picked from commit f5096dd546ac43c7288b3ab7aec1562f070f78f6)

Coverity: Don't return freed pointers from command* along error path.

If the external command failed to run, we could free up the allocated
*stdoutput and *stderror pointers, but then return those freed
pointers to the caller.  The caller usually tries to print and free
*stderror, so this is a serious error.

Instead, return *stdoutput as NULL, and *stderror pointing to a
generic error message.
(cherry picked from commit 29453a58d818df24c238d0a08a68886ebe4029dd)

Coverity: Missing return on error path.
(cherry picked from commit 7a091a11d7aeddc170e4d1b833fd9d7d18c00841)

Coverity: Ensure fp is closed along all error paths.
(cherry picked from commit 346c5b0ebf58c81f657540eeb72abaa41bfc4e3f)

Coverity: Close directory handle along error paths.
(cherry picked from commit 7c020a14802255c966b2b402b983551b86a08bba)

Coverity: Don't leak argv arrays.
(cherry picked from commit 869c11b30c72c57e48dd63c4641087a06abe80d5)

Coverity: Don't leak error strings.
(cherry picked from commit 3135b8c378f9f98ae66e37fd79d305764334980d)

Coverity: Check return value of sysroot_path.

For some reason we were checking the parameter!
(cherry picked from commit 7fae594df719d1d81a043c4d0280b359f750facb)

Coverity: Check return value of malloc.
(cherry picked from commit 3a5bd5aba23583e64bfaabc906ca95b0f9d37578)

Coverity: Don't close fd_cwd if fd_cwd == -1.
(cherry picked from commit 76dfb74324fa0daa343d7edf89bd05e1fe7b4db0)

Coverity: Avoid calling sort_strings (NULL, 0) on empty list.
(cherry picked from commit 3ed8d5122026f37dd96cc7e8503c4f3ecf0afbb7)

Coverity: Don't call free_strings (NULL).
(cherry picked from commit 48ebf50f3136ac27f4252662e351230ffa2b15e5)

Coverity: Remove unreachable code.
(cherry picked from commit 9160eec4fbf12643d8d5fa13465066822b2fed92)

init: Remove timeout in udevadm settle command.

The given timeout (10s) was too low if the appliance was
running slowly, which caused a cascade of other failures
during tests.

Note that in udev-171 and above on Fedora, /sbin/start_udev
no longer exists, so now we are using this manual method to
start udevd.
(cherry picked from commit bfc02f78f36d88543f8435e450e28c986b667a94)

protocol: Enhance "unexpected end of file when reading from daemon" error.

Make this error more informative, since it is a common error when the
appliance fails to start up.
(cherry picked from commit 2f73ea343cc4a3433f20e99a7835152767a70f80)

Only include date, not time, in BUGS file.

This is so the file does not change so often when using 'make dist'.
(cherry picked from commit cdd11b758f2601f7eeda4fca684638b0335d531a)

virt-ls: Refactor mode selection code.

This is just code motion.
(cherry picked from commit bb965ded274f911fb5d7889f88db9adaad1d2a52)

virt-ls: Small fix for output of --help option.
(cherry picked from commit 7177340a6f0e3ac1f238c69b0ad5267e18252fe2)

Ubuntu: Fix compilation of virt-resize if old libguestfs already installed.
(cherry picked from commit 418842518bf856144e2ab33abb6de417d1b60753)

daemon: Fix error message.
(cherry picked from commit 08bc8e40cea750bd35493ecab514e8e37c883a0a)

debian: Add build dependencies: dpkg-dev, devscripts, gperf.
(cherry picked from commit b85b4fafe1e23dc99d10647f6d35cd37b0a3f02a)

daemon: Make sysroot_len be size_t instead of int.
(cherry picked from commit 4b91462bad010a0b214e808f94a916002be65b91)

guestfs-examples(3): Remove link to OCaml homepage.
(cherry picked from commit 95368927219f2888aeb1232c7ec950dde538bc39)

Document that guestfs_file output depends on file(1) command.

And therefore practically it cannot be part of the ABI since
the output of file(1) itself changes from time to time.
(cherry picked from commit ef6f877b9df261fad1fbf361b8ce7af1055dfbb7)

fuse: Add note about allowing other users to see filesystem (RHBZ#705200).
(cherry picked from commit b777a5a64926e9bf9b7109a0e4fb1332b20fa37f)

generator: Mark sfdisk functions as deprecated.

Point to the part-* API calls as replacements.
(cherry picked from commit 12414ddc020f94e75a791815d2c1ac2b0d76eaf1)

generator: Mark mount as deprecated.

Callers should use 'mount_options' or 'mount_vfs' instead.

See also:
http://libguestfs.org/guestfs.3.html#libguestfs_gotchas
(cherry picked from commit 4ec8fd189dc8404e713c00bcfc36de358f5cdca3)

generator: Mark wait_ready as deprecated.

The function has been a no op for a very long time.  By marking
it as deprecated we make it clear that you shouldn't call it
in new code.
(cherry picked from commit 31de91f6d2605899b3a797b73b358eec9c0b1196)

generator: Check the flags fields.
(cherry picked from commit b43482964a8c7e19f47943506872cd58601c28e9)

fish: fuse: Remove redundant -DGUESTFS_DEFAULT_PATH.

This was left over from earlier code.  It is used in the base library,
but not in guestfish or guestmount.
(cherry picked from commit 8c0aca8d9280fb87027826fe89d70cc2701e7f8b)

lib: Add GCC version macro to the header file.

This will be used to internally enable various GCC enhancements.
(cherry picked from commit 33adb59b60b1358656439a757f319ba8ce81e26c)

lib: Add vertical space between each function in <guestfs.h>.
(cherry picked from commit 36b236fc97880c04e2ceeac502ff07a5e9993e28)

appliance: Use qemu -machine option where available (RHBZ#700369).

(Cherry picked from commit 64841fe8957f798df12a38bd81843c7011f2c278)

debian: Note that libconfig-dev ought to be required.

However it doesn't appear to be in Debian at the moment.
(cherry picked from commit e95671d69e697f5b44775f797f1ef9fc0829d313)

debian: Include debian/ directory in tarball.

This makes it simpler to build Debian and Ubuntu packages from the
tarballs.
(cherry picked from commit 91ea9c1805112233140a463256c89072121fc182)

Version 1.10.3.

build: Sort EXTRA_DIST into lexicographic order.
(cherry picked from commit 48c91ac03cb0a6ac351822fe70200abb8ac7f761)

daemon: Remove some less useful debugging messages.

Remove some debug messages which were basically left over from when
the code was being developed.

However we leave debug messages where it is printing an external
command that is about to be executed, since those are useful.
(cherry picked from commit 5ce759bfdc70c97121ef34ab4d5c918d568f2474)

Fix guestfs___rollback_cmdline when pos == 0.

Because of the previous change to size_t, when pos == 0 the loop would
wrap around and cause a segmentation fault.

This fixes a regression introduced by
commit 10167cea98f93a74abe63f0a54d3a662997e7489.
(cherry picked from commit 607aa95de927b5b8e4b212655c71bf21acbba372)

configure: Sort output files in AC_CONFIG_FILES section.
(cherry picked from commit 8ee0ad0caf2f90f4883909cd9b61c4dd6f9cffbf)

doc: Use I<-...> for cross-references to command line options.

This is now used consistently across all the documentation.
(cherry picked from commit c49fc3831d12788c27b90d12f06a1cd69a88e3be)

df: Refresh virt-df(1) man page.

Add examples.

Refresh description.

Use I<...> to refer to command line options.
(cherry picked from commit 988a8784647a66adbece3c9fb470c06a4cce3cdd)

guestfs(3): Note that host file size limits affect guest disk limits.
(cherry picked from commit 805e6dbc15eae5a4f85eea3c37e295aefaefeb69)

guestfs(3): Refresh documentation for private data area keys.
(cherry picked from commit 40f2b698ac765128bfcda5f0db893c95d09ae89a)

guestfs(3): Referenced section is above, not below.
(cherry picked from commit 108d7a134c5d26b967fa7162d9b80b40112c2869)

guestfs(3): Refresh autosync gotcha documentation.
(cherry picked from commit a5e421570cc840f70f2931e24b3df40c9a14cd2d)

guestfs(3): Writing to a file descriptor, not just a pipe.
(cherry picked from commit 470e373eea218c8d46b0c63dda93ee9ece48940f)

guestfs(3): Refresh documentation for guestfs_create, guestfs_close.
(cherry picked from commit dd86183f3f6d4d5ad28e1f12c56ba920934e7ad0)

internal: Use size_t instead of int for command line size.
(cherry picked from commit 10167cea98f93a74abe63f0a54d3a662997e7489)

guestfs_close: Move local variables close to code that uses them.

This is just code motion.
(cherry picked from commit 478b2d80ed1d613f621e89a97a0b140004ebac29)

guestfs_close: Remove unused local variable.
(cherry picked from commit b2f8627ab59daeb03f036dde6c66fb9da736950c)

guestfs(3): Document limits.
(cherry picked from commit c0f96e9c6eda77e5e99de862dd4366010e4a1ab8)

zero: Disable file test because of bug in file command.

See: https://bugzilla.redhat.com/show_bug.cgi?id=705499
(cherry picked from commit f55b32b2db83495fc0987f0fe0e979818704dff1)

Version 1.10.2.

python: Rearrange C files for bindings.

Move the hand-written functions into two new files:
guestfs-py.h and guestfs-py-byhand.c

This is just code motion.
(cherry picked from commit 16da7589e91b0030fb5564553447f80b97c0b18c)

perl: Decrement refcount in $g->delete_event_callback.

This updates commit bc468c87d04b34faacd208c49cca4a5096e5103c.
(cherry picked from commit 3acf732c2f23d8508f692efb2b222169914bfcdc)

inspect: Look for %systemroot%/system32 for Windows heuristic.

The virt-v2v transfer ISO had a /windows directory.  The core
inspection code thought this was a Windows root filesystem.
(cherry picked from commit 0da6f55a6745686ca056c6bc8ebf647f111cb8e8)

list-applications: If software hive is missing, this is an error.

virt-inspector would exit silently if list-applications failed along
this error path.
(cherry picked from commit 782f3a36469ca396dbf998ea82af2699153be3ed)

inspect: "centos" and "scientificlinux" are now separate distros.

Previously we returned "rhel" for these, which was not accurate.
(cherry picked from commit 2b0ca7e7b8d369a42a51b1feec72ae8f17257c78)

Version 1.10.1

python: Release Python GIL while running libguestfs calls.

Release the Python global interpreter lock while running libguestfs
calls.

We don't release it around guestfs_create() because that is a short
call that just allocates memory.  We do release it around
guestfs_close() since that is a potentially long-running (it can call
wait(2) amongst other things).  We also release it around all the
other generated Python calls.

We don't yet support callbacks into Python code (ie. the new event
API).  But when we do in future, we will need to also handle the GIL
around those callbacks.

This code is adapted from libvirt's python/typewrappers.h.  Thanks to
Dan Berrange for showing us how to do this properly.
(cherry picked from commit 08dc4a87b92435678780e9c49fe3bc1e7465d99f)