ruby: Append newline character after printing exception in callback.
(cherry picked from commit 0cd5b9ac15c62eb570ec74d19b4aebde4990fd82)

python: Newer versions want parentheses around arguments of "print"
(cherry picked from commit 54911bdd325393d1f7f2861f298463c364b45469)

php: Fix bug in PHP tests.

We partitioned the disk, and then tried to create a PV on the whole
disk.  LVM gave the error:

  Device /dev/vda not found (or ignored by filtering).

It is unclear how this bug persisted for so long.  It might be due to
a change in LVM.
(cherry picked from commit 4fb3b23fb69e4274f434f9258e38f185426298f7)

Coverity: fix memory leak along error path.
(cherry picked from commit ce18be33cd5279a8d4120eedd037400c275585c0)

Coverity: Initialize msg buffer.

msg_flags was not being initialized and would have been passed to
sendmsg with a random value.
(cherry picked from commit a31ac8fc32297cc9185fd20a5578d2bc81cc1bce)

Coverity: fix memory leak in guestfish.
(cherry picked from commit c38cb92ec478c4dca83e4d38963720f463d52314)

Coverity: in daemon, free struct in RStruct, RStructList functions.
(cherry picked from commit b2edcbe1b9c9d161e96cb56d0efd944e84d84526)

pclose: Fix other places where we only tested pclose == -1.

pclose can return > 0 when the status of the command was non-zero.
(cherry picked from commit 631faad97171d7c1238b2e413c663cf61476f440)

test_qemu: pclose may return any != 0 on error.

In particular pclose returns a status > 0 if the command fails.
(cherry picked from commit a24652c7b27e8494268ccb6c9a5a2e5541ba5efd)

qemu detection: Free up previous qemu help/version strings if they exist.
(cherry picked from commit 2ace9be4cd69e84cd88e5b0fd74de861a4973c91)

Coverity: test_qemu: Ensure FILE * is not leaked along error paths.

This refactors the code in test_qemu slightly to ensure that
FILE *fp is not leaked on error paths.
(cherry picked from commit 08e77ad8cb4e8ac70d4217ebd5d236eba81645b5)

Coverity: Check guestfs_inspect_get_product_name() != NULL before using.
(cherry picked from commit fa44536b0ff12102c72ae0337e51d272f0fc2353)

rescue: Ignore errno after guestfs_launch.

errno is pretty much random on the error path back from guestfs_launch
so there is nothing useful to be gained by checking it.

We could do with a better way to detect if appliance launch failed.
(cherry picked from commit 00fef9eed6a53e10a975814beef775483ff0b3dd)

Coverity: Ignore return value from guestfs_launch in virt-rescue.

We expect guestfs_launch to fail in this program.
(cherry picked from commit 9bab154d48e367702b65852c3c822341b474ffd2)

Coverity: Check return value from sscanf in bindtests calls.
(cherry picked from commit 4c76aaa391d591c5917a06b0277fb9eb7d6d790f)

configure: Add --with-extra flag to allow setting the extra version string.

Intended use in Fedora and RHEL is to encode the release
string, eg.

  ./configure [...] --with-extra="-%{release}"
(cherry picked from commit a4db75521d6026410425187fc2c5c9cb931a69b5)

protocol: Fix case where download can fail for small files.

There is another case where downloads of small files could fail if the
library side (writer) fails.  In this case the library would send back
a cancellation, but it would be received after the daemon had finished
sending the whole file (because the file is small enough).  The daemon
would reenter the main loop and immediately get an unexpected cancel
message, causing the daemon to die.

This commit also makes test-cancellation-download-librarycancels.sh
more robust.  We use Monte-Carlo testing with a range of file sizes.
Small file sizes should trigger the error case.
(cherry picked from commit e4cba8f2b1a68e7361ce342ff659cccb0490446e)

Escape special/non-printing characters in debug output (RHBZ#731744).

The default event handler in libguestfs was simply writing all debug
output directly to stderr.  However if the output contains
non-printable characters such as terminal control codes then these
would also be sent directly.

With newer SeaBIOS there is a lame attempt to implement a splash
screen using terminal control codes, thus when libguestfs tries to
display debugging output it would cause the screen to clear and debug
output to be lost.

This commit causes all non-printing characters to be escaped.
(\n and \r characters from the appliance are treated somewhat
specially).

Furthermore, instead of using write(2), use buffered stderr calls.
(cherry picked from commit 06019bc82e107f7715ebc59e491610e06dad1e39)

Vesion 1.10.8.

ruby: Fix typo in Ruby bindings file.
(cherry picked from commit 44c3a300265ef7bfa5d49d2b9a2a8faccd9db2de)

Note that additional memory may be required to typecheck Augeas lenses (RHBZ#729887).
(cherry picked from commit 7739d7f471f9575828bd32489695d92dde005a9c)

fish: Document that remote run in cmd substitution context hangs.

This documents bug 592910.
(cherry picked from commit 6cabc1cd02e181063596b48df55c3f6db51a6bb9)

Fix 'unknown filesystem' warnings in old inspection code (RHBZ#678231 RHBZ#666578).

This is a comprehensive fix for the warnings from the old (and
obsolete) Perl inspection code.  For a full description and
reproducer, see:

https://bugzilla.redhat.com/show_bug.cgi?id=678231#c5
(cherry picked from commit b9838001015a06a69a08b69d9f013d82f0ea3139)

inspection: Better checking for Windows root disks (RHBZ#729075).

Previously any disk that had /autoexec.bat or /boot.ini or /ntldr
would be picked up as a candidate for a Windows root disk.  If further
checking could not find any systemroot (eg. /windows) then this would
result in complete failure of inspection.

In particular, this got confused by Hp_recovery partitions which have
/autoexec.bat, but don't have a systemroot in one of the usual places
(they have /MiniNT instead).

What we do now is to properly investigate all possible systemroot
places before deciding this is a Windows systemroot, so the subsequent
failure cannot occur.

(Thanks to lorimar for reporting this bug).

Cherry picked from commit 2c57305f72cd6181d1849ae6e1b892aa01c7f844
and backported to stable-1.10 branch.

build: Set TMPDIR for local testing.

This avoids conflicts with the globally installed libguestfs
appliance, or lets us build in multiple local directories at the same
time without conflicts.

Cherry picked from commit f7d18c84dde596699ffc5100fec2cf7b0d582450
and backported to stable-1.10 branch.

fish: Add fish-cmds.h to generator_built.

This updates commit 3064277680ad11f887691646d0fa17bb35f38c19.
(cherry picked from commit 85efbc6aa70d522af066a38fd1aae05b790c46d3)

fish: Declare run_* functions in a generated header file.

Calls to these functions are generated, so there is no need to declare
the functions by hand.

Cherry picked from commit 3064277680ad11f887691646d0fa17bb35f38c19
and backported to stable-1.10 branch.

Version 1.10.7.

docs: Fix function names in deprecation notices.
(cherry picked from commit 60adf092a8900323c048c94f3f0934be416a3eb6)

docs: guestfs_set_out_of_memory_handler returns void, not int.

It always has done.  The documentation was wrong.
(cherry picked from commit 70f44cc0ea0bcdd025ed657461e07f6778be44ba)

debian: bash is required to run libtool replacement script.

This was failing on Debian where $(SHELL) is the minimal dash shell.
(cherry picked from commit 6a98ed953b1e3b0d3251385f0ca2dd1dee80b63d)

configure: Fix info about virt-resize when OCaml bindings are disabled.
(cherry picked from commit e1c6d1738a2b9123dd08fb4ecff8176daf558f35)

debian: Add gawk to packagelist.

It's already included, but implicitly.
(cherry picked from commit 5f9c168d9135fa81ee2f3a15461467fe04c26888)

virt-tar test: Stable ordering of test output.

The files could be listed in any order, resulting in the test failing
for no reason.  Sort the output of tar.
(cherry picked from commit 995b3fecb9af7a8bd52b238bad2a631a1193c83a)

Change link, since PostgreSQL switched to using git.
(cherry picked from commit 3cf31c2fe0b356ea5c04117c5235b0a3cfe34971)

Don't fail if HOSTNAME field is missing on Red Hat guests (RHBZ#726739).
(cherry picked from commit bad3f4b54a959685f3c0697238fc5753096834fb)

Version 1.10.6.

perl: Fix another place where qw() was used as parentheses.

This is a fix for Perl 5.14.

See previous commit 5c3c7e8825341e18c9449976f8a321a04cc78d79.
(cherry picked from commit c70532ab4b3d977ed7484e473107808b22d90a2a)

ocaml: Fix locking in event callbacks.

We weren't acquiring the GC lock around some allocations, resulting in
segfaults when an event callback ran at the same time as a main thread
allocation or garbage collection.

In particular this fixes a noticable crash in guestfs-browser.

(Cherry picked from commit 2b8b3f9794ceb43eabd3083e225c669896d8b186).

virt-df: Re-add documentation for --csv option.

The documentation for the --csv option disappeared between 1.6 and 1.8
when we rewrote virt-df in C.  Re-add it from 1.6 sources.
(cherry picked from commit 01f6bce19dbfaf42fa4908683f3cc8785585d023)

test-tool: Print FEBOOTSTRAP_* environment variables (RHBZ#671082).
(cherry picked from commit 15289d4b726d7c38702794df23c61ae40879a46c)

perl: Fix CCFLAGS for Perl 5.14.

A change to ExtUtils::CBuilder in Perl 5.14 causes CCFLAGS to
completely replace, rather than appending, the C flags.

The unfortunate consequence of this is that vital flags such as
-D_FILE_OFFSET_BITS=64 are missing.  For 32 bit code, this means you
get binary-incompatible code that completely fails to load.

For further analysis see:

http://www.nntp.perl.org/group/perl.perl5.porters/2011/04/msg171535.html

This commit changes CCFLAGS so that it appends to the existing
$Config{ccflags} instead of replacing it.  On earlier versions of Perl
this means we get two copies of the flags, which is unfortunate but
should be safe.
(cherry picked from commit 8386a57458aceb768f0e59aa090a15a544f7466e)

build: Redirect ./configure errors in general to config.log.
(cherry picked from commit 71eb0bf45649eefa1f0cd4b1372cfc2653c8e7a5)

build: Send failed Perl test configure output to config.log.
(cherry picked from commit 610642491a4846f45c7b233060ffde46f6ca09f0)

build: Allow 'make quickcheck' test-tool args to be overridden.

A typical use for this is for packagers who want to increase
the default timeout:

  make quickcheck QUICKCHECK_TEST_TOOL_ARGS="-t 300"
(cherry picked from commit 806b6e01506dea4eae68ac3e468d9398d63cafcb)

blkid: Use -c /dev/null option to kill the cache.

On recent Debian, /etc/blkid.tab is now a symlink to /dev/.blkid.tab.
Rather than chasing the cache file around (it may move to /run in future)
use the -c /dev/null option to stop blkid from reading the cache.
(cherry picked from commit 1d0f398d8e3c74ce6a70cbbb8d9b8ae07c6d7ef6)

blkid: Detect when value not found and return empty string.

If the blkid command returns 2, that means the value was not found.

Note that this changes the output of the vfs-type API when the
filesystem has no type (eg when it is empty).  Previously this would
return an error.  Now it returns empty string "".

We did not document this either way.  Making it return empty string is
consistent with vfs-label and vfs-uuid.

This change broke list-filesystems, since that code was assuming that
vfs-type could only return a filesystem type or an error.
(cherry picked from commit 168fd4ad5d1e5da93e11388095d41aaa8f804ceb)

appliance: Capture stderr from qemu to the event system.
(cherry picked from commit 8b2e60ce4b46e86da093ee64d4e0b0ae3c998d55)

appliance: Document pipe fds.
(cherry picked from commit 70daccfe4e9939078436c2830928d8e53432dd84)

Partially revert d82438431c1551610eb7d9945fa76d6387534582.

It appears qemu-kvm does *not* require -machine accel=tcg option.
That problem disappeared after upgrading seabios(!)  However leave the
test for qemu -help option, since that's useful to determine if qemu
is completely broken or not.
(cherry picked from commit 5dec7842655dd872bb0fd9fe07f6a9eab6b13bfd)

build: Fix virtio-serial test for qemu 0.15.

Now qemu 0.15 won't even start up unless the -machine accel=... option
is specified.  Essentially this is a regression in qemu.
(cherry picked from commit d82438431c1551610eb7d9945fa76d6387534582)

Add missing reference to guestfs-perl(3) to guestfs(3).
(cherry picked from commit a548c9668315844763456c15e89e35e9702b851a)

fish: Add is_interactive flag.

Decide early (before launch) if this is going to be an interactive
session, and set the is_interactive flag.
(cherry picked from commit e187aa8431ccf0436d9aee03ee1e80b79f148217)

guestfs.h: Add missing extern keyword before event functions.
(cherry picked from commit 4b53a3737b76cad7aca407a0d9e37fed1d42ef69)

mkfs: Don't die if mke2fs is not available.

Allow other types of filesystems to be created.
(cherry picked from commit c6340f45007b0ab7e1c5391cf78afc10a816553f)

Version 1.10.5.

appliance: Add systemd to get /sbin/reboot for virt-rescue (RHBZ#661280).
(cherry picked from commit aa8a9ebf29b7fdc97467e911560a1a7a774e9e1f)

part-get-bootable: Fix when partitions are missing or unordered (RHBZ#602997).
(cherry picked from commit 511c82df46f5c6f4a7f984fdb81d4691038ed6da)

Document that ntfsresize cannot be used multiple times (RHBZ#685009).
(cherry picked from commit 2ba2ddf2113db7bb2afe3f739dc3cbaa5416a4ba)

protocol: Force optargs_bitmask to be passed as 0 for non-opt actions.

If the action doesn't take optional arguments, nevertheless force the
optargs_bitmask field in the header to be passed as 0, and give an
error if not.
(cherry picked from commit 0344248af55802bbbd816b349ec1ba9305996f6e)

capitests: Allow tests to properly test optional arguments.

For optional arguments, you can now specify empty string to mean no
argument, except for String optional arguments where you must use
"NOARG" (empty string meaning a supplied empty string argument).
(cherry picked from commit f7a11c60437afa700775eaa86a9be1a543427959)

Add caution subdirectory containing safety and liveness tests.

Not that I'm paranoid about qemu breaking snapshots of anything like
that ...
(cherry picked from commit f3ada2c7653866f2529c9f18aaa99f76cd984844)

Change download_to_tmp so it can work with multi-root operating systems.

The previous guestfs___download_to_tmp function did not handle
multiboot correctly.  In particular it used the same cache name
for downloaded files from different roots, which could have caused
things like applications in each root to be confused.

This changes the function so that the cache filename is prefixed
with the root / fs number, eg. $tmpdir/0-Name instead of $tmpdir/Name.

This change also requires the function to return the new name, so
all places in the code which called this function had to be
updated.

This updates and fixes commit 3c1f762abed92f7a358f3bc93e3396d0606b18ad.

(Cherry picked and backported from
commit 5f26270c343bf543a7bf20cf3e6f182f6282f8ea)

generator: Fix functions with both RBufferOut and optional args.

No current function returns RBufferOut and has optional args.  Such
functions would be generated incorrectly.

RBufferOut implies a silent "size_t *size_r" argument is added after
the regular arguments and before the optional arguments.  Various
changes to the code generator need to be made to take this into
account.
(cherry picked from commit adb5db58d850ce6d15380177a63c68276f863c98)

inspector: Fix comment in virt-inspector.rng.

The comment referred to the command line syntax of the old
virt-inspector.
(cherry picked from commit ea96c7acf7a332c08c2214796add647224a2ede0)

Revert "Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)"

This reverts commit 5cab0d6c807d8a3bf9690375c663d11a10e21656.
(cherry picked from commit 123610f1b5133a9e541a245467f60d065ea96575)

trace: Print empty list correctly.

Empty lists returned by RStringList and RHashtable functions
were incorrectly printed as [""].

Fix this so they are printed as [] instead.
(cherry picked from commit 56b94f5f6aa7981533ad867cc908c6e9cca2ba42)

perl: Ignore MYMETA.yml.

This file is created by one of the build tools used by Perl 5.14.
(cherry picked from commit cabfaa857fbd325bd0303fa56b28df8ce52aab33)

perl: Don't use qw() as parentheses.

In Perl 5.14:

Use of qw(...) as parentheses is deprecated at perl/blib/lib/Sys/Guestfs/Lib.pm line 1111.
(cherry picked from commit 5c3c7e8825341e18c9449976f8a321a04cc78d79)

Version 1.10.4.

generator: Rewrite UUIDs that begin with zero byte.

In util-linux <= 2.19, mkswap -U cannot handle the first byte of the
UUID being zero, so we artificially rewrite such UUIDs.

See: http://article.gmane.org/gmane.linux.utilities.util-linux-ng/4273
(cherry picked from commit 4ee190628bc05f0c8fad1f6d9c3e85619a91e8b8)

build: include <string.h> for src/match.c's use of strlen
(cherry picked from commit daf55c07978cd29fe6675911bf76da0b056fdae1)

daemon: Keep Coverity happy by ignoring some return values.
(cherry picked from commit f5096dd546ac43c7288b3ab7aec1562f070f78f6)

Coverity: Don't return freed pointers from command* along error path.

If the external command failed to run, we could free up the allocated
*stdoutput and *stderror pointers, but then return those freed
pointers to the caller.  The caller usually tries to print and free
*stderror, so this is a serious error.

Instead, return *stdoutput as NULL, and *stderror pointing to a
generic error message.
(cherry picked from commit 29453a58d818df24c238d0a08a68886ebe4029dd)

Coverity: Missing return on error path.
(cherry picked from commit 7a091a11d7aeddc170e4d1b833fd9d7d18c00841)

Coverity: Ensure fp is closed along all error paths.
(cherry picked from commit 346c5b0ebf58c81f657540eeb72abaa41bfc4e3f)

Coverity: Close directory handle along error paths.
(cherry picked from commit 7c020a14802255c966b2b402b983551b86a08bba)

Coverity: Don't leak argv arrays.
(cherry picked from commit 869c11b30c72c57e48dd63c4641087a06abe80d5)

Coverity: Don't leak error strings.
(cherry picked from commit 3135b8c378f9f98ae66e37fd79d305764334980d)

Coverity: Check return value of sysroot_path.

For some reason we were checking the parameter!
(cherry picked from commit 7fae594df719d1d81a043c4d0280b359f750facb)

Coverity: Check return value of malloc.
(cherry picked from commit 3a5bd5aba23583e64bfaabc906ca95b0f9d37578)

Coverity: Don't close fd_cwd if fd_cwd == -1.
(cherry picked from commit 76dfb74324fa0daa343d7edf89bd05e1fe7b4db0)

Coverity: Avoid calling sort_strings (NULL, 0) on empty list.
(cherry picked from commit 3ed8d5122026f37dd96cc7e8503c4f3ecf0afbb7)

Coverity: Don't call free_strings (NULL).
(cherry picked from commit 48ebf50f3136ac27f4252662e351230ffa2b15e5)

Coverity: Remove unreachable code.
(cherry picked from commit 9160eec4fbf12643d8d5fa13465066822b2fed92)

init: Remove timeout in udevadm settle command.

The given timeout (10s) was too low if the appliance was
running slowly, which caused a cascade of other failures
during tests.

Note that in udev-171 and above on Fedora, /sbin/start_udev
no longer exists, so now we are using this manual method to
start udevd.
(cherry picked from commit bfc02f78f36d88543f8435e450e28c986b667a94)

protocol: Enhance "unexpected end of file when reading from daemon" error.

Make this error more informative, since it is a common error when the
appliance fails to start up.
(cherry picked from commit 2f73ea343cc4a3433f20e99a7835152767a70f80)

Only include date, not time, in BUGS file.

This is so the file does not change so often when using 'make dist'.
(cherry picked from commit cdd11b758f2601f7eeda4fca684638b0335d531a)

virt-ls: Refactor mode selection code.

This is just code motion.
(cherry picked from commit bb965ded274f911fb5d7889f88db9adaad1d2a52)

virt-ls: Small fix for output of --help option.
(cherry picked from commit 7177340a6f0e3ac1f238c69b0ad5267e18252fe2)

Ubuntu: Fix compilation of virt-resize if old libguestfs already installed.
(cherry picked from commit 418842518bf856144e2ab33abb6de417d1b60753)

daemon: Fix error message.
(cherry picked from commit 08bc8e40cea750bd35493ecab514e8e37c883a0a)

debian: Add build dependencies: dpkg-dev, devscripts, gperf.
(cherry picked from commit b85b4fafe1e23dc99d10647f6d35cd37b0a3f02a)

daemon: Make sysroot_len be size_t instead of int.
(cherry picked from commit 4b91462bad010a0b214e808f94a916002be65b91)

guestfs-examples(3): Remove link to OCaml homepage.
(cherry picked from commit 95368927219f2888aeb1232c7ec950dde538bc39)

Document that guestfs_file output depends on file(1) command.

And therefore practically it cannot be part of the ABI since
the output of file(1) itself changes from time to time.
(cherry picked from commit ef6f877b9df261fad1fbf361b8ce7af1055dfbb7)

fuse: Add note about allowing other users to see filesystem (RHBZ#705200).
(cherry picked from commit b777a5a64926e9bf9b7109a0e4fb1332b20fa37f)

generator: Mark sfdisk functions as deprecated.

Point to the part-* API calls as replacements.
(cherry picked from commit 12414ddc020f94e75a791815d2c1ac2b0d76eaf1)

generator: Mark mount as deprecated.

Callers should use 'mount_options' or 'mount_vfs' instead.

See also:
http://libguestfs.org/guestfs.3.html#libguestfs_gotchas
(cherry picked from commit 4ec8fd189dc8404e713c00bcfc36de358f5cdca3)

generator: Mark wait_ready as deprecated.

The function has been a no op for a very long time.  By marking
it as deprecated we make it clear that you shouldn't call it
in new code.
(cherry picked from commit 31de91f6d2605899b3a797b73b358eec9c0b1196)