Version 1.8.16.

df: Disable part of virt-df test.

See:
https://www.redhat.com/archives/libguestfs/2011-November/msg00051.html
(cherry picked from commit 6e6b3ff35f9baafb22d5459ca13c112b1e00ae1b)

daemon: Use pkg-config to locate Augeas CFLAGS / libraries.

Augeas 0.10 depends on libxml2, so this is now required in the
appliance (in fact, it was already present).

However this exposed two bugs:

(1) In libguestfs we use a home-brewed recipe for Augeas flags,
resulting in this error:
/usr/include/augeas.h:24:25: fatal error: libxml/tree.h: No such file or directory

(2) Augeas's own augeas.pc didn't include the libxml2 flags, so
it was broken.  This requires a patch to Augeas 0.10, see:
https://www.redhat.com/archives/augeas-devel/2011-December/msg00008.html

Change to using pkg-config to detect Augeas.  It is still an optional
library.

Cherry picked from commit 615924abaa968398d6529529fa2f31ae23de825b and
rebased for old libguestfs branches that had separate
daemon/configure.ac.

Security: Mitigate possible privilege escalation via SG_IO ioctl (CVE-2011-4127, RHBZ#757071)

CVE-2011-4127 is a serious qemu & kernel privilege escalation bug
found by Paolo Bonzini.

http://seclists.org/oss-sec/2011/q4/536

An untrusted guest kernel is able to issue special SG_IO ioctls on
virtio devices which qemu passes through to the host kernel without
filtering or sanitizing.  These ioctls allow raw sectors from the
underlying host device to be read and written.  Significantly, neither
qemu nor the host kernel checks that the range of sectors is within
the partition / LV assigned to the guest.  For example, if the guest
is assigned host partition /dev/sda3, it would be able to read or
write any part of /dev/sda including other partitions and the boot
sector.  Exploits through LVs passed to the guest are also possible,
with some limitations.  File-backed virtual block devices are not
vulnerable.  Non-virtio block devices are not vulnerable.

This patch mitigates the problem by disabling the SG_IO ioctl
passthrough in qemu.  Thus if libguestfs is examining an untrusted
guest and the libguestfs appliance/daemon is compromised (eg. by
executing guest commands, or through some other compromise), then the
compromised appliance will not be able to issue the above SG_IO ioctls
and exploit the host.

Note that this is just mitigation for libguestfs.  Users will still
want to fully update their host kernel, qemu/KVM and libvirt, in order
to prevent other (non-libguestfs) routes to compromise.

The following versions of libguestfs (will/have) this patch applied.

  libguestfs >= 1.15.13
  libguestfs >= 1.14.8
  libguestfs >= 1.12.11
  libguestfs >= 1.10.12
  libguestfs >= 1.8.16

Earlier versions may be vulnerable unless a downstream packager has
applied this patch.

Cc: Hilko Bengen <bengen@hilluzination.de>
(cherry picked from commit 9a5f784d511a8f00a8386f316eab41fe660430db)

Version 1.8.15.

daemon: Don't use files with fixed names in /tmp (thanks Steve Kemp).

Although this doesn't matter for the ordinary (appliance) case, it
matters for the libguestfs live case.  In that case it could cause the
guest to be exploited by a tmp/symlink attack.
(cherry picked from commit 6011b1f803ba7308c6a94b9bf6b7212cfccb9f42)

Version 1.8.14.

Update to latest gnulib for stable-1.8 branch.

bootstrap: use --libtool
(cherry picked from commit 343ba6d482643882c3ab3a529f3d882ee1ba36f9)

perl: Add %guestfs_introspection hash with introspection information.

Because this is a useful introspection API, it is a candidate for
being backported into older stable branches.
(cherry picked from commit 365885dab2ae6dcdf0b2c45d0adeb803ade03f63)

Add test for qemu broken -machine option (RHBZ#748266).

Also add this option, if necessary, when testing for virtio-serial
support.

When the workaround is enabled, we specify machine type 'pc'.
(cherry picked from commit 3814680423984b3c46c2f99e944c2a71862bde9f)

appliance: udev-174 moves udevd to /lib/udev/udevd (instead of /sbin/udevd)
(cherry picked from commit fef0ff3d869d2ebdb48eea0c538270fc98f5952d)

Version 1.8.13.

Add an optional group ("grub") for the guestfs_grub_install API.

This also improves the documentation for this call, pointing out
several pitfalls in using it.

This unfortunately breaks existing callers that might use
guestfs_grub_install without checking for this new group.
(cherry picked from commit 99624d29226ece1abbbdd921183b360f5f80de91)

Version 1.8.12.

ruby: Fix typo in Ruby bindings file.
(cherry picked from commit 44c3a300265ef7bfa5d49d2b9a2a8faccd9db2de)

Note that additional memory may be required to typecheck Augeas lenses (RHBZ#729887).
(cherry picked from commit 7739d7f471f9575828bd32489695d92dde005a9c)

fish: Document that remote run in cmd substitution context hangs.

This documents bug 592910.
(cherry picked from commit 6cabc1cd02e181063596b48df55c3f6db51a6bb9)

Fix 'unknown filesystem' warnings in old inspection code (RHBZ#678231 RHBZ#666578).

This is a comprehensive fix for the warnings from the old (and
obsolete) Perl inspection code.  For a full description and
reproducer, see:

https://bugzilla.redhat.com/show_bug.cgi?id=678231#c5
(cherry picked from commit b9838001015a06a69a08b69d9f013d82f0ea3139)

build: Set TMPDIR for local testing.

This avoids conflicts with the globally installed libguestfs
appliance, or lets us build in multiple local directories at the same
time without conflicts.

Cherry picked from commit f7d18c84dde596699ffc5100fec2cf7b0d582450
and backported to stable-1.8.

fish: Add fish-cmds.h to generator_built.

This updates commit 3064277680ad11f887691646d0fa17bb35f38c19.
(cherry picked from commit 85efbc6aa70d522af066a38fd1aae05b790c46d3)

fish: Declare run_* functions in a generated header file.

Calls to these functions are generated, so there is no need to declare
the functions by hand.

Cherry picked from commit 3064277680ad11f887691646d0fa17bb35f38c19
and backported to stable-1.8 branch.

Version 1.8.11.

docs: Fix function names in deprecation notices.
(cherry picked from commit 60adf092a8900323c048c94f3f0934be416a3eb6)

docs: guestfs_set_out_of_memory_handler returns void, not int.

It always has done.  The documentation was wrong.
(cherry picked from commit 70f44cc0ea0bcdd025ed657461e07f6778be44ba)

debian: bash is required to run libtool replacement script.

This was failing on Debian where $(SHELL) is the minimal dash shell.
(cherry picked from commit 6a98ed953b1e3b0d3251385f0ca2dd1dee80b63d)

debian: Add gawk to packagelist.

It's already included, but implicitly.
(cherry picked from commit 5f9c168d9135fa81ee2f3a15461467fe04c26888)

virt-tar test: Stable ordering of test output.

The files could be listed in any order, resulting in the test failing
for no reason.  Sort the output of tar.
(cherry picked from commit 995b3fecb9af7a8bd52b238bad2a631a1193c83a)

Change link, since PostgreSQL switched to using git.
(cherry picked from commit 3cf31c2fe0b356ea5c04117c5235b0a3cfe34971)

Don't fail if HOSTNAME field is missing on Red Hat guests (RHBZ#726739).

Cherry picked from commit bad3f4b54a959685f3c0697238fc5753096834fb.

Version 1.8.10.

perl: Fix another place where qw() was used as parentheses.

This is a fix for Perl 5.14.

See previous commit 5c3c7e8825341e18c9449976f8a321a04cc78d79.
(cherry picked from commit c70532ab4b3d977ed7484e473107808b22d90a2a)

ocaml: Fix locking in event callbacks.

We weren't acquiring the GC lock around some allocations, resulting in
segfaults when an event callback ran at the same time as a main thread
allocation or garbage collection.

In particular this fixes a noticable crash in guestfs-browser.

(Cherry picked from commit 2b8b3f9794ceb43eabd3083e225c669896d8b186)

virt-df: Re-add documentation for --csv option.

The documentation for the --csv option disappeared between 1.6 and 1.8
when we rewrote virt-df in C.  Re-add it from 1.6 sources.
(cherry picked from commit 01f6bce19dbfaf42fa4908683f3cc8785585d023)

test-tool: Print FEBOOTSTRAP_* environment variables (RHBZ#671082).
(cherry picked from commit 15289d4b726d7c38702794df23c61ae40879a46c)

perl: Fix CCFLAGS for Perl 5.14.

A change to ExtUtils::CBuilder in Perl 5.14 causes CCFLAGS to
completely replace, rather than appending, the C flags.

The unfortunate consequence of this is that vital flags such as
-D_FILE_OFFSET_BITS=64 are missing.  For 32 bit code, this means you
get binary-incompatible code that completely fails to load.

For further analysis see:

http://www.nntp.perl.org/group/perl.perl5.porters/2011/04/msg171535.html

This commit changes CCFLAGS so that it appends to the existing
$Config{ccflags} instead of replacing it.  On earlier versions of Perl
this means we get two copies of the flags, which is unfortunate but
should be safe.
(cherry picked from commit 8386a57458aceb768f0e59aa090a15a544f7466e)

build: Redirect ./configure errors in general to config.log.
(cherry picked from commit 71eb0bf45649eefa1f0cd4b1372cfc2653c8e7a5)

build: Send failed Perl test configure output to config.log.
(cherry picked from commit 610642491a4846f45c7b233060ffde46f6ca09f0)

build: Allow 'make quickcheck' test-tool args to be overridden.

A typical use for this is for packagers who want to increase
the default timeout:

  make quickcheck QUICKCHECK_TEST_TOOL_ARGS="-t 300"

(Cherry picked from commit 806b6e01506dea4eae68ac3e468d9398d63cafcb)

blkid: Use -c /dev/null option to kill the cache.

On recent Debian, /etc/blkid.tab is now a symlink to /dev/.blkid.tab.
Rather than chasing the cache file around (it may move to /run in future)
use the -c /dev/null option to stop blkid from reading the cache.
(cherry picked from commit 1d0f398d8e3c74ce6a70cbbb8d9b8ae07c6d7ef6)

blkid: Detect when value not found and return empty string.

If the blkid command returns 2, that means the value was not found.

Note that this changes the output of the vfs-type API when the
filesystem has no type (eg when it is empty).  Previously this would
return an error.  Now it returns empty string "".

We did not document this either way.  Making it return empty string is
consistent with vfs-label and vfs-uuid.

This change broke list-filesystems, since that code was assuming that
vfs-type could only return a filesystem type or an error.
(cherry picked from commit 168fd4ad5d1e5da93e11388095d41aaa8f804ceb)

appliance: Capture stderr from qemu to the event system.
(cherry picked from commit 8b2e60ce4b46e86da093ee64d4e0b0ae3c998d55)

appliance: Document pipe fds.
(cherry picked from commit 70daccfe4e9939078436c2830928d8e53432dd84)

build: Fix virtio-serial test for qemu 0.15.

(Cherry picked and combined
commit d82438431c1551610eb7d9945fa76d6387534582 and
commit 5dec7842655dd872bb0fd9fe07f6a9eab6b13bfd)

mkfs: Don't die if mke2fs is not available.

Allow other types of filesystems to be created.
(cherry picked from commit c6340f45007b0ab7e1c5391cf78afc10a816553f)

part-get-bootable: Fix when partitions are missing or unordered (RHBZ#602997).
(cherry picked from commit 511c82df46f5c6f4a7f984fdb81d4691038ed6da)

Version 1.8.9.

Document that ntfsresize cannot be used multiple times (RHBZ#685009).
(cherry picked from commit 2ba2ddf2113db7bb2afe3f739dc3cbaa5416a4ba)

protocol: Force optargs_bitmask to be passed as 0 for non-opt actions.

If the action doesn't take optional arguments, nevertheless force the
optargs_bitmask field in the header to be passed as 0, and give an
error if not.
(cherry picked from commit 0344248af55802bbbd816b349ec1ba9305996f6e)

Add caution subdirectory containing safety and liveness tests.

Not that I'm paranoid about qemu breaking snapshots of anything like
that ...

Cherry picked from commit f3ada2c7653866f2529c9f18aaa99f76cd984844.

inspector: Fix comment in virt-inspector.rng.

The comment referred to the command line syntax of the old
virt-inspector.
(cherry picked from commit ea96c7acf7a332c08c2214796add647224a2ede0)

Revert "Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)"

This reverts commit 5cab0d6c807d8a3bf9690375c663d11a10e21656.
(cherry picked from commit 123610f1b5133a9e541a245467f60d065ea96575)

trace: Print empty list correctly.

Empty lists returned by RStringList and RHashtable functions
were incorrectly printed as [""].

Fix this so they are printed as [] instead.

Cherry picked from commit 56b94f5f6aa7981533ad867cc908c6e9cca2ba42.

perl: Ignore MYMETA.yml.

This file is created by one of the build tools used by Perl 5.14.
(cherry picked from commit cabfaa857fbd325bd0303fa56b28df8ce52aab33)

perl: Don't use qw() as parentheses.

In Perl 5.14:

Use of qw(...) as parentheses is deprecated at perl/blib/lib/Sys/Guestfs/Lib.pm line 1111.
(cherry picked from commit 5c3c7e8825341e18c9449976f8a321a04cc78d79)

generator: Rewrite UUIDs that begin with zero byte.

In util-linux <= 2.19, mkswap -U cannot handle the first byte of the
UUID being zero, so we artificially rewrite such UUIDs.

See: http://article.gmane.org/gmane.linux.utilities.util-linux-ng/4273
(cherry picked from commit 4ee190628bc05f0c8fad1f6d9c3e85619a91e8b8)

Version 1.8.8.

daemon: Keep Coverity happy by ignoring some return values.
(cherry picked from commit f5096dd546ac43c7288b3ab7aec1562f070f78f6)

Coverity: Don't return freed pointers from command* along error path.

If the external command failed to run, we could free up the allocated
*stdoutput and *stderror pointers, but then return those freed
pointers to the caller.  The caller usually tries to print and free
*stderror, so this is a serious error.

Instead, return *stdoutput as NULL, and *stderror pointing to a
generic error message.
(cherry picked from commit 29453a58d818df24c238d0a08a68886ebe4029dd)

Coverity: Missing return on error path.
(cherry picked from commit 7a091a11d7aeddc170e4d1b833fd9d7d18c00841)

Coverity: Ensure fp is closed along all error paths.
(cherry picked from commit 346c5b0ebf58c81f657540eeb72abaa41bfc4e3f)

Coverity: Close directory handle along error paths.
(cherry picked from commit 7c020a14802255c966b2b402b983551b86a08bba)

Coverity: Don't leak argv arrays.
(cherry picked from commit 869c11b30c72c57e48dd63c4641087a06abe80d5)

Coverity: Don't leak error strings.

(Cherry picked from commit 3135b8c378f9f98ae66e37fd79d305764334980d).

Coverity: Check return value of sysroot_path.

For some reason we were checking the parameter!
(cherry picked from commit 7fae594df719d1d81a043c4d0280b359f750facb)

Coverity: Check return value of malloc.
(cherry picked from commit 3a5bd5aba23583e64bfaabc906ca95b0f9d37578)

Coverity: Don't close fd_cwd if fd_cwd == -1.
(cherry picked from commit 76dfb74324fa0daa343d7edf89bd05e1fe7b4db0)

Coverity: Avoid calling sort_strings (NULL, 0) on empty list.
(cherry picked from commit 3ed8d5122026f37dd96cc7e8503c4f3ecf0afbb7)

Coverity: Don't call free_strings (NULL).
(cherry picked from commit 48ebf50f3136ac27f4252662e351230ffa2b15e5)

Coverity: Remove unreachable code.
(cherry picked from commit 9160eec4fbf12643d8d5fa13465066822b2fed92)

init: Remove timeout in udevadm settle command.

The given timeout (10s) was too low if the appliance was
running slowly, which caused a cascade of other failures
during tests.

Note that in udev-171 and above on Fedora, /sbin/start_udev
no longer exists, so now we are using this manual method to
start udevd.
(cherry picked from commit bfc02f78f36d88543f8435e450e28c986b667a94)

protocol: Enhance "unexpected end of file when reading from daemon" error.

Make this error more informative, since it is a common error when the
appliance fails to start up.
(cherry picked from commit 2f73ea343cc4a3433f20e99a7835152767a70f80)

Only include date, not time, in BUGS file.

This is so the file does not change so often when using 'make dist'.
(cherry picked from commit cdd11b758f2601f7eeda4fca684638b0335d531a)

virt-ls: Small fix for output of --help option.
(cherry picked from commit 7177340a6f0e3ac1f238c69b0ad5267e18252fe2)

daemon: Fix error message.
(cherry picked from commit 08bc8e40cea750bd35493ecab514e8e37c883a0a)

guestfs-examples(3): Remove link to OCaml homepage.
(cherry picked from commit 95368927219f2888aeb1232c7ec950dde538bc39)

Document that guestfs_file output depends on file(1) command.

And therefore practically it cannot be part of the ABI since
the output of file(1) itself changes from time to time.
(cherry picked from commit ef6f877b9df261fad1fbf361b8ce7af1055dfbb7)

Version 1.8.7.

inspect: Look for %systemroot%/system32 for Windows heuristic.

The virt-v2v transfer ISO had a /windows directory.  The core
inspection code thought this was a Windows root filesystem.

Cherry picked and backported from
commit 0da6f55a6745686ca056c6bc8ebf647f111cb8e8.

list-applications: If software hive is missing, this is an error.

virt-inspector would exit silently if list-applications failed along
this error path.

Cherry picked and backported from
commit 782f3a36469ca396dbf998ea82af2699153be3ed.

zero: Disable file test because of bug in file command.

See: https://bugzilla.redhat.com/show_bug.cgi?id=705499
(cherry picked from commit f55b32b2db83495fc0987f0fe0e979818704dff1)

Version 1.8.6.

python: Release Python GIL while running libguestfs calls.

Release the Python global interpreter lock while running libguestfs
calls.

We don't release it around guestfs_create() because that is a short
call that just allocates memory.  We do release it around
guestfs_close() since that is a potentially long-running (it can call
wait(2) amongst other things).  We also release it around all the
other generated Python calls.

We don't yet support callbacks into Python code (ie. the new event
API).  But when we do in future, we will need to also handle the GIL
around those callbacks.

This code is adapted from libvirt's python/typewrappers.h.  Thanks to
Dan Berrange for showing us how to do this properly.
(cherry picked from commit 08dc4a87b92435678780e9c49fe3bc1e7465d99f)

fish: Fix typo in guestfish man page (--format option).
(cherry picked from commit 4c2bb8b301970e8853a8feaa95e3698224640fba)

inspector: Handle write failures when creating example-*.xml.
(cherry picked from commit 0108d7861d4cc9a1f0d87d89080d1be7750e54b5)

inspector: Include <hostname> in output.

Cherry picked from commit 36d3a4ce53317b104d48b60c9fe1ed679065d1d4
and rebased for stable-1.8 branch.

Version 1.8.5.

Compile rpcgen-generated files with -fno-strict-aliasing

rpcgen generates source which can't be safely compiled with strict-aliasing
enabled.
(cherry picked from commit 3a84e0784e1e3ab7b56850d0f8c9aa42f1ae3da1)

Rename resolve_windows_path_silently to case_sensitive_path_silently.

A more accurate description of what this function does.

This is just code motion.
(cherry picked from commit f3eea44f97340f747e46b0df6931a04b53abaf01)

edit: Move 'exit 0' to end of file.

This is just code motion.
(cherry picked from commit 60cdf446063a0ae61c52140355677d7da2327fa2)

edit: Let $root == $roots[0].

This is just code motion.
(cherry picked from commit aed8f220d279e910e0f398fea6fa674cc6a63783)

cat, edit: Reference guestfish equivalent commands in the manual pages.
(cherry picked from commit 4de124debf181ff6af38617b80c2355627e38d35)

python: Convert any iterable argument to a list (RHBZ#693324).

Thanks to Erez Shinan.
(cherry picked from commit afa17809599f3ebc82c3feef025ca812fb26c9fe)

daemon: When running commands, restart select if we receive a signal.
(cherry picked from commit 6e5f64089631622167e60df25ee009ef83df5170)

daemon: Reset SIGPIPE to default before running subprocesses.
(cherry picked from commit 42938f6faf9e724130be28f8e67d3c291bb81cba)

Add prototype for timeval_diff.

This is just code motion.

Cherry picked from commit 1e6be6afe58de5bfb1ac056b80d3210888edfead.

docs: Progress messages don't necessarily reach 100% in the error case.

This should be obvious, and now it is documented to avoid any
confusion.
(cherry picked from commit 05dbe09a5c5be3d5f68dc6eb033c4f642fbac8bf)

examples: Use WARN_CFLAGS, WERROR_CFLAGS macros instead of -Wall
(cherry picked from commit b41e73008a939ef493d2bfb82c9bd07b0f74736a)

examples: size_t-correctness change in inspect_vm.c
(cherry picked from commit d5eb5216aae0cb83fae686f490d1c3c37c2c074e)

contrib: Fix URLs in README file.
(cherry picked from commit 1612201a83e732eec7d98d1679dd9dd426bcd10d)