build: Fix virtio-serial test for qemu 0.15.

Now qemu 0.15 won't even start up unless the -machine accel=... option
is specified.  Essentially this is a regression in qemu.
(cherry picked from commit d82438431c1551610eb7d9945fa76d6387534582)

Add missing reference to guestfs-perl(3) to guestfs(3).
(cherry picked from commit a548c9668315844763456c15e89e35e9702b851a)

fish: Add is_interactive flag.

Decide early (before launch) if this is going to be an interactive
session, and set the is_interactive flag.
(cherry picked from commit e187aa8431ccf0436d9aee03ee1e80b79f148217)

guestfs.h: Add missing extern keyword before event functions.
(cherry picked from commit 4b53a3737b76cad7aca407a0d9e37fed1d42ef69)

mkfs: Don't die if mke2fs is not available.

Allow other types of filesystems to be created.
(cherry picked from commit c6340f45007b0ab7e1c5391cf78afc10a816553f)

Version 1.10.5.

appliance: Add systemd to get /sbin/reboot for virt-rescue (RHBZ#661280).
(cherry picked from commit aa8a9ebf29b7fdc97467e911560a1a7a774e9e1f)

part-get-bootable: Fix when partitions are missing or unordered (RHBZ#602997).
(cherry picked from commit 511c82df46f5c6f4a7f984fdb81d4691038ed6da)

Document that ntfsresize cannot be used multiple times (RHBZ#685009).
(cherry picked from commit 2ba2ddf2113db7bb2afe3f739dc3cbaa5416a4ba)

protocol: Force optargs_bitmask to be passed as 0 for non-opt actions.

If the action doesn't take optional arguments, nevertheless force the
optargs_bitmask field in the header to be passed as 0, and give an
error if not.
(cherry picked from commit 0344248af55802bbbd816b349ec1ba9305996f6e)

capitests: Allow tests to properly test optional arguments.

For optional arguments, you can now specify empty string to mean no
argument, except for String optional arguments where you must use
"NOARG" (empty string meaning a supplied empty string argument).
(cherry picked from commit f7a11c60437afa700775eaa86a9be1a543427959)

Add caution subdirectory containing safety and liveness tests.

Not that I'm paranoid about qemu breaking snapshots of anything like
that ...
(cherry picked from commit f3ada2c7653866f2529c9f18aaa99f76cd984844)

Change download_to_tmp so it can work with multi-root operating systems.

The previous guestfs___download_to_tmp function did not handle
multiboot correctly.  In particular it used the same cache name
for downloaded files from different roots, which could have caused
things like applications in each root to be confused.

This changes the function so that the cache filename is prefixed
with the root / fs number, eg. $tmpdir/0-Name instead of $tmpdir/Name.

This change also requires the function to return the new name, so
all places in the code which called this function had to be
updated.

This updates and fixes commit 3c1f762abed92f7a358f3bc93e3396d0606b18ad.

(Cherry picked and backported from
commit 5f26270c343bf543a7bf20cf3e6f182f6282f8ea)

generator: Fix functions with both RBufferOut and optional args.

No current function returns RBufferOut and has optional args.  Such
functions would be generated incorrectly.

RBufferOut implies a silent "size_t *size_r" argument is added after
the regular arguments and before the optional arguments.  Various
changes to the code generator need to be made to take this into
account.
(cherry picked from commit adb5db58d850ce6d15380177a63c68276f863c98)

inspector: Fix comment in virt-inspector.rng.

The comment referred to the command line syntax of the old
virt-inspector.
(cherry picked from commit ea96c7acf7a332c08c2214796add647224a2ede0)

Revert "Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)"

This reverts commit 5cab0d6c807d8a3bf9690375c663d11a10e21656.
(cherry picked from commit 123610f1b5133a9e541a245467f60d065ea96575)

trace: Print empty list correctly.

Empty lists returned by RStringList and RHashtable functions
were incorrectly printed as [""].

Fix this so they are printed as [] instead.
(cherry picked from commit 56b94f5f6aa7981533ad867cc908c6e9cca2ba42)

perl: Ignore MYMETA.yml.

This file is created by one of the build tools used by Perl 5.14.
(cherry picked from commit cabfaa857fbd325bd0303fa56b28df8ce52aab33)

perl: Don't use qw() as parentheses.

In Perl 5.14:

Use of qw(...) as parentheses is deprecated at perl/blib/lib/Sys/Guestfs/Lib.pm line 1111.
(cherry picked from commit 5c3c7e8825341e18c9449976f8a321a04cc78d79)

Version 1.10.4.

generator: Rewrite UUIDs that begin with zero byte.

In util-linux <= 2.19, mkswap -U cannot handle the first byte of the
UUID being zero, so we artificially rewrite such UUIDs.

See: http://article.gmane.org/gmane.linux.utilities.util-linux-ng/4273
(cherry picked from commit 4ee190628bc05f0c8fad1f6d9c3e85619a91e8b8)

build: include <string.h> for src/match.c's use of strlen
(cherry picked from commit daf55c07978cd29fe6675911bf76da0b056fdae1)

daemon: Keep Coverity happy by ignoring some return values.
(cherry picked from commit f5096dd546ac43c7288b3ab7aec1562f070f78f6)

Coverity: Don't return freed pointers from command* along error path.

If the external command failed to run, we could free up the allocated
*stdoutput and *stderror pointers, but then return those freed
pointers to the caller.  The caller usually tries to print and free
*stderror, so this is a serious error.

Instead, return *stdoutput as NULL, and *stderror pointing to a
generic error message.
(cherry picked from commit 29453a58d818df24c238d0a08a68886ebe4029dd)

Coverity: Missing return on error path.
(cherry picked from commit 7a091a11d7aeddc170e4d1b833fd9d7d18c00841)

Coverity: Ensure fp is closed along all error paths.
(cherry picked from commit 346c5b0ebf58c81f657540eeb72abaa41bfc4e3f)

Coverity: Close directory handle along error paths.
(cherry picked from commit 7c020a14802255c966b2b402b983551b86a08bba)

Coverity: Don't leak argv arrays.
(cherry picked from commit 869c11b30c72c57e48dd63c4641087a06abe80d5)

Coverity: Don't leak error strings.
(cherry picked from commit 3135b8c378f9f98ae66e37fd79d305764334980d)

Coverity: Check return value of sysroot_path.

For some reason we were checking the parameter!
(cherry picked from commit 7fae594df719d1d81a043c4d0280b359f750facb)

Coverity: Check return value of malloc.
(cherry picked from commit 3a5bd5aba23583e64bfaabc906ca95b0f9d37578)

Coverity: Don't close fd_cwd if fd_cwd == -1.
(cherry picked from commit 76dfb74324fa0daa343d7edf89bd05e1fe7b4db0)

Coverity: Avoid calling sort_strings (NULL, 0) on empty list.
(cherry picked from commit 3ed8d5122026f37dd96cc7e8503c4f3ecf0afbb7)

Coverity: Don't call free_strings (NULL).
(cherry picked from commit 48ebf50f3136ac27f4252662e351230ffa2b15e5)

Coverity: Remove unreachable code.
(cherry picked from commit 9160eec4fbf12643d8d5fa13465066822b2fed92)

init: Remove timeout in udevadm settle command.

The given timeout (10s) was too low if the appliance was
running slowly, which caused a cascade of other failures
during tests.

Note that in udev-171 and above on Fedora, /sbin/start_udev
no longer exists, so now we are using this manual method to
start udevd.
(cherry picked from commit bfc02f78f36d88543f8435e450e28c986b667a94)

protocol: Enhance "unexpected end of file when reading from daemon" error.

Make this error more informative, since it is a common error when the
appliance fails to start up.
(cherry picked from commit 2f73ea343cc4a3433f20e99a7835152767a70f80)

Only include date, not time, in BUGS file.

This is so the file does not change so often when using 'make dist'.
(cherry picked from commit cdd11b758f2601f7eeda4fca684638b0335d531a)

virt-ls: Refactor mode selection code.

This is just code motion.
(cherry picked from commit bb965ded274f911fb5d7889f88db9adaad1d2a52)

virt-ls: Small fix for output of --help option.
(cherry picked from commit 7177340a6f0e3ac1f238c69b0ad5267e18252fe2)

Ubuntu: Fix compilation of virt-resize if old libguestfs already installed.
(cherry picked from commit 418842518bf856144e2ab33abb6de417d1b60753)

daemon: Fix error message.
(cherry picked from commit 08bc8e40cea750bd35493ecab514e8e37c883a0a)

debian: Add build dependencies: dpkg-dev, devscripts, gperf.
(cherry picked from commit b85b4fafe1e23dc99d10647f6d35cd37b0a3f02a)

daemon: Make sysroot_len be size_t instead of int.
(cherry picked from commit 4b91462bad010a0b214e808f94a916002be65b91)

guestfs-examples(3): Remove link to OCaml homepage.
(cherry picked from commit 95368927219f2888aeb1232c7ec950dde538bc39)

Document that guestfs_file output depends on file(1) command.

And therefore practically it cannot be part of the ABI since
the output of file(1) itself changes from time to time.
(cherry picked from commit ef6f877b9df261fad1fbf361b8ce7af1055dfbb7)

fuse: Add note about allowing other users to see filesystem (RHBZ#705200).
(cherry picked from commit b777a5a64926e9bf9b7109a0e4fb1332b20fa37f)

generator: Mark sfdisk functions as deprecated.

Point to the part-* API calls as replacements.
(cherry picked from commit 12414ddc020f94e75a791815d2c1ac2b0d76eaf1)

generator: Mark mount as deprecated.

Callers should use 'mount_options' or 'mount_vfs' instead.

See also:
http://libguestfs.org/guestfs.3.html#libguestfs_gotchas
(cherry picked from commit 4ec8fd189dc8404e713c00bcfc36de358f5cdca3)

generator: Mark wait_ready as deprecated.

The function has been a no op for a very long time.  By marking
it as deprecated we make it clear that you shouldn't call it
in new code.
(cherry picked from commit 31de91f6d2605899b3a797b73b358eec9c0b1196)

generator: Check the flags fields.
(cherry picked from commit b43482964a8c7e19f47943506872cd58601c28e9)

fish: fuse: Remove redundant -DGUESTFS_DEFAULT_PATH.

This was left over from earlier code.  It is used in the base library,
but not in guestfish or guestmount.
(cherry picked from commit 8c0aca8d9280fb87027826fe89d70cc2701e7f8b)

lib: Add GCC version macro to the header file.

This will be used to internally enable various GCC enhancements.
(cherry picked from commit 33adb59b60b1358656439a757f319ba8ce81e26c)

lib: Add vertical space between each function in <guestfs.h>.
(cherry picked from commit 36b236fc97880c04e2ceeac502ff07a5e9993e28)

appliance: Use qemu -machine option where available (RHBZ#700369).

(Cherry picked from commit 64841fe8957f798df12a38bd81843c7011f2c278)

debian: Note that libconfig-dev ought to be required.

However it doesn't appear to be in Debian at the moment.
(cherry picked from commit e95671d69e697f5b44775f797f1ef9fc0829d313)

debian: Include debian/ directory in tarball.

This makes it simpler to build Debian and Ubuntu packages from the
tarballs.
(cherry picked from commit 91ea9c1805112233140a463256c89072121fc182)

Version 1.10.3.

build: Sort EXTRA_DIST into lexicographic order.
(cherry picked from commit 48c91ac03cb0a6ac351822fe70200abb8ac7f761)

daemon: Remove some less useful debugging messages.

Remove some debug messages which were basically left over from when
the code was being developed.

However we leave debug messages where it is printing an external
command that is about to be executed, since those are useful.
(cherry picked from commit 5ce759bfdc70c97121ef34ab4d5c918d568f2474)

Fix guestfs___rollback_cmdline when pos == 0.

Because of the previous change to size_t, when pos == 0 the loop would
wrap around and cause a segmentation fault.

This fixes a regression introduced by
commit 10167cea98f93a74abe63f0a54d3a662997e7489.
(cherry picked from commit 607aa95de927b5b8e4b212655c71bf21acbba372)

configure: Sort output files in AC_CONFIG_FILES section.
(cherry picked from commit 8ee0ad0caf2f90f4883909cd9b61c4dd6f9cffbf)

doc: Use I<-...> for cross-references to command line options.

This is now used consistently across all the documentation.
(cherry picked from commit c49fc3831d12788c27b90d12f06a1cd69a88e3be)

df: Refresh virt-df(1) man page.

Add examples.

Refresh description.

Use I<...> to refer to command line options.
(cherry picked from commit 988a8784647a66adbece3c9fb470c06a4cce3cdd)

guestfs(3): Note that host file size limits affect guest disk limits.
(cherry picked from commit 805e6dbc15eae5a4f85eea3c37e295aefaefeb69)

guestfs(3): Refresh documentation for private data area keys.
(cherry picked from commit 40f2b698ac765128bfcda5f0db893c95d09ae89a)

guestfs(3): Referenced section is above, not below.
(cherry picked from commit 108d7a134c5d26b967fa7162d9b80b40112c2869)

guestfs(3): Refresh autosync gotcha documentation.
(cherry picked from commit a5e421570cc840f70f2931e24b3df40c9a14cd2d)

guestfs(3): Writing to a file descriptor, not just a pipe.
(cherry picked from commit 470e373eea218c8d46b0c63dda93ee9ece48940f)

guestfs(3): Refresh documentation for guestfs_create, guestfs_close.
(cherry picked from commit dd86183f3f6d4d5ad28e1f12c56ba920934e7ad0)

internal: Use size_t instead of int for command line size.
(cherry picked from commit 10167cea98f93a74abe63f0a54d3a662997e7489)

guestfs_close: Move local variables close to code that uses them.

This is just code motion.
(cherry picked from commit 478b2d80ed1d613f621e89a97a0b140004ebac29)

guestfs_close: Remove unused local variable.
(cherry picked from commit b2f8627ab59daeb03f036dde6c66fb9da736950c)

guestfs(3): Document limits.
(cherry picked from commit c0f96e9c6eda77e5e99de862dd4366010e4a1ab8)

zero: Disable file test because of bug in file command.

See: https://bugzilla.redhat.com/show_bug.cgi?id=705499
(cherry picked from commit f55b32b2db83495fc0987f0fe0e979818704dff1)

Version 1.10.2.

python: Rearrange C files for bindings.

Move the hand-written functions into two new files:
guestfs-py.h and guestfs-py-byhand.c

This is just code motion.
(cherry picked from commit 16da7589e91b0030fb5564553447f80b97c0b18c)

perl: Decrement refcount in $g->delete_event_callback.

This updates commit bc468c87d04b34faacd208c49cca4a5096e5103c.
(cherry picked from commit 3acf732c2f23d8508f692efb2b222169914bfcdc)

inspect: Look for %systemroot%/system32 for Windows heuristic.

The virt-v2v transfer ISO had a /windows directory.  The core
inspection code thought this was a Windows root filesystem.
(cherry picked from commit 0da6f55a6745686ca056c6bc8ebf647f111cb8e8)

list-applications: If software hive is missing, this is an error.

virt-inspector would exit silently if list-applications failed along
this error path.
(cherry picked from commit 782f3a36469ca396dbf998ea82af2699153be3ed)

inspect: "centos" and "scientificlinux" are now separate distros.

Previously we returned "rhel" for these, which was not accurate.
(cherry picked from commit 2b0ca7e7b8d369a42a51b1feec72ae8f17257c78)

Version 1.10.1

python: Release Python GIL while running libguestfs calls.

Release the Python global interpreter lock while running libguestfs
calls.

We don't release it around guestfs_create() because that is a short
call that just allocates memory.  We do release it around
guestfs_close() since that is a potentially long-running (it can call
wait(2) amongst other things).  We also release it around all the
other generated Python calls.

We don't yet support callbacks into Python code (ie. the new event
API).  But when we do in future, we will need to also handle the GIL
around those callbacks.

This code is adapted from libvirt's python/typewrappers.h.  Thanks to
Dan Berrange for showing us how to do this properly.
(cherry picked from commit 08dc4a87b92435678780e9c49fe3bc1e7465d99f)

fish: --rw option will be mandatory in 1.12 not 1.10.
(cherry picked from commit a3cce465570bf192e993a67feedfbab7e662c75a)

fish: Fix typo in guestfish man page (--format option).
(cherry picked from commit 4c2bb8b301970e8853a8feaa95e3698224640fba)

inspector: Refresh the virt-inspector(1) manpage.
(cherry picked from commit 34d9fed24ad6a2d2e13bb817820e31373f6756e1)

run script: Don't depend on libtool being installed.

Also use 'exec' to run the program.
(cherry picked from commit 5d139fa8a4a7f9ff65e7b936fd7376f661c72f48)

Remove local LIBGUESTFS_PATH detection from guestfish and guestmount.

Remove the hack that let you run ./fish/guestfish or
./fuse/guestmount.  You now have to do:

  ./run ./fish/guestfish
or
  ./run ./fuse/guestmount

to run these programs without installing.
(cherry picked from commit 33a2c184e12c0bdbf061a9f36c87d76c28444712)

Remove ad-hoc run*locally scripts, replace with './run'

Remove all the run*locally scripts and replace with a single top level
./run shell script.
(cherry picked from commit 5790f5bfafb12cc2ed9365461bf66e0fdfde7150)

inspector: Handle write failures when creating example-*.xml.
(cherry picked from commit 0108d7861d4cc9a1f0d87d89080d1be7750e54b5)

Delete file so db_load doesn't run incrementally.

It turns out that db_load incrementally updates the database (instead
of writing a new one).  Remove the old database to force db_load to
write a new one.

This also ensures that we handle write failure gracefully.

Cherry picked from commit 67493bfca44d436143d825b155bf2bc38990ea82
and backported to stable-1.10 branch.

inspector: Include <hostname> in output.
(cherry picked from commit 36d3a4ce53317b104d48b60c9fe1ed679065d1d4)

inspect: Abstract out db_dump code for listing RPM applications.

There are two changes here:

(1) The code for listing RPM applications ran db_dump and parsed the
output.  We abstract out that parsing code into a separate reusable
module (src/dbdump.c).

(2) The old db_dump parsing code used db_dump -p (printable) format.
Instead use db_dump -k (hex) format so we can read binary fields.
(cherry picked from commit a986e8dadb0c70634f6d1d89dd3e7bb5d9af3078)

inspect: Split code into separate files.

The src/inspect.c file had grown rather large -- 3,500 lines.  Split
it across several files according to function.

This is just moving code.

After the split the files are more evenly divided:

  536 src/inspect_apps.c
  766 src/inspect.c
  537 src/inspect_fs.c
  404 src/inspect_fs_cd.c
  785 src/inspect_fs_unix.c
  535 src/inspect_fs_windows.c
 3563 total
(cherry picked from commit 3336b5448f12c9eb25bf7a0cecda1315c4cf07ea)

inspect: Move shared PCRE match functions to separate file.

This is just moving code around.
(cherry picked from commit 439a42efdb052748c8457f866b2c68a581034826)

inspect: Cache downloaded files in the handle g->tmpdir.

During inspection we download various files such as the Windows
'software' and 'system' registries.  Previously these were downloaded
as temporary files and discarded immediately after use.  This meant
that the 'software' registry was being downloaded twice by
virt-inspector (it's required once for basic OS inspection, and a
second time to list Windows applications).

This commit changes this so that these files are cached in g->tmpdir,
and thus the second time we just reuse the file we've already
downloaded.

Callers shouldn't be relying on inspect-list-applications to reread
the actual registry from the VM (unless you close and reopen the
handle).  It says in the documentation that the results of inspection
may be cached in the handle.
(cherry picked from commit 3c1f762abed92f7a358f3bc93e3396d0606b18ad)

Remove temporary directory containing arbitrary files.

In preparation for caching inspection information in the temporary
directory (g->tmpdir), allow the temporary directory to contain
arbitrary files, and remove all of them when the handle is closed.

This just generalizes the previous method of cleaning up the tmpdir.
(cherry picked from commit 70975981bed8e0c01b5966c10b507bb82086e5f8)

Include string.h and libintl.h, as needed.

* df/df.c: As above.
* df/main.c: As above.
* df/output.c: As above.
* fuse/guestmount.c: As above.
* inspector/virt-inspector.c: As above.
* rescue/virt-rescue.c: As above.
(cherry picked from commit 6740028b333840eec5e8e46e8512f8155728b037)

Add more missing include directives.

* cat/virt-cat.c: Include string.h and libintl.h.
* cat/virt-filesystems.c: Likewise.
* cat/virt-ls.c: Likewise.
(cherry picked from commit ace1795d1045be96f92a68e6b61ffdee60431fef)

debian: Add dependency on libpcre-ocaml-dev.
(cherry picked from commit 173c374bd01e84deafdaf1f9aa65b0f623e86470)