Coverity: Don't close fd_cwd if fd_cwd == -1.
(cherry picked from commit 76dfb74324fa0daa343d7edf89bd05e1fe7b4db0)

Coverity: Avoid calling sort_strings (NULL, 0) on empty list.
(cherry picked from commit 3ed8d5122026f37dd96cc7e8503c4f3ecf0afbb7)

Coverity: Don't call free_strings (NULL).
(cherry picked from commit 48ebf50f3136ac27f4252662e351230ffa2b15e5)

Coverity: Remove unreachable code.
(cherry picked from commit 9160eec4fbf12643d8d5fa13465066822b2fed92)

init: Remove timeout in udevadm settle command.

The given timeout (10s) was too low if the appliance was
running slowly, which caused a cascade of other failures
during tests.

Note that in udev-171 and above on Fedora, /sbin/start_udev
no longer exists, so now we are using this manual method to
start udevd.
(cherry picked from commit bfc02f78f36d88543f8435e450e28c986b667a94)

protocol: Enhance "unexpected end of file when reading from daemon" error.

Make this error more informative, since it is a common error when the
appliance fails to start up.
(cherry picked from commit 2f73ea343cc4a3433f20e99a7835152767a70f80)

Only include date, not time, in BUGS file.

This is so the file does not change so often when using 'make dist'.
(cherry picked from commit cdd11b758f2601f7eeda4fca684638b0335d531a)

virt-ls: Small fix for output of --help option.
(cherry picked from commit 7177340a6f0e3ac1f238c69b0ad5267e18252fe2)

daemon: Fix error message.
(cherry picked from commit 08bc8e40cea750bd35493ecab514e8e37c883a0a)

guestfs-examples(3): Remove link to OCaml homepage.
(cherry picked from commit 95368927219f2888aeb1232c7ec950dde538bc39)

Document that guestfs_file output depends on file(1) command.

And therefore practically it cannot be part of the ABI since
the output of file(1) itself changes from time to time.
(cherry picked from commit ef6f877b9df261fad1fbf361b8ce7af1055dfbb7)

Version 1.8.7.

inspect: Look for %systemroot%/system32 for Windows heuristic.

The virt-v2v transfer ISO had a /windows directory.  The core
inspection code thought this was a Windows root filesystem.

Cherry picked and backported from
commit 0da6f55a6745686ca056c6bc8ebf647f111cb8e8.

list-applications: If software hive is missing, this is an error.

virt-inspector would exit silently if list-applications failed along
this error path.

Cherry picked and backported from
commit 782f3a36469ca396dbf998ea82af2699153be3ed.

zero: Disable file test because of bug in file command.

See: https://bugzilla.redhat.com/show_bug.cgi?id=705499
(cherry picked from commit f55b32b2db83495fc0987f0fe0e979818704dff1)

Version 1.8.6.

python: Release Python GIL while running libguestfs calls.

Release the Python global interpreter lock while running libguestfs
calls.

We don't release it around guestfs_create() because that is a short
call that just allocates memory.  We do release it around
guestfs_close() since that is a potentially long-running (it can call
wait(2) amongst other things).  We also release it around all the
other generated Python calls.

We don't yet support callbacks into Python code (ie. the new event
API).  But when we do in future, we will need to also handle the GIL
around those callbacks.

This code is adapted from libvirt's python/typewrappers.h.  Thanks to
Dan Berrange for showing us how to do this properly.
(cherry picked from commit 08dc4a87b92435678780e9c49fe3bc1e7465d99f)

fish: Fix typo in guestfish man page (--format option).
(cherry picked from commit 4c2bb8b301970e8853a8feaa95e3698224640fba)

inspector: Handle write failures when creating example-*.xml.
(cherry picked from commit 0108d7861d4cc9a1f0d87d89080d1be7750e54b5)

inspector: Include <hostname> in output.

Cherry picked from commit 36d3a4ce53317b104d48b60c9fe1ed679065d1d4
and rebased for stable-1.8 branch.

Version 1.8.5.

Compile rpcgen-generated files with -fno-strict-aliasing

rpcgen generates source which can't be safely compiled with strict-aliasing
enabled.
(cherry picked from commit 3a84e0784e1e3ab7b56850d0f8c9aa42f1ae3da1)

Rename resolve_windows_path_silently to case_sensitive_path_silently.

A more accurate description of what this function does.

This is just code motion.
(cherry picked from commit f3eea44f97340f747e46b0df6931a04b53abaf01)

edit: Move 'exit 0' to end of file.

This is just code motion.
(cherry picked from commit 60cdf446063a0ae61c52140355677d7da2327fa2)

edit: Let $root == $roots[0].

This is just code motion.
(cherry picked from commit aed8f220d279e910e0f398fea6fa674cc6a63783)

cat, edit: Reference guestfish equivalent commands in the manual pages.
(cherry picked from commit 4de124debf181ff6af38617b80c2355627e38d35)

python: Convert any iterable argument to a list (RHBZ#693324).

Thanks to Erez Shinan.
(cherry picked from commit afa17809599f3ebc82c3feef025ca812fb26c9fe)

daemon: When running commands, restart select if we receive a signal.
(cherry picked from commit 6e5f64089631622167e60df25ee009ef83df5170)

daemon: Reset SIGPIPE to default before running subprocesses.
(cherry picked from commit 42938f6faf9e724130be28f8e67d3c291bb81cba)

Add prototype for timeval_diff.

This is just code motion.

Cherry picked from commit 1e6be6afe58de5bfb1ac056b80d3210888edfead.

docs: Progress messages don't necessarily reach 100% in the error case.

This should be obvious, and now it is documented to avoid any
confusion.
(cherry picked from commit 05dbe09a5c5be3d5f68dc6eb033c4f642fbac8bf)

examples: Use WARN_CFLAGS, WERROR_CFLAGS macros instead of -Wall
(cherry picked from commit b41e73008a939ef493d2bfb82c9bd07b0f74736a)

examples: size_t-correctness change in inspect_vm.c
(cherry picked from commit d5eb5216aae0cb83fae686f490d1c3c37c2c074e)

contrib: Fix URLs in README file.
(cherry picked from commit 1612201a83e732eec7d98d1679dd9dd426bcd10d)

rescue: Add -w|--rw option.

Note this has been backported to the 1.8 branch to allow us to write
documentation which refers to the virt-rescue --rw option.  The option
does nothing in 1.8.

(cherry picked from commit 4155d20014b24b2203c4dd8b00e2e19450a7e3bb)

fuse: Document -w flag in --help output.
(cherry picked from commit 3824935411e8a046f0359578978447dd5a0a1a16)

Exclude po-docs directory completely if po4a not available.

Lift the if HAVE_PO4A ... endif completely out of the po-docs
subdirectory, and just exclude the whole subdirectory if the po4a
program is not available.
(cherry picked from commit 58f7a5a4ac8cce77dfaded1c29f3ad382b4cc9a8)

tests: Don't fail when compiled without support for NTFS.
(cherry picked from commit edb7501d60a03107c21f023b256d2b01cf116437)

Version 1.8.4.

perl: Canonicalize /dev/vd* paths in old inspection code (RHBZ#691724).
(cherry picked from commit 759f4369de965f46f4a93b3a75dada050f87e223)

README: Note that getfacl, getfattr are optional dependencies.
(cherry picked from commit d82d6f0633f63d4a884147b1e85851e96ff8f58d)

fuse: Fix getxattr, listxattr calls and add a regression test (RHBZ#691389).

The documentation for the getxattr and listxattr calls is not very
clear and as a result we were always returning something different
from that which the Linux kernel would usually return.

This fixes these calls, at least far enough that both the 'getfattr'
and 'getfacl' programs now work fine on FUSE-mounted filesystems.

Note that SELinux attrs are *not* passed through.  This appears to be
a known bug between SELinux and FUSE.  For more information see:

http://www.spinics.net/lists/selinux/msg09460.html

Cherry picked from commit 0d6fd9e1d2488841c912c5351086e536772837ef:
  - rebased on stable-1.8 branch
  - removed unintended hunk (which changed -m documentation in
      guestmount --help output)
  - removed parts of test-fuse.sh which will fail because
      there is no support for passing acl,user_xattr options in
      an extended -m option

RHEL 5: Use mke4fs on RHEL 5 as replacement for mke2fs.
(cherry picked from commit a0e3b2183733c7440ad017c4ffe361935672339b)

mkfs: Force mke2fs to create a filesystem even on raw IDE device (RHBZ#690819).
(cherry picked from commit 227bea6c7ef89b707fe2c01c4d0d0fb9081e8c04)

Rename $tmpdir/sock to $tmpdir/guestfsd.sock.

No functional change; this simply makes the purpose of the
socket clearer.
(cherry picked from commit 110bfe1fcc9964b82acf7df6d4d60774471f9157)

fish: Add better quick help to --help output.
(cherry picked from commit 0daf7e81a659bcdc1ce327151cc1207b124a35a1)

fish: Add -w|--rw option to --help output.
(cherry picked from commit c8faa5d0b0a17689d27bd33bc787ba0fe9a3f076)

inspect: Don't fail for Windows guests with multiple disks (RHBZ#674130).

Cherry picked from commit d06fee159c14d4fe7654a02bae8849c4f82565f8
and backported to stable-1.8 branch.

inspect: Simplify Windows root heuristic code.

Add special is_file_nocase and is_dir_nocase functions and
remove the duplicate checks for files and directories with
different cases.
(cherry picked from commit 5776c145d411e5ae00072ecf422055f3d0bd29e2)

Version 1.8.3.

guestfs(3): 'kernel' -> 'supermin appliance'.
(cherry picked from commit 1541f3a564f8ff14c1a63298120e4dc618ea3274)

guestfs(3): Indent line to keep code together.
(cherry picked from commit cf6f380c544456ee3e84fd41a480ea4cab3d94dd)

fish: Add all stamp-*.pod files to CLEANFILES.
(cherry picked from commit c6310bd242ddaa7b0801df9da7e4fba7346dc53e)

proto: Fix both-ends-cancel case.

In the case where both ends cancel at the same time (eg. both ends
realize there are errors before or during the transfer), previously we
skipped sending back an error from the daemon, on the spurious basis
that the library would not need it (the library is cancelling because
of its own error).

However this is wrong: we should always send back an error message
from the daemon in order to preserve synchronization of the protocol.

A simple test case is:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory
  libguestfs: error: unexpected procedure number (66/282)

(Notice two things: there are errors at both ends, and the
loss of synchronization).

After applying this commit, the loss of synchronization does not occur
and we just see the library error:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory

The choice of displaying the library or the daemon error is fairly
arbitrary in this case -- it would be valid to display either or even
to combine them into one error.  Displaying the library error only
makes the code considerably simpler.

This commit also (re-)enables a test for this case.

Cherry picked and rebased from
commit f4d996fd26762053d68f46de5790aae893f03d38.

proto: Fix FileIn ops that abort during the chunk upload stage.

As a previous, incorrect attempt to fix RHBZ#576879 we tried to
prevent the daemon from sending an error reply if the daemon had
cancelled the transfer.  This is wrong: the daemon should send an
error reply in these cases.

A simple test case is this:

  guestfish -N fs -m /dev/sda1 upload big-file /

(This fails because the target "/" is a directory, not a file.)
Prior to this commit, libguestfs would hang instead of printing an
error.  With this commit, libguestfs prints an error.

What is happening is:

  (1) Library is uploading
  a file                          (2) In the middle of the long
                                  upload, daemon detects an error.
                                  Daemon cancels.
  (3) Library detects cancel,
  sends cancel chunk, then waits
  for the error reply from the
  daemon.                         (4) Daemon is supposed to send
                                  an error reply message.

Because step (4) wasn't happening, uploads that failed like this would
hang in the library (waiting for the error message, while the daemon
was waiting for the next request).

This also adds a regression test.

This temporarily breaks the "both ends cancel" case (RHBZ#576879c5).
Therefore the test for that is disabled, and this is fixed in the next
patch in the series.

This partially reverts commit dc706a639eec16084c0618baf7bfde00c6565f63.

Cherry picked and rebased from
commit 33b638109ed66ea360b53b80b1f407b3a5f5ec39.

proto: Don't drop outgoing message when daemon cancels (RHBZ#576879).

This is a (potential) fix for the long standing protocol bug
which causes loss of synchronization when a FileIn action
fails very early on the daemon side.  The canonical example
would be the 'upload' action failing immediately if no filesystem
is mounted.

What's supposed to happen is this:

  (1) library sends
  request message              (2) daemon processes request
  first chunk of data          and sees that it will fail,
                               sends cancellation
                               (3) discards chunks of data
  (4) library sees daemon
  cancellation and stops
  sending chunks

It was going wrong in step (1), in guestfs___send_to_daemon.
In some (timing related) circumstances, send_to_daemon could
receive the cancellation before sending the first chunk, at
which point it would exit, *discarding the first chunk*.
This causes the daemon to fail in step (3) since it reads the
next request as if it was a chunk, thus losing synchronization.
(The protocol specifies that you always have to send at least
one chunk if there is a FileIn or FileOut parameter).

The patch changes guestfs___send_to_daemon so that if it detects
cancellation, it sends the remaining data in its output buffer
instead of discarding it.  (This also fixes another edge case
to do with sending partial data although I don't think we
ever saw that in practice).
(cherry picked from commit c7368ce167d6dbfd3e69ba208301c5af3f17a8a1)

regressions: Enable both tests for bug 576879 (not fixed).
(cherry picked from commit dc8e4b057ecd3984d7c27c8ece54048b6a06d662)

haskell: Small fixes for ghc 7.
(cherry picked from commit 502a98948c1bade2969758aff3db09869481105a)

regressions: Rename the file we are uploading too.

This updates commit cbd8da6d4dd2e4cbc3b87fbc7cb7d6129eb69172.
(cherry picked from commit e34fc32092e18b38282306558dcef66263a0fb10)

regressions: Split the test rhbz576879.sh into two halves.

We suspect that there are in fact two separate bugs.  In any
case it makes sense for the two tests to be done separately.

Note that these tests still fail.
(cherry picked from commit cbd8da6d4dd2e4cbc3b87fbc7cb7d6129eb69172)

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
(cherry picked from commit d1f1f74e5f45fa5b94ebb096fa65fa33ecc23d09)

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
(cherry picked from commit 6f7c1a9f9d76bdf9f112e12e1508531fb41abfb2)

RHEL5: Old pod2man didn't have --stderr or -u options.
(cherry picked from commit eb304e9689ca474834207605ed52c369bcdec6ea)

configure: Remove unnecessary variable assignment.

Left over from pre-virtio-serial days.
(cherry picked from commit 97eab125fa8e3dc481c1f1ba1a847cf43d537585)

RHEL5: Make use of 'futimens' function optional.
(cherry picked from commit 003fbdfe5d8b237f42f575199b742c8dde9b8a11)

Version 1.8.2.

Detect Red Hat Desktop as 'rhel' distro (RHBZ#682979).

/etc/redhat-release on Red Hat Desktop contains the following
string:
  Red Hat Desktop release 4 (Nahant Update 8)

Previously we matched against the string "Red Hat Enterprise Linux"
but since this does not contain that string, this distro wasn't being
detected correctly.

Note this also changes the obsolete Perl code, for the benefit of
virt-v2v.
(cherry picked from commit c1a227a960066fb9552e0c225bc473be365b67b0)

Include <locale.h> in compilation units that use setlocale function.

Fix required by gcc 4.6.0.
(cherry picked from commit a9d6b948b590f58023a97dddd76302e40d49d2e2)

generator: Introduce error code (errcode) concept.

There was a lot of repeated code to map return types (eg. RErr)
to error cases (eg. -1 or NULL).

This commit introduces an error code type and two functions to
map return types to error codes and error codes to strings.

Cherry picked from commit 8037da06feea097716ce700f38c0eac0d5411a7c
and rebased against stable 1.8 branch.

debian: Rename nilfs2-tools to nilfs-tools.
(cherry picked from commit 1c772c921186be34331c7610992f57a69d20d908)

virt-make-fs: Round disk size to integer, fix for qemu-img 0.14.

qemu-img used to allow you to specify a fractional image size in bytes
(or at least, it used to ignore the part after the decimal place).  In
qemu-img 0.14 it no longer does this so we round down the size to a
whole number of bytes.
(cherry picked from commit eda9826d25336bcf661700270c580d4d62128750)

virt-make-fs: In debug mode, print qemu-img command line.
(cherry picked from commit 29b3ffdad5d6774f988fd0e25f9c8242e5dd577a)

Fix inspection code when PCRE or hivex is missing.
(cherry picked from commit 2b26c7f721fc8ed2e6f64963289981ac286c02aa)

java: Add a test of g.list_filesystems (a function that returns a Map).
(cherry picked from commit 21fef55ca4907aa9872754f20320c24c7f8a5fac)

java: Fix generated functions that return RHashtable.

Creating a HashMap directly from JNI is possible but very tedious
(see: http://java.sun.com/docs/books/jni/html/fldmeth.html#26254)

Instead we use the existing code to return hashes from JNI as plain
String[], then add some code in the Java wrapper to convert these to
HashMap<String,String>.
(cherry picked from commit eb54a7ede43d9275f10db6fce1472256550da0eb)

java: Return Map<String,String> for RHashtable functions.

There's no point returning the specific HashMap type here.
Return the generic interface type instead.

Note that no users are actually calling these functions yet,
since at present they always fail.
(cherry picked from commit 0b2e45da609002d44cbbf689cfdee252e6806648)

java: Fix a minor whitespace error in generated code.

In functions that don't have javadoc, the function prototype wasn't
being indented correctly.
(cherry picked from commit ec62f1127ec4f8609745f9d08b62c65e0ccbd154)

java: Remove old test file if one was left around.

If a test.img file was left over from a previous run, then it
would cause the subsequent test to fail.  Therefore remove any
old test.img file.
(cherry picked from commit 80aad709954cc4a3a294200e242876599047cef8)

java: Enable assertions when doing 'make check'.

It turns out that Java assertions are disabled by default.  You have
to add the 'java -ea' flag to the JVM.  Who knew ..?

Because of this oversight, the tests weren't actually performing the
assertions that we wanted (although in fact none of the assertions
were failing).

This change enables assertions when running the tests.
(cherry picked from commit db98ac041ec36c4e2ce322d336f5792fa8e6922d)

daemon: Ignore return value from chdir.

This updates commit 7eb012f3710bb554d5fc2c4229036901b0b5ad90.
(cherry picked from commit 8d7d7c4ecfd202e04d18736718e9c5bb125ce4f0)

daemon: change to root directory

Ensure the daemon always starts with current directory == root.
(cherry picked from commit 7eb012f3710bb554d5fc2c4229036901b0b5ad90)

lib: Move appliance launching to separate function.

This is just code motion.
(cherry picked from commit 99f0d8859fdc8f6c81873d4cdd1c8c780ac25e84)

php: Ignore another generated file in php/extension directory.
(cherry picked from commit 5ae752559284efd925fb7959c5760d4fee25f1d6)

virt-make-fs: Fix typo in man page.
(cherry picked from commit 0089575d4bd50a7ca55d7c3c8caa8a12ae09d40a)

perl: Ignore internal_* functions in POD coverage test.

This updates commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.
(cherry picked from commit 6975e87153f593fddd5c27435c2e6347825daca9)

lib: Fix use-after-free bug in XPath parsing code.
(cherry picked from commit 82f5fdb0dbbc0c7b04861edeadf70c86c9342df2)

daemon: Add perror to two exit paths to make errors clearer.
(cherry picked from commit e85fbee7bff9422a370d3f437594d262c043d89b)

debian: Include actual shared libraries in python-guestfs package.
(cherry picked from commit 8a406c7bee521289c6f8704549f1f144b5bbbbd9)

mkfs-opts: Add a note about blocksize param and UFS filesystems.
(cherry picked from commit dd653336cc34c2e8640aa7e19174a3e339049dc2)

generator: Fix generation of library-side stubs with optional String arguments.
(cherry picked from commit 2110f6fa8c397f74e38408612d5514a42f3b9cee)

packagelist: Add ufsutils for Debian and Ubuntu.

Note there is no mkfs.ufs available for Fedora (see RHBZ#541618
for details).
(cherry picked from commit c76f155496717c526ef0b5e72083bb0034f61d3c)

fish: Fix typo in error message (copy-in should be copy-out).
(cherry picked from commit e8ab05b12c6b1c13278e549883efd47900a4bac1)

fish: Initialize pcmd structure.

On Debian we get this warning which I'm pretty sure is bogus:

fish.c:690: error: 'pcmd.cmd' may be used uninitialized in this
function [-Wuninitialized]
(cherry picked from commit 316ad8311a41869cf5f253225137dd03d1211ce7)

fish: Factor out command line parsing.

Factor out the code which splits a string into a command line.
(cherry picked from commit 61a4db138e4f85033c655bf6b24df0949683c24c)

fish: Make exit_on_error into a completely local variable.

Note that 'time' and 'glob' (which both run subcommands) do not
correctly pass the exit_on_error flag in the remote case.  This is not
a regression: the current code doesn't work either.
(cherry picked from commit 4bcb267a248977c6b044e18a72266d665102de30)

fish: exit_on_error is a local variable.
(cherry picked from commit f6a21c1e0d44f9db409ce6583be7b5bc694767a8)

inspect: Add macros for file size limits.

This also bumps the file size limit for "small text files"
up to 2 MB, since we want to parse Windows CD txtsetup.sif
files that are usually around 500K in size.
(cherry picked from commit 4402e6048fb2a56461f9e4d474fc2f1391248781)

df: Skip final '/' character when calculating basename.

Previously it was including the final '/' character when calculating
the basename for the -a option eg:

Filesystem                                Size       Used  Available  Use%
/Ubuntu1010x64:/dev/sda1                  9.4G       2.3G       6.6G   25%

With this patch the '/' is not printed.
(cherry picked from commit e5220b26f51d5912371424ab6dfbdb46ce6aa170)

fish: Don't fail if some mountpoints in /etc/fstab are bogus (RHBZ#668574).

Fix guestfish (and other C tools) so that they ignore errors
when /etc/fstab contains bogus entries.

Update the documentation for inspect-get-mountpoints to emphasize
that callers must be aware of this when mounting the returned
values.

Add a regression test.

Update the example code ("inspect_vm") to reflect the way this
API ought to be called.

For more detail see:
https://bugzilla.redhat.com/show_bug.cgi?id=668574
(cherry picked from commit 0c60e4d9dd6549c2135699490ba8a9ec1dd50ab9)

Version 1.8.1.