inspect: Simplify Windows root heuristic code.

Add special is_file_nocase and is_dir_nocase functions and
remove the duplicate checks for files and directories with
different cases.
(cherry picked from commit 5776c145d411e5ae00072ecf422055f3d0bd29e2)

Version 1.8.3.

guestfs(3): 'kernel' -> 'supermin appliance'.
(cherry picked from commit 1541f3a564f8ff14c1a63298120e4dc618ea3274)

guestfs(3): Indent line to keep code together.
(cherry picked from commit cf6f380c544456ee3e84fd41a480ea4cab3d94dd)

fish: Add all stamp-*.pod files to CLEANFILES.
(cherry picked from commit c6310bd242ddaa7b0801df9da7e4fba7346dc53e)

proto: Fix both-ends-cancel case.

In the case where both ends cancel at the same time (eg. both ends
realize there are errors before or during the transfer), previously we
skipped sending back an error from the daemon, on the spurious basis
that the library would not need it (the library is cancelling because
of its own error).

However this is wrong: we should always send back an error message
from the daemon in order to preserve synchronization of the protocol.

A simple test case is:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory
  libguestfs: error: unexpected procedure number (66/282)

(Notice two things: there are errors at both ends, and the
loss of synchronization).

After applying this commit, the loss of synchronization does not occur
and we just see the library error:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory

The choice of displaying the library or the daemon error is fairly
arbitrary in this case -- it would be valid to display either or even
to combine them into one error.  Displaying the library error only
makes the code considerably simpler.

This commit also (re-)enables a test for this case.

Cherry picked and rebased from
commit f4d996fd26762053d68f46de5790aae893f03d38.

proto: Fix FileIn ops that abort during the chunk upload stage.

As a previous, incorrect attempt to fix RHBZ#576879 we tried to
prevent the daemon from sending an error reply if the daemon had
cancelled the transfer.  This is wrong: the daemon should send an
error reply in these cases.

A simple test case is this:

  guestfish -N fs -m /dev/sda1 upload big-file /

(This fails because the target "/" is a directory, not a file.)
Prior to this commit, libguestfs would hang instead of printing an
error.  With this commit, libguestfs prints an error.

What is happening is:

  (1) Library is uploading
  a file                          (2) In the middle of the long
                                  upload, daemon detects an error.
                                  Daemon cancels.
  (3) Library detects cancel,
  sends cancel chunk, then waits
  for the error reply from the
  daemon.                         (4) Daemon is supposed to send
                                  an error reply message.

Because step (4) wasn't happening, uploads that failed like this would
hang in the library (waiting for the error message, while the daemon
was waiting for the next request).

This also adds a regression test.

This temporarily breaks the "both ends cancel" case (RHBZ#576879c5).
Therefore the test for that is disabled, and this is fixed in the next
patch in the series.

This partially reverts commit dc706a639eec16084c0618baf7bfde00c6565f63.

Cherry picked and rebased from
commit 33b638109ed66ea360b53b80b1f407b3a5f5ec39.

proto: Don't drop outgoing message when daemon cancels (RHBZ#576879).

This is a (potential) fix for the long standing protocol bug
which causes loss of synchronization when a FileIn action
fails very early on the daemon side.  The canonical example
would be the 'upload' action failing immediately if no filesystem
is mounted.

What's supposed to happen is this:

  (1) library sends
  request message              (2) daemon processes request
  first chunk of data          and sees that it will fail,
                               sends cancellation
                               (3) discards chunks of data
  (4) library sees daemon
  cancellation and stops
  sending chunks

It was going wrong in step (1), in guestfs___send_to_daemon.
In some (timing related) circumstances, send_to_daemon could
receive the cancellation before sending the first chunk, at
which point it would exit, *discarding the first chunk*.
This causes the daemon to fail in step (3) since it reads the
next request as if it was a chunk, thus losing synchronization.
(The protocol specifies that you always have to send at least
one chunk if there is a FileIn or FileOut parameter).

The patch changes guestfs___send_to_daemon so that if it detects
cancellation, it sends the remaining data in its output buffer
instead of discarding it.  (This also fixes another edge case
to do with sending partial data although I don't think we
ever saw that in practice).
(cherry picked from commit c7368ce167d6dbfd3e69ba208301c5af3f17a8a1)

regressions: Enable both tests for bug 576879 (not fixed).
(cherry picked from commit dc8e4b057ecd3984d7c27c8ece54048b6a06d662)

haskell: Small fixes for ghc 7.
(cherry picked from commit 502a98948c1bade2969758aff3db09869481105a)

regressions: Rename the file we are uploading too.

This updates commit cbd8da6d4dd2e4cbc3b87fbc7cb7d6129eb69172.
(cherry picked from commit e34fc32092e18b38282306558dcef66263a0fb10)

regressions: Split the test rhbz576879.sh into two halves.

We suspect that there are in fact two separate bugs.  In any
case it makes sense for the two tests to be done separately.

Note that these tests still fail.
(cherry picked from commit cbd8da6d4dd2e4cbc3b87fbc7cb7d6129eb69172)

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
(cherry picked from commit d1f1f74e5f45fa5b94ebb096fa65fa33ecc23d09)

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>
(cherry picked from commit 6f7c1a9f9d76bdf9f112e12e1508531fb41abfb2)

RHEL5: Old pod2man didn't have --stderr or -u options.
(cherry picked from commit eb304e9689ca474834207605ed52c369bcdec6ea)

configure: Remove unnecessary variable assignment.

Left over from pre-virtio-serial days.
(cherry picked from commit 97eab125fa8e3dc481c1f1ba1a847cf43d537585)

RHEL5: Make use of 'futimens' function optional.
(cherry picked from commit 003fbdfe5d8b237f42f575199b742c8dde9b8a11)

Version 1.8.2.

Detect Red Hat Desktop as 'rhel' distro (RHBZ#682979).

/etc/redhat-release on Red Hat Desktop contains the following
string:
  Red Hat Desktop release 4 (Nahant Update 8)

Previously we matched against the string "Red Hat Enterprise Linux"
but since this does not contain that string, this distro wasn't being
detected correctly.

Note this also changes the obsolete Perl code, for the benefit of
virt-v2v.
(cherry picked from commit c1a227a960066fb9552e0c225bc473be365b67b0)

Include <locale.h> in compilation units that use setlocale function.

Fix required by gcc 4.6.0.
(cherry picked from commit a9d6b948b590f58023a97dddd76302e40d49d2e2)

generator: Introduce error code (errcode) concept.

There was a lot of repeated code to map return types (eg. RErr)
to error cases (eg. -1 or NULL).

This commit introduces an error code type and two functions to
map return types to error codes and error codes to strings.

Cherry picked from commit 8037da06feea097716ce700f38c0eac0d5411a7c
and rebased against stable 1.8 branch.

debian: Rename nilfs2-tools to nilfs-tools.
(cherry picked from commit 1c772c921186be34331c7610992f57a69d20d908)

virt-make-fs: Round disk size to integer, fix for qemu-img 0.14.

qemu-img used to allow you to specify a fractional image size in bytes
(or at least, it used to ignore the part after the decimal place).  In
qemu-img 0.14 it no longer does this so we round down the size to a
whole number of bytes.
(cherry picked from commit eda9826d25336bcf661700270c580d4d62128750)

virt-make-fs: In debug mode, print qemu-img command line.
(cherry picked from commit 29b3ffdad5d6774f988fd0e25f9c8242e5dd577a)

Fix inspection code when PCRE or hivex is missing.
(cherry picked from commit 2b26c7f721fc8ed2e6f64963289981ac286c02aa)

java: Add a test of g.list_filesystems (a function that returns a Map).
(cherry picked from commit 21fef55ca4907aa9872754f20320c24c7f8a5fac)

java: Fix generated functions that return RHashtable.

Creating a HashMap directly from JNI is possible but very tedious
(see: http://java.sun.com/docs/books/jni/html/fldmeth.html#26254)

Instead we use the existing code to return hashes from JNI as plain
String[], then add some code in the Java wrapper to convert these to
HashMap<String,String>.
(cherry picked from commit eb54a7ede43d9275f10db6fce1472256550da0eb)

java: Return Map<String,String> for RHashtable functions.

There's no point returning the specific HashMap type here.
Return the generic interface type instead.

Note that no users are actually calling these functions yet,
since at present they always fail.
(cherry picked from commit 0b2e45da609002d44cbbf689cfdee252e6806648)

java: Fix a minor whitespace error in generated code.

In functions that don't have javadoc, the function prototype wasn't
being indented correctly.
(cherry picked from commit ec62f1127ec4f8609745f9d08b62c65e0ccbd154)

java: Remove old test file if one was left around.

If a test.img file was left over from a previous run, then it
would cause the subsequent test to fail.  Therefore remove any
old test.img file.
(cherry picked from commit 80aad709954cc4a3a294200e242876599047cef8)

java: Enable assertions when doing 'make check'.

It turns out that Java assertions are disabled by default.  You have
to add the 'java -ea' flag to the JVM.  Who knew ..?

Because of this oversight, the tests weren't actually performing the
assertions that we wanted (although in fact none of the assertions
were failing).

This change enables assertions when running the tests.
(cherry picked from commit db98ac041ec36c4e2ce322d336f5792fa8e6922d)

daemon: Ignore return value from chdir.

This updates commit 7eb012f3710bb554d5fc2c4229036901b0b5ad90.
(cherry picked from commit 8d7d7c4ecfd202e04d18736718e9c5bb125ce4f0)

daemon: change to root directory

Ensure the daemon always starts with current directory == root.
(cherry picked from commit 7eb012f3710bb554d5fc2c4229036901b0b5ad90)

lib: Move appliance launching to separate function.

This is just code motion.
(cherry picked from commit 99f0d8859fdc8f6c81873d4cdd1c8c780ac25e84)

php: Ignore another generated file in php/extension directory.
(cherry picked from commit 5ae752559284efd925fb7959c5760d4fee25f1d6)

virt-make-fs: Fix typo in man page.
(cherry picked from commit 0089575d4bd50a7ca55d7c3c8caa8a12ae09d40a)

perl: Ignore internal_* functions in POD coverage test.

This updates commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.
(cherry picked from commit 6975e87153f593fddd5c27435c2e6347825daca9)

lib: Fix use-after-free bug in XPath parsing code.
(cherry picked from commit 82f5fdb0dbbc0c7b04861edeadf70c86c9342df2)

daemon: Add perror to two exit paths to make errors clearer.
(cherry picked from commit e85fbee7bff9422a370d3f437594d262c043d89b)

debian: Include actual shared libraries in python-guestfs package.
(cherry picked from commit 8a406c7bee521289c6f8704549f1f144b5bbbbd9)

mkfs-opts: Add a note about blocksize param and UFS filesystems.
(cherry picked from commit dd653336cc34c2e8640aa7e19174a3e339049dc2)

generator: Fix generation of library-side stubs with optional String arguments.
(cherry picked from commit 2110f6fa8c397f74e38408612d5514a42f3b9cee)

packagelist: Add ufsutils for Debian and Ubuntu.

Note there is no mkfs.ufs available for Fedora (see RHBZ#541618
for details).
(cherry picked from commit c76f155496717c526ef0b5e72083bb0034f61d3c)

fish: Fix typo in error message (copy-in should be copy-out).
(cherry picked from commit e8ab05b12c6b1c13278e549883efd47900a4bac1)

fish: Initialize pcmd structure.

On Debian we get this warning which I'm pretty sure is bogus:

fish.c:690: error: 'pcmd.cmd' may be used uninitialized in this
function [-Wuninitialized]
(cherry picked from commit 316ad8311a41869cf5f253225137dd03d1211ce7)

fish: Factor out command line parsing.

Factor out the code which splits a string into a command line.
(cherry picked from commit 61a4db138e4f85033c655bf6b24df0949683c24c)

fish: Make exit_on_error into a completely local variable.

Note that 'time' and 'glob' (which both run subcommands) do not
correctly pass the exit_on_error flag in the remote case.  This is not
a regression: the current code doesn't work either.
(cherry picked from commit 4bcb267a248977c6b044e18a72266d665102de30)

fish: exit_on_error is a local variable.
(cherry picked from commit f6a21c1e0d44f9db409ce6583be7b5bc694767a8)

inspect: Add macros for file size limits.

This also bumps the file size limit for "small text files"
up to 2 MB, since we want to parse Windows CD txtsetup.sif
files that are usually around 500K in size.
(cherry picked from commit 4402e6048fb2a56461f9e4d474fc2f1391248781)

df: Skip final '/' character when calculating basename.

Previously it was including the final '/' character when calculating
the basename for the -a option eg:

Filesystem                                Size       Used  Available  Use%
/Ubuntu1010x64:/dev/sda1                  9.4G       2.3G       6.6G   25%

With this patch the '/' is not printed.
(cherry picked from commit e5220b26f51d5912371424ab6dfbdb46ce6aa170)

fish: Don't fail if some mountpoints in /etc/fstab are bogus (RHBZ#668574).

Fix guestfish (and other C tools) so that they ignore errors
when /etc/fstab contains bogus entries.

Update the documentation for inspect-get-mountpoints to emphasize
that callers must be aware of this when mounting the returned
values.

Add a regression test.

Update the example code ("inspect_vm") to reflect the way this
API ought to be called.

For more detail see:
https://bugzilla.redhat.com/show_bug.cgi?id=668574
(cherry picked from commit 0c60e4d9dd6549c2135699490ba8a9ec1dd50ab9)

Version 1.8.1.

virt-filesystems: Ignore errors when getting label and UUID (RHBZ#668112).

If virt-filesystems was pointed to an image that contained
bogus or blank filesystems, then calls to vfs-label and/or vfs-uuid
could fail, resulting in errors like this:

libguestfs: error: vfs_label: /dev/vda1:

These errors can be ignored and shouldn't stop virt-filesystems
from working.
(cherry picked from commit 97339a0f43d687efac6f7edafdf21e4b8d9b35e8)

resize: Fix typo in man page (thanks avesh@IRC).
(cherry picked from commit 7e1114445e713c4a15f3f2cede5842044de1735a)

fish: fails to tilde expand '~' when $HOME env is unset (RHBZ#617440).

This also adds a regression test.
(cherry picked from commit 7ce627fce02eae8c7db36b4090fa0ce1bf69bf44)

fish: Fix off-by-one bug in tilde expansion.

Although this doesn't seem to cause a crash, valgrind confirms
that this is a genuine off-by-one bug.  It could potentially
cause a crash if you did:

  echo 'echo ~root/foo' | guestfish
(cherry picked from commit a9802509184341e731de5c9af363184a9964a8a7)

.gitignore: Use full paths for some ignored files.
(cherry picked from commit 72f4b2e7493bf81b111ecd83490c9d3ad2480382)

docs: Add QMP to ROADMAP file.
(cherry picked from commit 1b1db82d64a9664f0da1c628ee896a113a605739)

filesystems: Document the columns in --long output.
(cherry picked from commit 440cd23f54f44132b8ff3d1e5b0b05b9dd5cc1c0)

Add initial announcement to release notes.
(cherry picked from commit 9ae4168c30b8be57909f5b0104c5e925743c6cc0)

inspector: Apps in Windows VMs are now listed - update documentation.
(cherry picked from commit dd7ad7c7ebd7b3cf7fbcc03d3baadbb77bf4203a)

Lib.pm: unknown filesystem /dev/hd{x} (cdrom) (RHBZ#666577)

This a purpose patch to avoid the message "unknown filesystem /dev/hdc".
Where /dev/hdc is an entry in fstab for CDROM.

Example of fstab:
/dev/hdc                /media/cdrom            auto
pamconsole,exec,noauto,managed 0 0

https://bugzilla.redhat.com/show_bug.cgi?id=666577

Signed-off-by: Douglas Schilling Landgraf <dougsland@redhat.com>
(cherry picked from commit f07a0b6f1e01f12db0286ae49744deee0efcb5b9)

Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)

Hi,

This is a purpose patch to avoid the message: unknown filesystem label
SWAP-sda2.

Instead of validate the label with 'eq', use '=~' and /$label/i.

https://bugzilla.redhat.com/show_bug.cgi?id=666578

Thanks
Douglas
(cherry picked from commit 5cab0d6c807d8a3bf9690375c663d11a10e21656)

Lib.pm: avoid message "unknown filesystem /dev/fd0" (RHBZ#666577)

This patch to avoid the message "unknown filesystem /dev/fd0".
https://bugzilla.redhat.com/show_bug.cgi?id=666577

Signed-off-by: Douglas Schilling Landgraf <dougsland@redhat.com>
Thanks
Douglas
(cherry picked from commit e99ac0394acbba2923e361d84511b9646f464585)

podwrapper: Fix up the HTML output so most inter-page links work.
(cherry picked from commit 5c9e8a65fe89e5e6baca8651000885d8467356ff)

podwrapper: Fix script indentation.
(cherry picked from commit d71faf98624c1fb2c760e0e9f55205beb06b7644)

podwrapper: 'builddir' was not defined - use a properly defined path.
(cherry picked from commit 7a8c60e1c8fbaf09fb2fa2fe10b50df39c0d9650)

docs: add-domain: Remove ref to not impl add-libvirt-dom API call.
(cherry picked from commit ce85a6a82ae80fdfb3eb7c2c2251658f8aadc241)

docs: Refresh programming language list in guestfs(3).
(cherry picked from commit 86a53e17de672a79a994b905676b4566da9f072c)

docs: Refresh programming language equivalence example in guestfs(3).
(cherry picked from commit 33e9639f2037540a89a9bbaf7212683e8a60fe84)

docs: Fix missing g handle in guestfs(3) man page.
(cherry picked from commit cdc798ac3558e416dc756a0fcefad2af5ca307e0)

docs: Refresh guestfs(3)/DOWNLOADING.
(cherry picked from commit 22042693cc1e0455a4a503dba93a9fedc9c74f04)

docs: Refresh guestfs(3)/MOUNTING
(cherry picked from commit 1a9b7df8f2092701fdc5a77a4d9edfcaa1a20acf)

recipes: Refresh guestfish recipes.
(cherry picked from commit 49b2ae2e69e1a273b4d4a8746a872ec00b91c86f)

fish: --ro will be default in 1.10, not 1.8.
(cherry picked from commit 327442119ff1f1791a0682928e59b0c4b4752007)

docs: Update API support.

api-support: Fix detection of similar APIs.

Because we didn't match on word boundaries, the previous
code would get confused by similar APIs, eg. getxattr vs getxattrs.
(cherry picked from commit 7ba1b55aa79c56ded770f8ea46716eb054fbfe78)

docs: Obsolete HACKING file, move content into guestfs(3) man page.

Add a new section called "EXTENDING LIBGUESTFS" to the
guestfs manual page which contains all the information
previously in "HACKING".
(cherry picked from commit d2400da92e5e2cc7fd5e33e61220a33214d5241c)

docs: Refresh README file.
(cherry picked from commit 84fbe21855b5b304413075fecb444135397591e6)

Update PO files along stable branch.

Update BUGS, PO files for 1.8.0.

Prepare for next stable branch: version 1.8.0.

Update RELEASE-NOTES.

Add ROADMAP for 1.10.

fuse: Add more tracing for calls into guestmount functions.

appliance: Don't exclude upstart (/sbin/reboot) (RHBZ#661280).

Don't exclude upstart from the appliance.  It provides /sbin/reboot
which is required by virt-rescue.

appliance: Don't hard-code febootstrap --exclude parameters.

Create a separate file 'excludelist.in' that contains these
regular expressions, and process it the same way as packagelist.in.

appliance: Use a temporary file when processing packagelist.in.

docs: Add section on using /dev/fd/* with upload and download calls.

docs: Fix link to function in documentation of "du" and "du-s" commands.

Version 1.7.24.

ntfs-3g: Document problems with symlinks and alternatives (RHBZ#663407).

New APIs: getxattr and lgetxattr to get single extended attributes.

These APIs are essentially required to work around a problem
with ntfs-3g.  This filesystem (or FUSE?) does not list all
extended attributes of a file when you call listxattr(2).  However
if you know the name of an extended attribute, you can retrieve
it directly using getxattr(2).

The current APIs (getxattrs etc) are simple to use, but they
don't work if we can't list out the extended attributes (ie.
by calling listxattr(2)).

Example using the new APIs on an ntfs-3g filesystem:

><fs> lgetxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
00000000  16 24 00 00                                       |.$..|
00000004
><fs> lgetxattr "/Documents and Settings" system.ntfs_reparse_data | hexdump -C
00000000  03 00 00 a0 34 00 00 00  00 00 18 00 1a 00 10 00  |....4...........|
00000010  5c 00 3f 00 3f 00 5c 00  43 00 3a 00 5c 00 55 00  |\.?.?.\.C.:.\.U.|
00000020  73 00 65 00 72 00 73 00  00 00 43 00 3a 00 5c 00  |s.e.r.s...C.:.\.|
00000030  55 00 73 00 65 00 72 00  73 00 00 00              |U.s.e.r.s...|
0000003c
><fs> getxattr "/Documents and Settings" system.ntfs_reparse_data | hexdump -C
libguestfs: error: getxattr: getxattr: No such file or directory
><fs> getxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
libguestfs: error: getxattr: getxattr: No such file or directory
><fs> lgetxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
00000000  16 24 00 00                                       |.$..|
00000004
><fs> getxattr "/Users" system.ntfs_attrib | hexdump -C
00000000  11 00 00 00                                       |....|
00000004

appliance: Add 'attr' package for xattr support in virt-rescue.

generator: List files generated in a separate file.

docs: Update RELEASE-NOTES to latest.

README: Advise using febootstrap >= 3.3.

Version 1.7.23.

Removed hfsprogs from supermin packages for Arch

fish: Clarify documentation for --ro option.