inspect: Simplify Windows root heuristic code.

Add special is_file_nocase and is_dir_nocase functions and
remove the duplicate checks for files and directories with
different cases.

umount-all: Use /proc/mounts instead of output of 'mount' command.

The particular issue is that ntfs-3g (or FUSE?) no longer appears
to update /etc/mtab, which meant that umount-all was not unmounting
these partitions.  But parsing /proc/mounts is simpler and more
robust in any case.

guestfs(3): 'kernel' -> 'supermin appliance'.

guestfs(3): Indent line to keep code together.

todo: Add ntfsck.

fish: Add all stamp-*.pod files to CLEANFILES.

Version 1.9.12.

proto: Fix both-ends-cancel case.

In the case where both ends cancel at the same time (eg. both ends
realize there are errors before or during the transfer), previously we
skipped sending back an error from the daemon, on the spurious basis
that the library would not need it (the library is cancelling because
of its own error).

However this is wrong: we should always send back an error message
from the daemon in order to preserve synchronization of the protocol.

A simple test case is:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory
  libguestfs: error: unexpected procedure number (66/282)

(Notice two things: there are errors at both ends, and the
loss of synchronization).

After applying this commit, the loss of synchronization does not occur
and we just see the library error:

  $ guestfish -N fs -m /dev/sda1 upload nosuchfile /
  libguestfs: error: open: nosuchfile: No such file or directory

The choice of displaying the library or the daemon error is fairly
arbitrary in this case -- it would be valid to display either or even
to combine them into one error.  Displaying the library error only
makes the code considerably simpler.

This commit also (re-)enables a test for this case.

proto: Fix FileIn ops that abort during the chunk upload stage.

As a previous, incorrect attempt to fix RHBZ#576879 we tried to
prevent the daemon from sending an error reply if the daemon had
cancelled the transfer.  This is wrong: the daemon should send an
error reply in these cases.

A simple test case is this:

  guestfish -N fs -m /dev/sda1 upload big-file /

(This fails because the target "/" is a directory, not a file.)
Prior to this commit, libguestfs would hang instead of printing an
error.  With this commit, libguestfs prints an error.

What is happening is:

  (1) Library is uploading
  a file                          (2) In the middle of the long
                                  upload, daemon detects an error.
                                  Daemon cancels.
  (3) Library detects cancel,
  sends cancel chunk, then waits
  for the error reply from the
  daemon.                         (4) Daemon is supposed to send
                                  an error reply message.

Because step (4) wasn't happening, uploads that failed like this would
hang in the library (waiting for the error message, while the daemon
was waiting for the next request).

This also adds a regression test.

This temporarily breaks the "both ends cancel" case (RHBZ#576879c5).
Therefore the test for that is disabled, and this is fixed in the next
patch in the series.

This partially reverts commit dc706a639eec16084c0618baf7bfde00c6565f63.

proto: Don't drop outgoing message when daemon cancels (RHBZ#576879).

This is a (potential) fix for the long standing protocol bug
which causes loss of synchronization when a FileIn action
fails very early on the daemon side.  The canonical example
would be the 'upload' action failing immediately if no filesystem
is mounted.

What's supposed to happen is this:

  (1) library sends
  request message              (2) daemon processes request
  first chunk of data          and sees that it will fail,
                               sends cancellation
                               (3) discards chunks of data
  (4) library sees daemon
  cancellation and stops
  sending chunks

It was going wrong in step (1), in guestfs___send_to_daemon.
In some (timing related) circumstances, send_to_daemon could
receive the cancellation before sending the first chunk, at
which point it would exit, *discarding the first chunk*.
This causes the daemon to fail in step (3) since it reads the
next request as if it was a chunk, thus losing synchronization.
(The protocol specifies that you always have to send at least
one chunk if there is a FileIn or FileOut parameter).

The patch changes guestfs___send_to_daemon so that if it detects
cancellation, it sends the remaining data in its output buffer
instead of discarding it.  (This also fixes another edge case
to do with sending partial data although I don't think we
ever saw that in practice).

daemon: Improve protocol debug messages.

This adds 'guestfsd: ...' prefix before each message, and
also puts a message at the top of the main loop just after
a new message has been received.

The intent is to make it simpler to follow the protocol.

regressions: Enable both tests for bug 576879 (not fixed).

daemon: Print error for invalid chunk.cancel field.

The chunk.cancel field should always be [0|1].  If it is not then
something has gone badly wrong -- probably loss of synchronization.
If this occurs print a debug message and return error from
receive_file function.

proto: Improve debug messages.

haskell: Small fixes for ghc 7.

regressions: Rename the file we are uploading too.

This updates commit cbd8da6d4dd2e4cbc3b87fbc7cb7d6129eb69172.

regressions: Split the test rhbz576879.sh into two halves.

We suspect that there are in fact two separate bugs.  In any
case it makes sense for the two tests to be done separately.

Note that these tests still fail.

tests: Ignore return value from fwrite.

Version 1.9.11.

ruby: Missing files from EXTRA_DIST.

perl: Binding and test for guestfs_last_errno (RHBZ#672491).

ruby: Use ALLOC_N to avoid potential memory leak (RHBZ#667610).

ruby: Remove unnecessary checking around StringValueCStr (RHBZ#667610).

ruby: Add rdoc documentation (RHBZ#667610).

New event API - Ruby bindings (RHBZ#664558).

New event API - Perl bindings (RHBZ#664558).

The methods $h->set_progress_callback and $h->clear_progress_callback
have been removed, and replaced with a complete mechanism for setting
and deleting general-purpose events.

This also updates virt-resize to use the new API.

New event API - OCaml bindings (RHBZ#664558).

The functions set_progress_callback and clear_progress_callback have
been removed, and replaced with a complete mechanism for setting and
deleting general-purpose events.

New event API (RHBZ#664558).

This API allows more than one callback to be registered for each
event, makes it possible to call the API from other languages, and
allows [nearly all] log, debug and trace messages to be rerouted from
stderr.

An older version of this API was discussed on the mailing list here:
https://www.redhat.com/archives/libguestfs/2010-December/msg00081.html
https://www.redhat.com/archives/libguestfs/2011-January/msg00012.html

This also updates guestfish to use the new API for its progress bars.

New APIs: guestfs_first_private, guestfs_next_private to walk over
the private data area.

This commit adds new APIs for walking over the keys and pointers in
the private data area associated with each handle (note this is only
applicable to the C API).

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

check the pid is > 0 before calling waitpid()

Signed-off-by: Angus Salkeld <asalkeld@redhat.com>

RHEL5: Old pod2man didn't have --stderr or -u options.

configure: Remove unnecessary variable assignment.

Left over from pre-virtio-serial days.

RHEL5: Make use of 'futimens' function optional.

Version 1.9.10.

Detect Red Hat Desktop as 'rhel' distro (RHBZ#682979).

/etc/redhat-release on Red Hat Desktop contains the following
string:
  Red Hat Desktop release 4 (Nahant Update 8)

Previously we matched against the string "Red Hat Enterprise Linux"
but since this does not contain that string, this distro wasn't being
detected correctly.

Note this also changes the obsolete Perl code, for the benefit of
virt-v2v.

Include <locale.h> in compilation units that use setlocale function.

Fix required by gcc 4.6.0.

generator: Introduce error code (errcode) concept.

There was a lot of repeated code to map return types (eg. RErr)
to error cases (eg. -1 or NULL).

This commit introduces an error code type and two functions to
map return types to error codes and error codes to strings.

Fix trace segfault for non-daemon functions (RHBZ#682756).

Previously we expanded the code for 'trace_return' unconditionally for
all non-daemon functions.  However this code was not prepared to
handle all error conditions, and in fact would segfault if it tried to
print RStringList or RHashtable where r == NULL.

We need to make the code conditional on the return value, calling
either 'trace_return' or 'trace_return_error' as appropriate.

Note the difficult case for RConstOptString which returns NULL in
non-error cases.

Fix URL of transifex instance to be the canonical one.

This updates commit 182a2ceae6d6f50448159e24d8b5c0c92f44407f.

Import project into transifex.

http://www.transifex.net/projects/p/libguestfs/

debian: Rename nilfs2-tools to nilfs-tools.

virt-make-fs: Round disk size to integer, fix for qemu-img 0.14.

qemu-img used to allow you to specify a fractional image size in bytes
(or at least, it used to ignore the part after the decimal place).  In
qemu-img 0.14 it no longer does this so we round down the size to a
whole number of bytes.

virt-make-fs: In debug mode, print qemu-img command line.

Version 1.9.9.

Fix inspection code when PCRE or hivex is missing.

java: Add a test of g.list_filesystems (a function that returns a Map).

java: Fix generated functions that return RHashtable.

Creating a HashMap directly from JNI is possible but very tedious
(see: http://java.sun.com/docs/books/jni/html/fldmeth.html#26254)

Instead we use the existing code to return hashes from JNI as plain
String[], then add some code in the Java wrapper to convert these to
HashMap<String,String>.

java: Return Map<String,String> for RHashtable functions.

There's no point returning the specific HashMap type here.
Return the generic interface type instead.

Note that no users are actually calling these functions yet,
since at present they always fail.

java: Fix a minor whitespace error in generated code.

In functions that don't have javadoc, the function prototype wasn't
being indented correctly.

java: Remove old test file if one was left around.

If a test.img file was left over from a previous run, then it
would cause the subsequent test to fail.  Therefore remove any
old test.img file.

java: Enable assertions when doing 'make check'.

It turns out that Java assertions are disabled by default.  You have
to add the 'java -ea' flag to the JVM.  Who knew ..?

Because of this oversight, the tests weren't actually performing the
assertions that we wanted (although in fact none of the assertions
were failing).

This change enables assertions when running the tests.

Version 1.9.8.

daemon: Ignore return value from chdir.

This updates commit 7eb012f3710bb554d5fc2c4229036901b0b5ad90.

fish: Add guestfish --live, guestmount --live options.

The other programs have the variable, but the flag is not enabled
either because it doesn't make sense or because the implications are
not well understood.

Add documentation for attach method.

Add guestfs_add_domain 'live' flag.

This optional flag controls whether this API call will try to connect
to a running virtual machine 'guestfsd' process.

If the flag is given and the virtual machine is running, then the
libvirt XML is parsed looking for a suitable <channel> element, and
'guestfs_set_attach_method' is called with the corresponding
virtio-serial socket path.

lib: Implement attach-method unix:<path>

Allow connections to a Unix domain socket which is connected
(via virtio-serial) to a guestfsd running free in an existing
guest.

In order to use this you have to add the following element
to the libvirt XML:

  <channel type='unix'>
    <source mode='bind' path='/tmp/socket'/>
    <target type='virtio' name='org.libguestfs.channel.0'/>
  </channel>

(or perform the equivalent on the qemu command line).

Then in guestfish, you can do:

  guestfish \
    attach-method unix:/tmp/socket : \
    run : \
    ll /

(or any other commands as desired).

daemon: Remove -f (don't fork) option.

This option was not being used.

daemon: Allow -r option to run daemon standalone.

This changes several aspects of the daemon.  Currently:

* sysroot will be "" (ie. operate directly on /)
* CHROOT_IN/CHROOT_OUT are disabled
* autosync doesn't try to unmount everything

daemon: change to root directory

Ensure the daemon always starts with current directory == root.

New APIs: set-attach-method, get-attach-method.

These allow you to get and set the attach method.  The format
is one of:

* appliance
* unix:<path>

It's stored broken out into an enum and a string in the handle.

lib: Move appliance launching to separate function.

This is just code motion.

php: Ignore another generated file in php/extension directory.

daemon: Parse /proc/mounts instead of /etc/mtab

Since Fedora util-linux 2.19, the %post script does:

  rm -f /etc/mtab
  ln -s /proc/mounts /etc/mtab

We are no longer running %post scripts, so this means that /etc/mtab
is a plain file in the appliance.  Usual 'mount' still updates it, but
for some reason mount.ntfs does *not* update it in Fedora 15, meaning
that you couldn't mount and then operate on NTFS partitions.

It seems better to always parse /proc/mounts (ie. what the kernel
thinks is mounted) unconditionally, rather than relying on the
capriciousness of the external mount command.

Therefore, parse /proc/mounts instead of /etc/mtab, but add a note
saying that in future we should really be parsing
/proc/self/mountinfo, but that needs a custom parser, and the format
is rather tricky:

http://lxr.linux.no/#linux+v2.6.37/Documentation/filesystems/proc.txt#L1462

regressions: Fix rhbz557655.sh so it works with tracing enabled.

guestfs-perl: Fix missing \n

This updates commit 477eebc83dcd33d00d34398692692dae6af04f22.

Version 1.9.7.

virt-make-fs: Fix typo in man page.

perl: Translate C examples into Perl and include a manual page.

perl: Ignore internal_* functions in POD coverage test.

This updates commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.

Fix test-guestfish-a.sh regression test for new trace format.

This fixes commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.

autobuild: Add a 'make clean' step.

lib: Fix use-after-free bug in XPath parsing code.

Add a new internal-autosync API to perform autosync.

Instead of explicitly calling umount-all; sync, we add a daemon
function called internal-autosync which does the same.

Apart from slightly simplifying the process of closing the handle, the
main advantage is we can modify the daemon for the standalone case so
that internal-autosync does not do the umount-all operation.

Add a prefix to output when tracing (RHBZ#673479).

Also separate the call and return lines so that everything can be
easily 'grepped' from debug output.  The trace output now looks like
this:

$ guestfish -x -N fs exit
libguestfs: trace: is_config
libguestfs: trace: is_config = 1
libguestfs: trace: add_drive "test1.img"
libguestfs: trace: add_drive = 0
libguestfs: trace: is_config
libguestfs: trace: is_config = 1
libguestfs: trace: launch
libguestfs: trace: launch = 0
libguestfs: trace: part_disk "/dev/sda" "mbr"
libguestfs: trace: part_disk = 0
&c.

daemon: Replace root_mounted global with intelligence.

We used to maintain a global flag 'root_mounted' which tells us if the
user has mounted something on root (ie. on the sysroot directory).

This flag caused a lot of trouble (eg. RHBZ#599503) because it's hard
to keep the flag updated correctly when the user can do arbitrary
mounts and also use mkmountpoint.

Remove this flag and replace it with a test to see if something is
mounted on *or under* the sysroot.  (It has to be *or under* because
of mkmountpoint and friends).

This also replaces a rather convoluted "have we mounted root yet"
check in the mount* APIs with a simpler check to see if the mountpoint
exists and is an ordinary directory.

daemon: Add perror to two exit paths to make errors clearer.

debian: Include actual shared libraries in python-guestfs package.

mkfs-opts: Add optional "features" parameter.

This allows the -O parameter to be added to the mkfs command line.
This is used to select filesystem features.

mkfs-opts: Add a note about blocksize param and UFS filesystems.

generator: Fix generation of library-side stubs with optional String arguments.

packagelist: Add ufsutils for Debian and Ubuntu.

Note there is no mkfs.ufs available for Fedora (see RHBZ#541618
for details).

Version 1.9.6.

fish: Fix typo in error message (copy-in should be copy-out).

Use /var/tmp for the cached appliance (for FHS compliance).

The FHS advises large files not to be stored in the root
filesystem[1], and that /var/tmp is persistent across reboots[2]
(whereas /tmp is possibly not[3]).

Therefore we should store the large cached supermin appliance in
/var/tmp instead of /tmp.  /tmp is still used for all other temporary
files and directories.

In either case you can override this by setting $TMPDIR.

[1] http://www.pathname.com/fhs/pub/fhs-2.3.html#THEROOTFILESYSTEM
[2] http://www.pathname.com/fhs/pub/fhs-2.3.html#VARTMPTEMPORARYFILESPRESERVEDBETWEE
[3] http://www.pathname.com/fhs/pub/fhs-2.3.html#TMPTEMPORARYFILES

fish: Initialize pcmd structure.

On Debian we get this warning which I'm pretty sure is bogus:

fish.c:690: error: 'pcmd.cmd' may be used uninitialized in this
function [-Wuninitialized]

Version 1.9.5

fish: <! cmd executes a shell command and inlines the resulting commands.

The new guestfish construct "<! cmd" executes the shell command
"cmd", and then anything printed to stdout by "cmd" is parsed
and executed as a guestfish command.

This allows some very hairy shell scripting with guestfish.

fish: Factor out command line parsing.

Factor out the code which splits a string into a command line.

fish: Make exit_on_error into a completely local variable.

Note that 'time' and 'glob' (which both run subcommands) do not
correctly pass the exit_on_error flag in the remote case.  This is not
a regression: the current code doesn't work either.

fish: exit_on_error is a local variable.

todo: Live CD inspection works, but not for Windows 7.

Version 1.9.4.

README: Note that po4a is mandatory if compiling from git.

Add ability to inspect install disks and live CDs.

For examples of the virt-inspector output, see the additional
inspector/example-*.xml files in this commit.

inspect: Add macros for file size limits.

This also bumps the file size limit for "small text files"
up to 2 MB, since we want to parse Windows CD txtsetup.sif
files that are usually around 500K in size.

New API: resize2fs-M to resize ext2/3/4 to minimum size.

Version 1.9.3.

df: Skip final '/' character when calculating basename.

Previously it was including the final '/' character when calculating
the basename for the -a option eg:

Filesystem                                Size       Used  Available  Use%
/Ubuntu1010x64:/dev/sda1                  9.4G       2.3G       6.6G   25%

With this patch the '/' is not printed.