generator: Create a separate type for optional arguments

Previously, optional arguments had the same type as regular arguments, but were
constrained by various runtime tests to be only Bool, Int, Int64 or String. This
change makes the type of optional arguments stronger by giving them their own
type.

A convenience function, optargs_to_args is defined to convert optargs in the few
places where they are genuinely treated identically to mandatory arguments.

It also allows for future changes to optional arguments which do not affect
mandatory arguments.

RWMJ:
 - removed redundant parens
 - readded the check for > 64 optargs, but changed it to > 63
 - changed the new function to args_of_optargs

generator: Rename java_structs to camel_structs to better reflect their purpose

This map was originally included just for the java bindings, but is generally
useful to any binding which uses camel case by requirement or convention.

launch: add a goto label when add_drive error

Code cleanup.
Add a goto label to simplify the code.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

Version 1.15.15.

debian: Add build-dep erlang-dev.

Update to latest gnulib.

Tempora mutantur, nos et mutamur in illis.

build: Fix automake warnings

Sort .gitignore (using sort -d -- dictionary order).

gitignore: ignore the git related files

*.eml for email picked patches
other for orginal git patch related files.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

fish: fix the Ctrl-\ causes guestfish to abort bug(RHBZ#596761)

Handle SIGQUIT by guestfish, so that it can't be terminated.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

AUTHORS: add the email address for each authors

Add the email address for authors.
It would be better.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

fish: mount can be used instead of mount-options with libguestfs >= 1.14

fish: Fix --format parameter in man page.

Version 1.15.14.

lib: Try harder to remove temporary directory along error paths (RHBZ#769680).

lib: Add guestfs___remove_tmpdir helper function.

This function does 'rm -rf <dir>' for temporary directories, safely
working if '<dir>' contains shell meta-characters.

Replace existing code for removing directories with this.

gitignore: ignore the guestfs.* directory

Let git ignore the guestfs.* directorys.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

extra-tests: add test-guests to prevent test error

extra-tests is depending on tests-guests.
We need guests/*.img when doing extra-tests.

/work/git/libguestfs/run valgrind --log-file=/work/git/libguestfs/tests/extra/valgrind.log --leak-check=full --error-exitcode=119 --suppressions=/work/git/libguestfs/tests/extra/suppressions ../../cat/virt-cat -a ../guests/fedora.img /etc/fstab >/dev/null
../guests/fedora.img: No such file or directory
make[1]: *** [test-tools-internal] Error 1
make[1]: Leaving directory `/work/git/libguestfs/tests/extra'

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

fish: Fix test-guestfish-events.sh so it works when LIBGUESTFS_DEBUG=1 is set.

Various messages were added and changed when this variable was set
while tests were running.

mkfs: optimization and code cleanup

v1->v2: fix a typo pointed by Matt

Optimizations by reducing the STREQ operations and do some
code cleanup.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>
RWMJ: Whitespace changes.

tests/lvm: Contains a Perl test so we must set PERL5LIB.

This fixes commit 498758faee6be7e989869bf7feba5e1026a1bb65.

tests/protocol: Contains a Perl test so we must set PERL5LIB.

This fixes commit 498758faee6be7e989869bf7feba5e1026a1bb65.

Version 1.15.13.

Security: Mitigate possible privilege escalation via SG_IO ioctl (CVE-2011-4127, RHBZ#757071)

CVE-2011-4127 is a serious qemu & kernel privilege escalation bug
found by Paolo Bonzini.

http://seclists.org/oss-sec/2011/q4/536

An untrusted guest kernel is able to issue special SG_IO ioctls on
virtio devices which qemu passes through to the host kernel without
filtering or sanitizing.  These ioctls allow raw sectors from the
underlying host device to be read and written.  Significantly, neither
qemu nor the host kernel checks that the range of sectors is within
the partition / LV assigned to the guest.  For example, if the guest
is assigned host partition /dev/sda3, it would be able to read or
write any part of /dev/sda including other partitions and the boot
sector.  Exploits through LVs passed to the guest are also possible,
with some limitations.  File-backed virtual block devices are not
vulnerable.  Non-virtio block devices are not vulnerable.

This patch mitigates the problem by disabling the SG_IO ioctl
passthrough in qemu.  Thus if libguestfs is examining an untrusted
guest and the libguestfs appliance/daemon is compromised (eg. by
executing guest commands, or through some other compromise), then the
compromised appliance will not be able to issue the above SG_IO ioctls
and exploit the host.

Note that this is just mitigation for libguestfs.  Users will still
want to fully update their host kernel, qemu/KVM and libvirt, in order
to prevent other (non-libguestfs) routes to compromise.

The following versions of libguestfs (will/have) this patch applied.

  libguestfs >= 1.15.13
  libguestfs >= 1.14.8
  libguestfs >= 1.12.11
  libguestfs >= 1.10.12
  libguestfs >= 1.8.16

Earlier versions may be vulnerable unless a downstream packager has
applied this patch.

Cc: Hilko Bengen <bengen@hilluzination.de>

Fixed checks for libpython features

The python3.1 package shipped with Debian/squeeze does not have the
'mu' suffix that was assumed before.

Version 1.15.12.

tests: Add a simple liveness tests for qemu.

tests: Finalize the order we run the tests.

tests: Put test-tool and comment into own section.

tests: Split images -> tests/data + tests/guests

tests: Rename extratests -> tests/extra.

tests: Split regressions -> various subdirectories of tests/

tests: Rename capitests -> tests/c-api.

tests: Rename caution -> tests/qemu.

tests: Document new tests/ subdirectory.

docs: Arrange directory names in alphabetical order.

extra-tests: Add an extra suppression for OCaml 3.11.2 in RHEL 6.

fish: Allow events to be processed in guestfish.

Add 'event', 'list-events' and 'delete-event' commands so that event
handlers can be registered, listed and deleted in guestfish.  The
event handler is a shell script snippet or host command.

Cc: Pádraig Brady <P@draigBrady.com>

python: Missing () in guestfs-python(1) examples.

Version 1.15.11.

fuse: Return EXIT_FAILURE if fuse_main fails.

fuse_main can return any non-zero value on error.  In particular on
certain sorts of error such as unsupported -o options it returns 1
(not -1).

Therefore make sure any non-zero return is turned into EXIT_FAILURE.

(Thanks Pádraig Brady)

fish: -i option should fail if / is not mountable, but warn about others.

In particular this stops a problem with guestmount where if the -i
option half-recognizes the guest OS, it would mount the disk (and
fail, giving only warnings), leaving the mountpoint unusable.

(Thanks Pádraig Brady)

daemon: Fix utimens so it doesn't hang on named pipes (RHBZ#761460).

This also adds comprehensive tests for utimens on regular files,
directories (RHBZ#761451), named pipes (RHBZ#761460), symbolic links,
block and char devices.

Note that there is a small change in the (previously undefined)
semantics of this call: It now sets the time on a symbolic link
itself, not on what the symbolic link points to.

daemon: Allow utimens to work for directories (RHBZ#761451).

You don't need to open the file O_WRONLY in order to call futimens on
the file descriptor.  Opening it O_WRONLY fails for directories.
Therefore open O_RDONLY instead.

copy-in/copy-out: Wait for the tar subprocess only (RHBZ#760669).

fish: Improve error messages when no OS / multi-boot OS found with inspection (RHBZ#760775).

let the user explicitly choose ruby and rake programs

Version 1.15.10.

Fix rpcgen post-processing for out-of-tree builds

ruby: Use RSTRING_PTR, RSTRING_LEN for compat with Ruby 1.9 (RHBZ#760000).

blkid: split the RHEL5 which can't support some options

RHEL5 shoult not support '-p', '-i' and '-o export' options.
But we just split it according to the '-p' option.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

TODO: remove the implemented command blkid

Remove the implemented command blkid from TODO lists.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

Revert "blkid: Use -c /dev/null because RHEL 5 blkid doesn't have -p option."

This reverts commit 6533491b178d18bfab8240cf093be4ef9b547548.

Revert "blkid: Fix mistake in previous commit."

This reverts commit c48226a5026816b115ab63b50d3601531aff59dc.

blkid: Fix mistake in previous commit.

This updates commit 6533491b178d18bfab8240cf093be4ef9b547548.

blkid: Use -c /dev/null because RHEL 5 blkid doesn't have -p option.

daemon: Use pkg-config to locate Augeas CFLAGS / libraries.

Augeas 0.10 depends on libxml2, so this is now required in the
appliance (in fact, it was already present).

However this exposed two bugs:

(1) In libguestfs we use a home-brewed recipe for Augeas flags,
resulting in this error:
/usr/include/augeas.h:24:25: fatal error: libxml/tree.h: No such file or directory

(2) Augeas's own augeas.pc didn't include the libxml2 flags, so
it was broken.  This requires a patch to Augeas 0.10, see:
https://www.redhat.com/archives/augeas-devel/2011-December/msg00008.html

Change to using pkg-config to detect Augeas.  It is still an optional
library.

Version 1.15.9.

NEW API: add blkid command to print the attributes of the device

A NEW API blkid.
It can print the device attributes.
Use it after list-devices, we can list ower devices and the attributes
of each device.
Use it like:
blkid <device>
It's should be a usefull function.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

extra tests: Test that valgrind and libtool are installed.

inspection: Add a test for MD device mapping in fstab

Check that we properly handle fstab entries of the form /dev/md0 and
/dev/md/foo.

RWMJ: Add a skip to test if the Augeas lens is not available.

inspection: Handle MD devices in fstab

This patch fixes inspection when fstab contains devices md devices
specified as /dev/mdN. The appliance creates these devices without reference to
the guest's mdadm.conf so, for e.g. /dev/md0 in the guest will often be created
as /dev/md127 in the appliance. With this patch, we match the uuids of detected
md devices against uuids specified in mdadm.conf, and map them appropriately
when we encounter them in fstab.

build: Add more suppressions for valgrind tests

mkfs: enable to make xfs filesystems when the device already has a filesystem

Just add the -f option to mkfs.xfs to make sure we can
make a xfs filesystem when the device already has a
filesystem on it.

Signed-off-by: Wanlong Gao <gaowanlong@cn.fujitsu.com>

libguestfs: Added gnulib includes from builddir, as suggested by the Gnulib documentation

    Since some modules (`getopt', for example) may copy files
    into the build directory, `top_builddir/lib' is needed as well as
    `top_srcdir/lib'. -- GNU Gnulib manual, section 2.2 Initial import

todo: Suggestion for UUIDs in /etc/fstab (thanks Joshua Daniel Franklin).

ocaml: Fix OCaml dependencies.

Version 1.15.8.

python: Memory leak: Free roots array along handle close path.

perl: Memory leak: Free roots array along handle close path.

ruby: Memory leak: Free roots array along handle close path.

extra tests: Add comments about what is not tested here.

extra tests: Absolute path for 'run' command.

extra tests: Split up and reorder tests more logically.

extra tests: Test virt-sparsify.

This adds the virt-sparsify --debug-gc option which causes
virt-sparsify to call Gc.compact before exiting, allowing
GC and memory problems to be tested.

Add an extratest which runs virt-sparsify under valgrind.

extra tests: Test virt-resize.

This adds the virt-resize --debug-gc option which causes
virt-resize to call Gc.compact before exiting, allowing
GC and memory problems to be tested.

Add an extratest which runs virt-resize under valgrind.

ocaml: Load test should call Gc.compact to flag memory errors.

ocaml: Fix memory leak in bindings for functions that return buffers.

RBufferOut binding didn't free the buffer after copying it onto
the OCaml heap.

Found by valgrind.

Version 1.15.7.

extra tests: Run C API tests under valgrind.

protocol: Memory leak: Free temporary buffer along recv_discard path.

extra tests: Run OCaml tests under valgrind.

extra tests: Split VG variable into VG / RUN_VG.

This is just code motion.

ocaml: Memory leak: Free roots array along handle close path.

inspection: Cleanup iteration over fstab entries in inspect_fs_unix.c

Select non-comment labels using an augeas path to return the correct
nodes in the first instance, rather than applying a regular expression
to all results.

There is no functional change to the code.

RWMJ:
 - Rebased to current HEAD.
 - Move variable decls to top of function.
 - Some whitespace changes.
 - Remove check for errors from snprintf since it can never happen.

inspection: Add outline support for GNU/Hurd.

fish: When -m option fails, canonicalize device names that are printed.

The error message now looks like this:

  guestfish: '/dev/vda6' could not be mounted.  Did you mean one of these?
            /dev/sda1 (ext4)
            /dev/vg_f15x32/lv_root (ext4)
            /dev/vg_f15x32/lv_swap (swap)

Note that '/dev/sda1' has been canonicalized.

fish: Rearrange code for displaying mountpoints when -m option fails.

This also frees the list returned by guestfs_list_filesystems.

docs: Tidy up documentation for md-stop.

This cleans up commit cbd1c45d95c530c8d94103dcc2c521bf5501ef59.

Version 1.15.6.

ubuntu: Add extra suppressions for libnl.1 leaks.

Update API support.

extra-tests: Include valgrind suppressions file.

This updates commit c55bad93fbde03a3daa6058913f02098c45e55f5.

regressions: Allow test-launch-race.pl to be skipped.

export SKIP_TEST_LAUNCH_RACE_PL=1
will cause this test to be skipped.

debian: Use mdadm -D --export instead of mdadm -DY.

For compatibility with mdadm on Debian Squeeze.

Add 'make extra-tests' rule and run extra tests.

These tests are optional, and require a special environment and
tools to run.

lib: Fix memory leak when debugging enabled (found by valgrind).

If you enabled debugging (eg. LIBGUESTFS_DEBUG=1) then every
debug message printed would be leaked.

test-tool: Fix multiple memory leaks found by valgrind.

filesystems: Fix memory leak found by valgrind.