generator: Fix API of functions that return RBufferOut

(NB: The API / ABI doesn't actually change here - it's just made much
simpler to use).

The API for RBufferOut functions was unexpectedly hard to use in the
case where a zero-length buffer might be returned.  For discussion on
this see:

https://www.redhat.com/archives/libguestfs/2009-November/thread.html#00115

This commit ensures that in the zero-length buffer case, the return
value is never NULL.  Thus code is now able to just check if the return
value == NULL to indicate an error, which is simpler for all concerned.

The implementation of this is, however, more complex because we have
to be careful about this case inside both the daemon and the library
code, which is what this commit does.

This has passed a full round of tests.

fuse: Add tests for guestmount.

This script contains non-exhaustive tests for the system calls
implemented by guestmount.

fuse: Fix read for empty files.

Error handling for the guestfs_pread call was incorrect, which
meant that empty files could produce spurious error messages.

fish: Improve output of guestfish -h cmd

Display this output like a short manual page.

Don't put <..> around the parameters to the command.

New API call: fill - fill a file with octets

fuse: Fix cache invalidation in rename operation.

We need to invalidate both parameters, otherwise the old (moved)
file can appear that it still exists after the move.

fuse: Fix hard link creation.

The parameters were swapped.  We also need to invalidate the
cache for both parameters.

fuse: Fix symlink creation (RHBZ#538069).

The parameters were swapped, preventing symlinks from being created.

virt-df: Ignore domains which have ID 0.

This is the remainder of the fix for RHBZ#538041.  Domains
which have ID 0 are special domains.  libvirt defines it as
the "control plane OS".  Only Xen and HyperV have this
behaviour, and in both cases we should ignore those domains
for the purposes of virt-df (user can just run "df" if they
need that information for the dom0).

virt-df: Turn errors into warnings when listing all domains.

This is a partial fix for RHBZ#538041.  When listing all domains,
don't die just because one domain fails, but keep trying for the
rest.

Docs: copyediting

Docs: Add documentation about other language bindings to API overview.

Docs: line folding in example.

Docs: group preformatted sections of text together.

Docs typo: limited -> limits

Docs: Add section on using multiple threads.

This section was missing from the previous documentation.

Docs: Add/extend API overview.

Docs: Remove incorrect statement from man page.

The low-level event-based API never existed so this statement
in the man page is wrong.  If you want an asynchronous API, use
threads.

build: revive the ocaml package tests

* autogen.sh: Generalize the ocaml-package-existence test.
Remove the git-related part of the old test.

Generate guestfs_protocol.x when stamp-generator updates

This partially reverts efad4f53923dcca94613e193d6383bd032e70498.
guestfs_protocol.x wasn't being generated when building from a clean checkout.

autogen.sh: Remove test for ocaml etc from this script.

This test seems to cause a lot of trouble.  We need to go back to
the drawing-board on this one.

Set cpio blocksize to 64K.

See:
https://www.redhat.com/archives/fedora-devel-list/2009-November/thread.html#00523

Debian: don't depend on gfs-tools since these have depsolving problems.

Update PO files for release.

Check for ocaml-xml-light-devel (xml-light.cmxa)

Also unquote $pkg since OCaml package names can never contain
spaces or other unfriendly characters.

Prepare for version 1.0.78

tell "make syntax-check" that examples/to-xml.c is exempt from some tests

* .x-sc_prohibit_strcmp: Exempt examples/to-xml.c.
* .x-sc_prohibit_strcmp_and_strncmp: Likewise.

examples: Don't use STREQ etc in the to-xml.c example.

Don't export STREQ and friends in <guestfs.h>

Move these to private header file(s) and other places as required
since these aren't part of the public API.

Fix problems found by 'make syntax check'

Print timestamped messages during appliance launch.

In verbose mode, print timestamped messages during guestfs_launch
so we can see how long each step takes.

Record time of guest launch.

The guest handle field start_t was previously used (when we
had the wait_ready call), but had fallen into disuse.  Note
that it could never be accessed through the API.

Rename this field as launch_t, convert it to a timeval, and
use it to measure the time since guestfs_launch was called
so that we can start profiling guest launch.

appliance: Prefix kernel messages with timestamp.

Generic partition creation interface.

This commit introduces a generic partition creation interface
which should be future-proof and extensible, and partially
replaces the old sfdisk-based interface.

The implementation is based on parted but is hopefully not too
dependent on the particulars of parted.

The following new calls are introduced:

  guestfs_part_init:
    Initialize a disk with a partition table.  Unlike the sfdisk-
    based interface, we also support GPT and other partition
    types, which is essential to scale to devices larger than 2TB.

  guestfs_part_add: Add a partition to an existing disk.

  guestfs_part_disk:
    Convenience function which combines part_init & part_add,
    creating a single partition that covers the whole disk.

  guestfs_part_set_bootable:
  guestfs_part_set_name:
    Set various aspects of existing partitions.

  guestfs_part_list:
    List partitions on a device.  This returns a programming-friendly
    list of partition structs (in contrast to sfdisk-l which cannot
    be parsed).

  guestfs_part_get_parttype:
    Return the partition table type, eg. "msdos" or "gpt".

The following calls are planned, but not added currently:

  guestfs_part_get_bootable
  guestfs_part_get_name
  guestfs_part_set_type
  guestfs_part_get_type

Add ata_piix to kernel module whitelist (RHBZ#533886).

Fix compilation if readline library is not present.

Fix compilation when Augeas is not present.

It would complain that NEED_AUG macro was defined but not used.

avoid "syntax-check" failure: hide cast of argument to free

* fuse/guestmount.c (fg_readlink): Perform cast in a
 separate statement to hide it from "make syntax-check".

build: die early if we lack ocaml, ocamlfind or ocaml-xml-light

* autogen.sh: Ensure that we fail very early when not building
from a tarball and when one of those is not installed.

tests: enable strcmp-related syntax-check tests

* cfg.mk (local-checks-to-skip): Don't skip these checks:
sc_prohibit_strcmp_and_strncmp, sc_prohibit_strcmp.

change strncasecmp() == 0 to STRCASEEQLEN()

git grep -l 'strncasecmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *== *0\b/STRCASEEQLEN$1/g'

change strncasecmp() == 0 to STRCASENEQLEN()

git grep -l 'strncasecmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *!= *0\b/STRCASENEQLEN$1/g'

use STREQ, not strcmp: part 2

git grep -l 'strcmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *!= *0\b/STRNEQ$1/g'

use STREQ, not strcmp: part 1

git grep -l 'strcmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *== *0/STREQ$1/g'

change strncmp() == 0 to STREQLEN()

git grep -l 'strncmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *== *0\b/STREQLEN$1/g'

change strncmp(...) != 0 to STRNEQLEN(...)

git grep -l 'strncmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *!= *0/STRNEQLEN$1/g'

convert strcasecmp(...) != 0 to STRCASENEQ(...)

git grep -E -l 'strcasecmp *\(.*!= ?0\b'|xargs \
  perl -pi -e 's/\bstrcasecmp( ?\(.*?\)) != 0/STRCASENEQ$1/g'

convert uses of strcasecmp to STRCASEEQ

git grep -l 'strcasecmp *([^=]*== *0'| xargs \
  perl -pi -e 's/\bstrcasecmp( *\(.*?\)) *== *0/STRCASEEQ$1/'

define STREQ, STRNEQ, STREQLEN, STRCASEQ, etc.

* src/guestfs.h: Define STREQ and company.
* daemon/daemon.h: Likewise.
* hivex/hivex.h: Likewise.

indent with spaces, not TABs

* HACKING: Expand indentation TABs.
* configure.ac: Likewise.
* daemon/daemon.h: Likewise.
* daemon/guestfsd.c: Likewise.
* fuse/guestmount.c: Likewise.
* hivex/LICENSE: Likewise.
* src/generator.ml: Likewise.
* tools/virt-win-reg: Likewise.

fix doc typo

* fuse/guestmount.pod: Avoid "the the".

placate 'make syntax-check'

* hivex/hivex.c: Remove unused "#include <assert.h>".

avoid syntax-check warning about isdigit use in example program

* .x-sc_avoid_ctype_macros: New file.

appliance: Enhance mkfs to support many more filesystem types.

This fixes support for NTFS, and adds support for:
 - reiserfs
 - btrfs
 - GFS and GFS2
 - JFS
 - HFS and HFS+
 - NILFS
 - OCFS2 (disabled)

We don't enable OCFS2 by default, because it pulls in about
140 extra packages into the appliance.

GFS & GFS2 default to single node (no lock manager etc).

Fix prototype of commandv to match prototype of commandrv.

daemon: Always reflect command stderr to stderr when debugging.

When debugging (ie. LIBGUESTFS_DEBUG=1 & verbose flag set in daemon)
always reflect any stderr output from commands that we run to
stderr of the daemon, so it is visible.

Previously if stderror == NULL in command*, stderr output was
just eaten and discarded which meant useful error messages could
be lost.

daemon: Add flags argument to command*() functions.

This adds new variations of the command*() functions which
take a 'flags' argument.  Currently the only flag available
is defined as follows:

 COMMAND_FLAG_FOLD_STDOUT_ON_STDERR: For broken external commands
 that send error messages to stdout (hello, parted) but that don't
 have any useful stdout information, use this flag to capture the
 error messages in the *stderror buffer.  If using this flag,
 you should pass stdoutput as NULL because nothing could ever be
 captured in that buffer.

This patch also adds some documentation for command*()
function.

haskell: Disambiguate truncate symbol.

This is a hack, but GHC doesn't like it if we have a symbol
with the same name as one in the Haskell Prelude.  Therefore
we much hide the corresponding symbol in the Prelude when
building this module.

ocaml: Update dependencies file.

ocaml: Sort the dependencies so they are stable between machines.

ocaml: General improvements to generated code.

Fixes for compiling on 32 bit.

Don't update appliance after running generator.

I'm not sure why these dependencies exist, but they cause the
appliance to be updated every time the generator runs, which
appears to be unnecessary.

appliance: Add xfsprogs to list of packages

fish: Allow <nn>P and <nn>E for petabyte and exabyte allocations.

fish: Allow <nn>T for terabyte allocations.

fish: New command 'sparse', like 'alloc' but to generate sparse files.

With sparse you can make sparse files, which is fun because you
can experiment with really large devices:

  ><fs> sparse /tmp/test.img 100G
  ><fs> run
  ><fs> sfdiskM /dev/vda ,
  ><fs> mkfs ext2 /dev/vda1    # very long pause here ...
  ><fs> mount /dev/vda1 /

To see the real (ie. allocated) size of the sparse file, use the du
command, eg:

  ><fs> !du -h /tmp/test.img
  1.6G -rw-rw-r-- 1 rjones rjones 100G 2009-11-04 17:40 /tmp/test.img

daemon: Build daemon with AC_SYS_LARGEFILE.

Debian: Use /bin/bash as the shell for regression test scripts.

/bin/sh on Debian is a minimal shell called 'dash' which doesn't
support some features we need such as the particular 'function'
syntax used by regressions/test-stringlist.sh, and therefore
this script was failing on Debian.

Change all of these scripts to use #!/bin/bash explicitly to avoid
these sorts of problems.

daemon: When running external commands, open stdin as /dev/null

Previously when we ran external commands from the daemon, stdin
(ie. fd 0) was closed.  This caused a problem when running the
external hexdump command which seems to break if stdin is closed.

This patch opens stdin on /dev/null.

Debian: Include ISOFS driver in the kernel.

Debian: Ignore Debian appliance root when looking for translatable files.

debian: Ignore some generated debirf files.

configure: Fix summary messages.

The following 3 summary messages in the configure output
always displayed "yes" even if they were not actually
enabled.

Haskell bindings .................... yes
virt-inspector ...................... yes
virt-* tools ........................ yes

Fixed by correcting the code that tests if the automake
conditional is set.

hivex: fail upon integer overflow

* hivex/hivex.c (windows_utf16_to_utf8): Avoid overflow and a
potential infloop.

hivex: Check unchecked calloc (Jim Meyering).

Update PO files.

Fix EXTRA_DIST line in fuse/Makefile.am.

Add make.sh.in to EXTRA_DIST.

Comment out code which provokes strange gcc optimization error.

Prepare for 1.0.77.

FUSE filesystem support.

This implements FUSE filesystem support so that any libguestfs-
accessible disk image can be mounted as a local filesystem.

Note: file writes (ie. write(2) system call) is not yet implemented.

The API needs more test coverage, particularly lesser-used system
calls.

The big unresolved issue is UID/GID mapping between guest filesystem
IDs and the host.  It's not easy to automate this because you need
extra details about the guest itself in order to get to its
UID->username map (eg. /etc/passwd from the guest).

Allow callers to disable the recovery process.

New API call: pread

guestfs_pread lets you do partial file reads from arbitrary
places within a file.  It works like the pread(2) system call.

New API calls: lstatlist, lxattrlist, readlinklist.

These three functions are very specifically designed for FUSE
support, so we can list directories efficiently.  Instead of
making lots of lstat, lgetxattr and readlink calls, we can make just
three calls per directory to grab all the attributes (which we
then cache briefly).

New API calls: truncate, truncate_size, mkdir_mode, utimens, lchown.

truncate, truncate_size: Used to truncate files to a particular
size, or to zero bytes.

mkdir_mode: Like mkdir but allows you to also specify the
initial permissions for the new directory.

utimens: Set timestamp on a file with nanosecond accuracy.

lchown: Corresponding to lchown(2) syscall (we already have chown).

The implementation is complicated by the fact that we had to
add an Int64 parameter type to the generator.

examples/to-xml.c: Don't depend on Gnulib function.

Since this program is just an example, it shouldn't require
the Gnulib c-ctype functions.

appliance: Don't rebuild the appliance every time configure runs.

config.status touches make.sh each time it runs, even if the
resulting script would not change.  This causes the appliance
to get rebuilt much more frequently than is necessary.

There's no way to stop configure running, but we can move the
config.status command into a Makefile rule to stop this
undesirable behaviour.

guestfish: Fix a third indentation problem.

guestfish: Another indentation fix.

guestfish: Fix printing of buffers in structs.

Somehow an 'indent' string crept in there, so it was printing:

  <char><indent><char><indent><char>...

instead of:

  <char><char><char>...

Fix rstructs_used handling in guestfish generated code.

rstructs_used wasn't correctly generating code for guestfish
because guestfish doesn't make all functions visible.  Since the
calculation of rstructs_used was over all functions (including
ones not available in guestfish) it could have generated
unnecessary functions.

In fact this error didn't affect us before - but I discovered
it when I added some extra struct-returning functions (future
commit).

daemon: Don't warn on -Wunsafe-loop-optimizations.

Ignore -Wunsafe-loop-optimizations, same as in the top level
configure file.

Add hivex* documentation to website.

Add HTML documentation to website.

Prepare for 1.0.76.

Fix misspelling in previous commit.

RHEL 5: Also add le{16,64}toh functions

RHEL 5: Detect endianness functions and supply them.

Add virt-win-reg to toplevel Makefile.am, fix POTFILES.in