generator: open Unix module by default.

Add:

  open Unix

at the top of the generator, which means that we don't need to
prefix any 'Unix.foo' symbols (we can just use 'foo' instead).

Unfortunately the Unix module shadows one symbol in Pervasives
(the Pervasives module is opened by default in OCaml code).  That
symbol is 'stdout'.  So we replace this with 'Pervasives.stdout'
in two places.  Still a net reduction in code size.

syntax-check: Fix tab-vs-space issue in the generator.

Update PO files.

Update TODO file.

build: Fix parallel build of haskell bindings

ghc isn't clever enough not to stomp on itself when building dependencies. This
change makes the 1 dependency explicit.

It also adds a dependency on src/libguestfs.la.

build: Fix inter-directory dependencies

This change adds an explicit dependency on generator.ml for every file it
generates, except java files. Java is left for another time because it's
considerably trickier.

It also adds a build rule for src/libguestfs.la so it can be rebuilt as required
from other directories.

It does this by creating a top level make file, subdir-rules.mk, which can be
included from sub-directories. sub-directories need to define 'generator_built'
to include local files which are built by generator.ml, and they will be updated
automatically.

This fixes parallel make, and will automatically re-create generated files when
make is run from any directory.

It also fixes the problem which efad4f53 was targetting. Specifically,
src/guestfs_protocol.(c|h) had an erroneous dependency on stamp-generator, and
therefore generator.ml, despite not being directly created by it. This caused
them to be recreated every time generator.ml ran rather than only when
src/guestfs_protocol.x was updated, which cascaded into a daemon and therefore
appliance update.

This patch also changes the contents of the distribution tarball by including
files created by rpcgen.

generator: Acquire lock to prevent two parallel runs of the generator.

This commit acquires a lock on a file to prevent two parallel runs of
the generator from stomping on each other.  The second run will wait
for the first to complete before starting.

The lock is acquired on the "HACKING" file because it's convenient --
we are already checking this file exists to make sure that we don't
start off in the wrong directory.

Tested by adding some artificial sleeps in the code to observe
locking behaviour between two parallel runs.

syntax-check: expand TABs in generator.ml

Jim Meyering wrote:
>>From 6f128e90afb055f9899011c4a592eb289e678936 Mon Sep 17 00:00:00 2001
> From: Jim Meyering <meyering@redhat.com>
> Date: Thu, 19 Nov 2009 11:39:10 +0100
> Subject: [PATCH libguestfs] syntax-check: expand TABs in generator.ml
>
> * src/generator.ml: Expand leading TABs to spaces.

That was incomplete.
Please use the following instead.
With it, now, "make syntax-check" now passes once again.

>From 716a30d0b692972aac8fbea1fb7ad3318ab3a0d8 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Thu, 19 Nov 2009 11:39:10 +0100
Subject: [PATCH libguestfs] syntax-check: expand leading TABs

* src/generator.ml: Expand leading TABs to spaces.
* fuse/test-fuse.sh: Likewise.

syntax-check: exempt *.pod from no-trailing-blank prohibition

* .x-sc_trailing_blank: Exempt *.pod.

BUILT_SOURCES now depends on running the generator.

This completely reverts commit efad4f53923dcca94613e193d6383bd032e70498.

daemon/RHEL: Choose correct udev settle script.

On RHEL/CentOS 5.4, udevadm settle command does not work.  This didn't
affect us before, but now that we're using parted for partitioning, we
*do* need to wait for udev to settle (because parted isn't waiting for
this, unlike sfdisk).

This commit chooses the correct program to run.

fuse/RHEL: Don't require UTIME_{NOW,OMIT} to be defined.

These macros don't exist on RHEL/CentOS 5.4.  If the feature
is missing then just don't implement it in the FUSE layer.

appliance: Print uptime.

Print the uptime just before the init script runs the daemon, so we
have a good idea of how long the kernel boot + init script takes to run.

recipes: Fix git URL.

Prepare for version 1.0.79.

fuse: Add test-fuse.sh to EXTRA_DIST.

generator: Fix API of functions that return RBufferOut

(NB: The API / ABI doesn't actually change here - it's just made much
simpler to use).

The API for RBufferOut functions was unexpectedly hard to use in the
case where a zero-length buffer might be returned.  For discussion on
this see:

https://www.redhat.com/archives/libguestfs/2009-November/thread.html#00115

This commit ensures that in the zero-length buffer case, the return
value is never NULL.  Thus code is now able to just check if the return
value == NULL to indicate an error, which is simpler for all concerned.

The implementation of this is, however, more complex because we have
to be careful about this case inside both the daemon and the library
code, which is what this commit does.

This has passed a full round of tests.

fuse: Add tests for guestmount.

This script contains non-exhaustive tests for the system calls
implemented by guestmount.

fuse: Fix read for empty files.

Error handling for the guestfs_pread call was incorrect, which
meant that empty files could produce spurious error messages.

fish: Improve output of guestfish -h cmd

Display this output like a short manual page.

Don't put <..> around the parameters to the command.

New API call: fill - fill a file with octets

fuse: Fix cache invalidation in rename operation.

We need to invalidate both parameters, otherwise the old (moved)
file can appear that it still exists after the move.

fuse: Fix hard link creation.

The parameters were swapped.  We also need to invalidate the
cache for both parameters.

fuse: Fix symlink creation (RHBZ#538069).

The parameters were swapped, preventing symlinks from being created.

virt-df: Ignore domains which have ID 0.

This is the remainder of the fix for RHBZ#538041.  Domains
which have ID 0 are special domains.  libvirt defines it as
the "control plane OS".  Only Xen and HyperV have this
behaviour, and in both cases we should ignore those domains
for the purposes of virt-df (user can just run "df" if they
need that information for the dom0).

virt-df: Turn errors into warnings when listing all domains.

This is a partial fix for RHBZ#538041.  When listing all domains,
don't die just because one domain fails, but keep trying for the
rest.

Docs: copyediting

Docs: Add documentation about other language bindings to API overview.

Docs: line folding in example.

Docs: group preformatted sections of text together.

Docs typo: limited -> limits

Docs: Add section on using multiple threads.

This section was missing from the previous documentation.

Docs: Add/extend API overview.

Docs: Remove incorrect statement from man page.

The low-level event-based API never existed so this statement
in the man page is wrong.  If you want an asynchronous API, use
threads.

build: revive the ocaml package tests

* autogen.sh: Generalize the ocaml-package-existence test.
Remove the git-related part of the old test.

Generate guestfs_protocol.x when stamp-generator updates

This partially reverts efad4f53923dcca94613e193d6383bd032e70498.
guestfs_protocol.x wasn't being generated when building from a clean checkout.

autogen.sh: Remove test for ocaml etc from this script.

This test seems to cause a lot of trouble.  We need to go back to
the drawing-board on this one.

Set cpio blocksize to 64K.

See:
https://www.redhat.com/archives/fedora-devel-list/2009-November/thread.html#00523

Debian: don't depend on gfs-tools since these have depsolving problems.

Update PO files for release.

Check for ocaml-xml-light-devel (xml-light.cmxa)

Also unquote $pkg since OCaml package names can never contain
spaces or other unfriendly characters.

Prepare for version 1.0.78

tell "make syntax-check" that examples/to-xml.c is exempt from some tests

* .x-sc_prohibit_strcmp: Exempt examples/to-xml.c.
* .x-sc_prohibit_strcmp_and_strncmp: Likewise.

examples: Don't use STREQ etc in the to-xml.c example.

Don't export STREQ and friends in <guestfs.h>

Move these to private header file(s) and other places as required
since these aren't part of the public API.

Fix problems found by 'make syntax check'

Print timestamped messages during appliance launch.

In verbose mode, print timestamped messages during guestfs_launch
so we can see how long each step takes.

Record time of guest launch.

The guest handle field start_t was previously used (when we
had the wait_ready call), but had fallen into disuse.  Note
that it could never be accessed through the API.

Rename this field as launch_t, convert it to a timeval, and
use it to measure the time since guestfs_launch was called
so that we can start profiling guest launch.

appliance: Prefix kernel messages with timestamp.

Generic partition creation interface.

This commit introduces a generic partition creation interface
which should be future-proof and extensible, and partially
replaces the old sfdisk-based interface.

The implementation is based on parted but is hopefully not too
dependent on the particulars of parted.

The following new calls are introduced:

  guestfs_part_init:
    Initialize a disk with a partition table.  Unlike the sfdisk-
    based interface, we also support GPT and other partition
    types, which is essential to scale to devices larger than 2TB.

  guestfs_part_add: Add a partition to an existing disk.

  guestfs_part_disk:
    Convenience function which combines part_init & part_add,
    creating a single partition that covers the whole disk.

  guestfs_part_set_bootable:
  guestfs_part_set_name:
    Set various aspects of existing partitions.

  guestfs_part_list:
    List partitions on a device.  This returns a programming-friendly
    list of partition structs (in contrast to sfdisk-l which cannot
    be parsed).

  guestfs_part_get_parttype:
    Return the partition table type, eg. "msdos" or "gpt".

The following calls are planned, but not added currently:

  guestfs_part_get_bootable
  guestfs_part_get_name
  guestfs_part_set_type
  guestfs_part_get_type

Add ata_piix to kernel module whitelist (RHBZ#533886).

Fix compilation if readline library is not present.

Fix compilation when Augeas is not present.

It would complain that NEED_AUG macro was defined but not used.

avoid "syntax-check" failure: hide cast of argument to free

* fuse/guestmount.c (fg_readlink): Perform cast in a
 separate statement to hide it from "make syntax-check".

build: die early if we lack ocaml, ocamlfind or ocaml-xml-light

* autogen.sh: Ensure that we fail very early when not building
from a tarball and when one of those is not installed.

tests: enable strcmp-related syntax-check tests

* cfg.mk (local-checks-to-skip): Don't skip these checks:
sc_prohibit_strcmp_and_strncmp, sc_prohibit_strcmp.

change strncasecmp() == 0 to STRCASEEQLEN()

git grep -l 'strncasecmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *== *0\b/STRCASEEQLEN$1/g'

change strncasecmp() == 0 to STRCASENEQLEN()

git grep -l 'strncasecmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *!= *0\b/STRCASENEQLEN$1/g'

use STREQ, not strcmp: part 2

git grep -l 'strcmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *!= *0\b/STRNEQ$1/g'

use STREQ, not strcmp: part 1

git grep -l 'strcmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *== *0/STREQ$1/g'

change strncmp() == 0 to STREQLEN()

git grep -l 'strncmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *== *0\b/STREQLEN$1/g'

change strncmp(...) != 0 to STRNEQLEN(...)

git grep -l 'strncmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *!= *0/STRNEQLEN$1/g'

convert strcasecmp(...) != 0 to STRCASENEQ(...)

git grep -E -l 'strcasecmp *\(.*!= ?0\b'|xargs \
  perl -pi -e 's/\bstrcasecmp( ?\(.*?\)) != 0/STRCASENEQ$1/g'

convert uses of strcasecmp to STRCASEEQ

git grep -l 'strcasecmp *([^=]*== *0'| xargs \
  perl -pi -e 's/\bstrcasecmp( *\(.*?\)) *== *0/STRCASEEQ$1/'

define STREQ, STRNEQ, STREQLEN, STRCASEQ, etc.

* src/guestfs.h: Define STREQ and company.
* daemon/daemon.h: Likewise.
* hivex/hivex.h: Likewise.

indent with spaces, not TABs

* HACKING: Expand indentation TABs.
* configure.ac: Likewise.
* daemon/daemon.h: Likewise.
* daemon/guestfsd.c: Likewise.
* fuse/guestmount.c: Likewise.
* hivex/LICENSE: Likewise.
* src/generator.ml: Likewise.
* tools/virt-win-reg: Likewise.

fix doc typo

* fuse/guestmount.pod: Avoid "the the".

placate 'make syntax-check'

* hivex/hivex.c: Remove unused "#include <assert.h>".

avoid syntax-check warning about isdigit use in example program

* .x-sc_avoid_ctype_macros: New file.

appliance: Enhance mkfs to support many more filesystem types.

This fixes support for NTFS, and adds support for:
 - reiserfs
 - btrfs
 - GFS and GFS2
 - JFS
 - HFS and HFS+
 - NILFS
 - OCFS2 (disabled)

We don't enable OCFS2 by default, because it pulls in about
140 extra packages into the appliance.

GFS & GFS2 default to single node (no lock manager etc).

Fix prototype of commandv to match prototype of commandrv.

daemon: Always reflect command stderr to stderr when debugging.

When debugging (ie. LIBGUESTFS_DEBUG=1 & verbose flag set in daemon)
always reflect any stderr output from commands that we run to
stderr of the daemon, so it is visible.

Previously if stderror == NULL in command*, stderr output was
just eaten and discarded which meant useful error messages could
be lost.

daemon: Add flags argument to command*() functions.

This adds new variations of the command*() functions which
take a 'flags' argument.  Currently the only flag available
is defined as follows:

 COMMAND_FLAG_FOLD_STDOUT_ON_STDERR: For broken external commands
 that send error messages to stdout (hello, parted) but that don't
 have any useful stdout information, use this flag to capture the
 error messages in the *stderror buffer.  If using this flag,
 you should pass stdoutput as NULL because nothing could ever be
 captured in that buffer.

This patch also adds some documentation for command*()
function.

haskell: Disambiguate truncate symbol.

This is a hack, but GHC doesn't like it if we have a symbol
with the same name as one in the Haskell Prelude.  Therefore
we much hide the corresponding symbol in the Prelude when
building this module.

ocaml: Update dependencies file.

ocaml: Sort the dependencies so they are stable between machines.

ocaml: General improvements to generated code.

Fixes for compiling on 32 bit.

Don't update appliance after running generator.

I'm not sure why these dependencies exist, but they cause the
appliance to be updated every time the generator runs, which
appears to be unnecessary.

appliance: Add xfsprogs to list of packages

fish: Allow <nn>P and <nn>E for petabyte and exabyte allocations.

fish: Allow <nn>T for terabyte allocations.

fish: New command 'sparse', like 'alloc' but to generate sparse files.

With sparse you can make sparse files, which is fun because you
can experiment with really large devices:

  ><fs> sparse /tmp/test.img 100G
  ><fs> run
  ><fs> sfdiskM /dev/vda ,
  ><fs> mkfs ext2 /dev/vda1    # very long pause here ...
  ><fs> mount /dev/vda1 /

To see the real (ie. allocated) size of the sparse file, use the du
command, eg:

  ><fs> !du -h /tmp/test.img
  1.6G -rw-rw-r-- 1 rjones rjones 100G 2009-11-04 17:40 /tmp/test.img

daemon: Build daemon with AC_SYS_LARGEFILE.

Debian: Use /bin/bash as the shell for regression test scripts.

/bin/sh on Debian is a minimal shell called 'dash' which doesn't
support some features we need such as the particular 'function'
syntax used by regressions/test-stringlist.sh, and therefore
this script was failing on Debian.

Change all of these scripts to use #!/bin/bash explicitly to avoid
these sorts of problems.

daemon: When running external commands, open stdin as /dev/null

Previously when we ran external commands from the daemon, stdin
(ie. fd 0) was closed.  This caused a problem when running the
external hexdump command which seems to break if stdin is closed.

This patch opens stdin on /dev/null.

Debian: Include ISOFS driver in the kernel.

Debian: Ignore Debian appliance root when looking for translatable files.

debian: Ignore some generated debirf files.

configure: Fix summary messages.

The following 3 summary messages in the configure output
always displayed "yes" even if they were not actually
enabled.

Haskell bindings .................... yes
virt-inspector ...................... yes
virt-* tools ........................ yes

Fixed by correcting the code that tests if the automake
conditional is set.

hivex: fail upon integer overflow

* hivex/hivex.c (windows_utf16_to_utf8): Avoid overflow and a
potential infloop.

hivex: Check unchecked calloc (Jim Meyering).

Update PO files.

Fix EXTRA_DIST line in fuse/Makefile.am.

Add make.sh.in to EXTRA_DIST.

Comment out code which provokes strange gcc optimization error.

Prepare for 1.0.77.

FUSE filesystem support.

This implements FUSE filesystem support so that any libguestfs-
accessible disk image can be mounted as a local filesystem.

Note: file writes (ie. write(2) system call) is not yet implemented.

The API needs more test coverage, particularly lesser-used system
calls.

The big unresolved issue is UID/GID mapping between guest filesystem
IDs and the host.  It's not easy to automate this because you need
extra details about the guest itself in order to get to its
UID->username map (eg. /etc/passwd from the guest).

Allow callers to disable the recovery process.

New API call: pread

guestfs_pread lets you do partial file reads from arbitrary
places within a file.  It works like the pread(2) system call.