build: revive the ocaml package tests

* autogen.sh: Generalize the ocaml-package-existence test.
Remove the git-related part of the old test.

Generate guestfs_protocol.x when stamp-generator updates

This partially reverts efad4f53923dcca94613e193d6383bd032e70498.
guestfs_protocol.x wasn't being generated when building from a clean checkout.

autogen.sh: Remove test for ocaml etc from this script.

This test seems to cause a lot of trouble.  We need to go back to
the drawing-board on this one.

Set cpio blocksize to 64K.

See:
https://www.redhat.com/archives/fedora-devel-list/2009-November/thread.html#00523

Debian: don't depend on gfs-tools since these have depsolving problems.

Update PO files for release.

Check for ocaml-xml-light-devel (xml-light.cmxa)

Also unquote $pkg since OCaml package names can never contain
spaces or other unfriendly characters.

Prepare for version 1.0.78

tell "make syntax-check" that examples/to-xml.c is exempt from some tests

* .x-sc_prohibit_strcmp: Exempt examples/to-xml.c.
* .x-sc_prohibit_strcmp_and_strncmp: Likewise.

examples: Don't use STREQ etc in the to-xml.c example.

Don't export STREQ and friends in <guestfs.h>

Move these to private header file(s) and other places as required
since these aren't part of the public API.

Fix problems found by 'make syntax check'

Print timestamped messages during appliance launch.

In verbose mode, print timestamped messages during guestfs_launch
so we can see how long each step takes.

Record time of guest launch.

The guest handle field start_t was previously used (when we
had the wait_ready call), but had fallen into disuse.  Note
that it could never be accessed through the API.

Rename this field as launch_t, convert it to a timeval, and
use it to measure the time since guestfs_launch was called
so that we can start profiling guest launch.

appliance: Prefix kernel messages with timestamp.

Generic partition creation interface.

This commit introduces a generic partition creation interface
which should be future-proof and extensible, and partially
replaces the old sfdisk-based interface.

The implementation is based on parted but is hopefully not too
dependent on the particulars of parted.

The following new calls are introduced:

  guestfs_part_init:
    Initialize a disk with a partition table.  Unlike the sfdisk-
    based interface, we also support GPT and other partition
    types, which is essential to scale to devices larger than 2TB.

  guestfs_part_add: Add a partition to an existing disk.

  guestfs_part_disk:
    Convenience function which combines part_init & part_add,
    creating a single partition that covers the whole disk.

  guestfs_part_set_bootable:
  guestfs_part_set_name:
    Set various aspects of existing partitions.

  guestfs_part_list:
    List partitions on a device.  This returns a programming-friendly
    list of partition structs (in contrast to sfdisk-l which cannot
    be parsed).

  guestfs_part_get_parttype:
    Return the partition table type, eg. "msdos" or "gpt".

The following calls are planned, but not added currently:

  guestfs_part_get_bootable
  guestfs_part_get_name
  guestfs_part_set_type
  guestfs_part_get_type

Add ata_piix to kernel module whitelist (RHBZ#533886).

Fix compilation if readline library is not present.

Fix compilation when Augeas is not present.

It would complain that NEED_AUG macro was defined but not used.

avoid "syntax-check" failure: hide cast of argument to free

* fuse/guestmount.c (fg_readlink): Perform cast in a
 separate statement to hide it from "make syntax-check".

build: die early if we lack ocaml, ocamlfind or ocaml-xml-light

* autogen.sh: Ensure that we fail very early when not building
from a tarball and when one of those is not installed.

tests: enable strcmp-related syntax-check tests

* cfg.mk (local-checks-to-skip): Don't skip these checks:
sc_prohibit_strcmp_and_strncmp, sc_prohibit_strcmp.

change strncasecmp() == 0 to STRCASEEQLEN()

git grep -l 'strncasecmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *== *0\b/STRCASEEQLEN$1/g'

change strncasecmp() == 0 to STRCASENEQLEN()

git grep -l 'strncasecmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncasecmp( *\(.*?\)) *!= *0\b/STRCASENEQLEN$1/g'

use STREQ, not strcmp: part 2

git grep -l 'strcmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *!= *0\b/STRNEQ$1/g'

use STREQ, not strcmp: part 1

git grep -l 'strcmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrcmp( *\(.*?\)) *== *0/STREQ$1/g'

change strncmp() == 0 to STREQLEN()

git grep -l 'strncmp *([^=]*== *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *== *0\b/STREQLEN$1/g'

change strncmp(...) != 0 to STRNEQLEN(...)

git grep -l 'strncmp *([^=]*!= *0'|xargs \
  perl -pi -e 's/\bstrncmp( *\(.*?\)) *!= *0/STRNEQLEN$1/g'

convert strcasecmp(...) != 0 to STRCASENEQ(...)

git grep -E -l 'strcasecmp *\(.*!= ?0\b'|xargs \
  perl -pi -e 's/\bstrcasecmp( ?\(.*?\)) != 0/STRCASENEQ$1/g'

convert uses of strcasecmp to STRCASEEQ

git grep -l 'strcasecmp *([^=]*== *0'| xargs \
  perl -pi -e 's/\bstrcasecmp( *\(.*?\)) *== *0/STRCASEEQ$1/'

define STREQ, STRNEQ, STREQLEN, STRCASEQ, etc.

* src/guestfs.h: Define STREQ and company.
* daemon/daemon.h: Likewise.
* hivex/hivex.h: Likewise.

indent with spaces, not TABs

* HACKING: Expand indentation TABs.
* configure.ac: Likewise.
* daemon/daemon.h: Likewise.
* daemon/guestfsd.c: Likewise.
* fuse/guestmount.c: Likewise.
* hivex/LICENSE: Likewise.
* src/generator.ml: Likewise.
* tools/virt-win-reg: Likewise.

fix doc typo

* fuse/guestmount.pod: Avoid "the the".

placate 'make syntax-check'

* hivex/hivex.c: Remove unused "#include <assert.h>".

avoid syntax-check warning about isdigit use in example program

* .x-sc_avoid_ctype_macros: New file.

appliance: Enhance mkfs to support many more filesystem types.

This fixes support for NTFS, and adds support for:
 - reiserfs
 - btrfs
 - GFS and GFS2
 - JFS
 - HFS and HFS+
 - NILFS
 - OCFS2 (disabled)

We don't enable OCFS2 by default, because it pulls in about
140 extra packages into the appliance.

GFS & GFS2 default to single node (no lock manager etc).

Fix prototype of commandv to match prototype of commandrv.

daemon: Always reflect command stderr to stderr when debugging.

When debugging (ie. LIBGUESTFS_DEBUG=1 & verbose flag set in daemon)
always reflect any stderr output from commands that we run to
stderr of the daemon, so it is visible.

Previously if stderror == NULL in command*, stderr output was
just eaten and discarded which meant useful error messages could
be lost.

daemon: Add flags argument to command*() functions.

This adds new variations of the command*() functions which
take a 'flags' argument.  Currently the only flag available
is defined as follows:

 COMMAND_FLAG_FOLD_STDOUT_ON_STDERR: For broken external commands
 that send error messages to stdout (hello, parted) but that don't
 have any useful stdout information, use this flag to capture the
 error messages in the *stderror buffer.  If using this flag,
 you should pass stdoutput as NULL because nothing could ever be
 captured in that buffer.

This patch also adds some documentation for command*()
function.

haskell: Disambiguate truncate symbol.

This is a hack, but GHC doesn't like it if we have a symbol
with the same name as one in the Haskell Prelude.  Therefore
we much hide the corresponding symbol in the Prelude when
building this module.

ocaml: Update dependencies file.

ocaml: Sort the dependencies so they are stable between machines.

ocaml: General improvements to generated code.

Fixes for compiling on 32 bit.

Don't update appliance after running generator.

I'm not sure why these dependencies exist, but they cause the
appliance to be updated every time the generator runs, which
appears to be unnecessary.

appliance: Add xfsprogs to list of packages

fish: Allow <nn>P and <nn>E for petabyte and exabyte allocations.

fish: Allow <nn>T for terabyte allocations.

fish: New command 'sparse', like 'alloc' but to generate sparse files.

With sparse you can make sparse files, which is fun because you
can experiment with really large devices:

  ><fs> sparse /tmp/test.img 100G
  ><fs> run
  ><fs> sfdiskM /dev/vda ,
  ><fs> mkfs ext2 /dev/vda1    # very long pause here ...
  ><fs> mount /dev/vda1 /

To see the real (ie. allocated) size of the sparse file, use the du
command, eg:

  ><fs> !du -h /tmp/test.img
  1.6G -rw-rw-r-- 1 rjones rjones 100G 2009-11-04 17:40 /tmp/test.img

daemon: Build daemon with AC_SYS_LARGEFILE.

Debian: Use /bin/bash as the shell for regression test scripts.

/bin/sh on Debian is a minimal shell called 'dash' which doesn't
support some features we need such as the particular 'function'
syntax used by regressions/test-stringlist.sh, and therefore
this script was failing on Debian.

Change all of these scripts to use #!/bin/bash explicitly to avoid
these sorts of problems.

daemon: When running external commands, open stdin as /dev/null

Previously when we ran external commands from the daemon, stdin
(ie. fd 0) was closed.  This caused a problem when running the
external hexdump command which seems to break if stdin is closed.

This patch opens stdin on /dev/null.

Debian: Include ISOFS driver in the kernel.

Debian: Ignore Debian appliance root when looking for translatable files.

debian: Ignore some generated debirf files.

configure: Fix summary messages.

The following 3 summary messages in the configure output
always displayed "yes" even if they were not actually
enabled.

Haskell bindings .................... yes
virt-inspector ...................... yes
virt-* tools ........................ yes

Fixed by correcting the code that tests if the automake
conditional is set.

hivex: fail upon integer overflow

* hivex/hivex.c (windows_utf16_to_utf8): Avoid overflow and a
potential infloop.

hivex: Check unchecked calloc (Jim Meyering).

Update PO files.

Fix EXTRA_DIST line in fuse/Makefile.am.

Add make.sh.in to EXTRA_DIST.

Comment out code which provokes strange gcc optimization error.

Prepare for 1.0.77.

FUSE filesystem support.

This implements FUSE filesystem support so that any libguestfs-
accessible disk image can be mounted as a local filesystem.

Note: file writes (ie. write(2) system call) is not yet implemented.

The API needs more test coverage, particularly lesser-used system
calls.

The big unresolved issue is UID/GID mapping between guest filesystem
IDs and the host.  It's not easy to automate this because you need
extra details about the guest itself in order to get to its
UID->username map (eg. /etc/passwd from the guest).

Allow callers to disable the recovery process.

New API call: pread

guestfs_pread lets you do partial file reads from arbitrary
places within a file.  It works like the pread(2) system call.

New API calls: lstatlist, lxattrlist, readlinklist.

These three functions are very specifically designed for FUSE
support, so we can list directories efficiently.  Instead of
making lots of lstat, lgetxattr and readlink calls, we can make just
three calls per directory to grab all the attributes (which we
then cache briefly).

New API calls: truncate, truncate_size, mkdir_mode, utimens, lchown.

truncate, truncate_size: Used to truncate files to a particular
size, or to zero bytes.

mkdir_mode: Like mkdir but allows you to also specify the
initial permissions for the new directory.

utimens: Set timestamp on a file with nanosecond accuracy.

lchown: Corresponding to lchown(2) syscall (we already have chown).

The implementation is complicated by the fact that we had to
add an Int64 parameter type to the generator.

examples/to-xml.c: Don't depend on Gnulib function.

Since this program is just an example, it shouldn't require
the Gnulib c-ctype functions.

appliance: Don't rebuild the appliance every time configure runs.

config.status touches make.sh each time it runs, even if the
resulting script would not change.  This causes the appliance
to get rebuilt much more frequently than is necessary.

There's no way to stop configure running, but we can move the
config.status command into a Makefile rule to stop this
undesirable behaviour.

guestfish: Fix a third indentation problem.

guestfish: Another indentation fix.

guestfish: Fix printing of buffers in structs.

Somehow an 'indent' string crept in there, so it was printing:

  <char><indent><char><indent><char>...

instead of:

  <char><char><char>...

Fix rstructs_used handling in guestfish generated code.

rstructs_used wasn't correctly generating code for guestfish
because guestfish doesn't make all functions visible.  Since the
calculation of rstructs_used was over all functions (including
ones not available in guestfish) it could have generated
unnecessary functions.

In fact this error didn't affect us before - but I discovered
it when I added some extra struct-returning functions (future
commit).

daemon: Don't warn on -Wunsafe-loop-optimizations.

Ignore -Wunsafe-loop-optimizations, same as in the top level
configure file.

Add hivex* documentation to website.

Add HTML documentation to website.

Prepare for 1.0.76.

Fix misspelling in previous commit.

RHEL 5: Also add le{16,64}toh functions

RHEL 5: Detect endianness functions and supply them.

Add virt-win-reg to toplevel Makefile.am, fix POTFILES.in

Prepare for version 1.0.75.

Support for Windows Registry.

In hivex/:  This mini-library allows us to extract Windows
Registry binary files ("hives").

There are also two tools: hivexml converts a hive to a
self-describing XML format.  hivexget can be used to extract
single subkeys from a hive.

New tool: virt-win-reg.  This is a wrapper around the library
functionality allowing you to pull out data from the registries
of Windows guests.

New API: vfs_type - get the Linux VFS driver for a mounted device.

Modify Sys::Guestfs::Lib::resolve_windows_path to use case_sensitive_path.

guestfish: Add win: prefix to use Windows paths.

Add a win: prefix for path arguments in guestfish:

><fs> file win:c:\windows\system32\config\system.log
MS Windows registry file, NT/2000 or above

daemon: Change chdir to use openat/fdopendir.

Uses Gnulib implementation of openat which should be portable.

New API: case-sensitive-path to return case sensitive path on NTFS 3g fs

This function handles an annoyance/peculiarity of the Linux
NTFS 3g driver, which is that it exports NTFS filesystems with
names case sensitive, even though under Windows they would be
case insensitive.

This causes problems because the location of (eg.) c:\windows
might appear as /windows or /WINDOWS (etc) depending on the
inconsequential details of how it was originally created.

Example of this problem on a real Windows guest:

  ><fs> file /windows/system32/config/system.log
  libguestfs: error: file: access: /windows/system32/config/system.log: No such file or directory
  ><fs> case-sensitive-path /windows/system32/config/system.log
  /WINDOWS/system32/config/system.LOG
  ><fs> file /WINDOWS/system32/config/system.LOG
  MS Windows registry file, NT/2000 or above

inspector: Remove inaccurate paragraph from documentation.

Include HFS (Mac OS X) driver.

Set LC_ALL=C before running qemu.

init: Check that start_udev succeeded

If start_udev fails for any reason, notice and fall through to manual /dev
creation.

Patch from Charles Duffy <charles@dyfis.net>

Version 1.0.74.

Tab to space fixes, now passes 'make syntax-check'

guestfs_find: Fix memory leak of sysrootdir.

virt-ls: Modify to use find0 instead of find.

find0 is more scalable than find.  virt-ls will no longer
crash if asked to recursively list / on a Linux guest.

New API: find0 (unlimited version of find)

This adds a new API call guestfs_find0, which is like guestfs_find
but mainly doesn't suffer from the protocol limit of the earlier
command.  The earlier command is not deprecated because it is
still very useful.

guestfs_find0 uses a FileOut parameter and writes the results to
an external file.  The filenames in the output are separated by
ASCII NUL characters (so a bit like "find -print0").

There is also the addition of a regression test for this command.

guestfs_find: Document protocol limits for this API call.

guestfs_find has to send the complete list of files in a single
protocol message (hence, limited to 2-4 MB).  Unfortunately on
a typical Linux guest, guestfs_find ("/") will exceed this limit
resulting in an error.

Therefore we should add an unlimited version of this call in a
future commit.  This commit just documents the current limit.

New tool: virt-ls

This tool makes available the functionality of "ls", "ll", and "find"
in a slightly simpler to use form.

Examples:

  virt-ls -l myguest /tmp