capitests: Set path in TESTS_ENVIRONMENT instead of in tests.c

By exporting LIBGUESTFS_PATH with the right path to the appliance,
we no longer need to hard code the path in tests.c

generator: Remove unnecessary macro redefinitions.

These macros are already defined in guestfs-internals.h

Define internal safe_calloc shorthand.

daemon: Don't use ../src path to include generator_protocol.h

This file is already hard-linked into the current directory, so
the relative path is not required.

tests: Remove use of sfdisk from tests.

Some older tests used sfdisk to create partitions for the
tests.  sfdisk is buggy (more so than parted -- what is it
with partitioning tools?) so replace these tests with
equivalent part-* commands.

daemon: Tolerate failure of blockdev --rereadpt after sfdisk.

See commit 840536ea5a0568296dfd3e483442c76b93c5a949
and commit 956fc5a3feacc970ea763697bf28fb686c875408.

binary: Link guestmount static binary with -lm.

This is indirectly required via the new shared guestfish
C inspection code by libxml2.

website: Distribute BUGS and RELEASE-NOTES files to website.

Version 1.7.0.

Final RELEASE-NOTES file for version 1.6.0.

inspect: Add support for MeeGo.

Version 1.5.26.

inspect: Add support for Ubuntu.

inspect: Add detection of Gentoo.

inspect: Add detection of Arch Linux.

inspect: Add detection of Pardus.

inspect: Generic parsing of MAJOR.MINOR in product names.

inspect: Generic parsing of release files.

inspector: Sort <filesystems> section.

inspect: Ignore Pardus "/.swap" swapfile.

autogen: Touch ocaml/.depend

inspector: List Debian packages.

List Debian packages by downloading and parsing the file
/var/lib/dpkg/status.

inspector: Introductory documentation for XML format.

inspector: Debian package format 'deb' instead of 'dpkg'.

inspector: Return canonical block device paths in XML.

Version 1.5.25.

Ensure atomic creation of a cached appliance

Cached appliances are discovered by their predictable path. Previously we were
creating a cached appliance directly in this predictable path. This had at least
2 undesirable effects:

* Interrupting appliance creation would leave a corrupt appliance
* 2 processes could simultaneously attempt to create the same appliance, causing
  corruption.

This patch causes the cached appliance to be created in a temporary directory,
and then renamed to the predictable path. As rename is an atomic operation, this
makes the whole creation atomic.

This patch also changes the predictable path to have a prefix of 'guestfs.'.
This will make it simpler for system administrators to clean up old cached
appliances.

This patch resolves RHBZ#639405

Call febootstrap-supermin-helper using the new -u and -g options

Use febootstrap-supermin-helper's new -u and -g command line options to setuid,
rather than doing it in libguestfs.

This resolves an issue with the generation of the cached appliance checksum. The
checksum was being generated by a call to febootstrap-supermin-helper through
popen(). Unfortunately, a bash misfeature meant that euid would be reset to uid,
and the checksum was generated for uid, not euid. When virt-v2v is writing to a
RHEV target, uid == 0 and euid == 36, which resulted in a cached appliance being
created for root with permissions for uid 36.

Note this requires febootstrap 2.10.

Log the febootstrap-supermin-helper command line

A side-effect of change 17e7cb9937a63ed8f9bb0fb6ac7302758be76846 was the the
febootstrap-supermin-helper was no longer logged. This change adds it back using
the new guestfs___print_timestamped_argv internal function.

New internal function guestfs___print_timestamped_argv

This function generalises the existing print_cmdline used to output the qemu
command line to output any given command line, and exports it to other modules.
It also adds a timestamp to the old print_cmdline output for consistency with
guestfs___print_timestamped_message.

list-filesystems: Use core list-filesystems API (RHBZ#642933).

Change virt-list-filesystems to use the core inspection API
instead of the deprecated Sys::Guestfs::Lib::get_partitions
function.

Sys::Guestfs::Lib: deprecate get_partitions (RHBZ#642933).

However the code is left since this function is used
by virt-v2v amongst others.

inspector: Rewrite virt-inspector (RHBZ#642930).

Rewrite virt-inspector:

 - remove old and unsupportable features
 - use the C inspection API
 - don't run programs from the guest

The RNG has been updated to reflect the new XML-only output.

The new example files show the new XML output.

tools: Use C API for inspection (RHBZ#642930).

Update the following tools to use the C API for inspection:

 - virt-cat
 - virt-edit
 - virt-ls
 - virt-tar
 - virt-win-reg

None of the tools in the tools/ directory now use the deprecated
Perl inspection APIs.

New API: inspect-get-windows-systemroot to get systemroot.

We are already using heuristics in the C inspection code to
determine the Windows %SYSTEMROOT% directory.  This change
just exposes this information through the API.

Sys::Guestfs::Lib: deprecate inspection functions (RHBZ#642930).

Deprecate the guest inspection functions in this module, remove
documentation, and point users at the core API functions instead.

However we will keep the code here since it is used by virt-v2v
and virt-inspector.

daemon: Fix /dev/mapper paths from mounts and mountpoints (RHBZ#646432).

Make the LV paths returned by these two commands canonical.

edit: Clean up tmp file handling in virt-edit.

This was probably not a security issue, but this change
makes the code cleaner by not opening the tmp file twice.

Also be more careful about error checking in close syscall.

doc: Warn about security implications of running commands.

virt-ls: Small fix to documentation.

Remove ocaml/.depend from git.

ocaml/.depend is automatically generated. This patch removes it from git.

Version 1.5.24.

Disable test for RHBZ#576879 comment 5.

This test has started to hang, for reasons we don't understand.

Unify guestfish and guestmount options processing (RHBZ#642932).

In guestfish, factor out the processing of the options -a, -c,
-d, -i, -m, -n, -r, -v, -V, -x into a separate set of files:
options.c, options.h, inspect.c, virt.c.

Change guestmount so that it uses these same files (from the
../fish directory) to process the same options.

This unifies the handling of these options between the two programs.
It also adds the useful inspection feature to guestmount, so you
can now do:

  guestmount -d Guest -i --ro mnt/

df: Add --uuid option to print guest UUIDs instead of names (RHBZ#646821).

todo: Remove obsolete items from TODO file.

Document problems mixing mkmountpoint and umount-all (RHBZ#599503).

appliance: Repo name is not Fedora-specific.

The --with-repo parameter is also used by Debian to specify
the Debian software repository, so remove references to
Fedora.

appliance: Remove repo from appliance filename (RHBZ#638901).

There's no need to have the appliance filename contain the
repository name it was built from, and this change gives
downstream users more freedom to mix and match libraries
and appliances if they want to.

inspection: Ignore floppy disks and CD-ROM drives (RHBZ#642929).

Enable autosync by default.

/dev/mapper paths should not be returned from C inspection APIs (RHBZ#638899).

With this patch, /dev/mapper paths do not appear in the output
of guestfs_inspect_os, as you can see from this example:

Welcome to guestfish, the libguestfs filesystem interactive shell for
editing virtual machine filesystems.

Type: 'help' for a list of commands
      'man' to read the manual
      'quit' to quit the shell

Operating system: Fedora release 13 (Goddard)
/dev/vg_f13x64/lv_root mounted on /              <--- NB
/dev/vda1 mounted on /boot

New API: lvm-canonical-lv-name: make LV name canonical.

When logical volume names appear in places like /etc/fstab
files they can have the form "/dev/mapper/foo-bar".  This
function takes such names and makes them canonical.

Note that this operation cannot be performed using the current
API, because 'guestfs_stat' does not work on device names, and
we don't really want to make a 'stat-device' call since that
exposes too much non-useful detail about the appliance.

With this patch you can do this:

><fs> debug ll /dev/mapper
total 8
drwxrwxr-x  2 root root   4096 Oct 25 12:51 .
drwxr-xr-x 16 root root   4096 Oct 25 12:51 ..
crw-------  1 root root 10, 62 Oct 25 12:51 control
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_root -> ../dm-0
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_swap -> ../dm-1

><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_root
/dev/vg_f13x64/lv_root
><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_swap
/dev/vg_f13x64/lv_swap
><fs> lvm-canonical-lv-name /dev/mapper/foo
libguestfs: error: lvm_canonical_lv_name: lvm_canonical_lv_name_stub: /dev/mapper/foo: No such file or directory
><fs> lvm-canonical-lv-name /dev/mapper/control
libguestfs: error: lvm_canonical_lv_name: /dev/mapper/control: not a logical volume
><fs> lvm-canonical-lv-name /dev/vg_f13x64/lv_root
/dev/vg_f13x64/lv_root

rescue: Add --network option.

This enables networking in the rescue shell.

Don't use kernel module whitelist with ext2-based appliance.

Since the ext2-based appliance is cached, and since it is not
all loaded into memory (as with the initrd), we might as well
put all the kernel modules in there.

Note the kmod.whitelist.in file is still used for building the
ordinary appliance.

Fix networking in the appliance.

Commit 4963be85 re-introduced networking to the appliance,
but didn't configure the custom network the appliance expects
since we switched to link local addressing. This patch
configures QEMU to use the custom network again.

Note that you still need to use guestfs_set_network (g, 1)
to enable user networking.

Don't include control characters in BufferIn trace output (RHBZ#646822).

The example below shows what the output looks like for a large
random buffer.

$ guestfish -N fs -m /dev/sda1 -x -- \
    touch /test : \
    pwrite /test "$(dd if=/dev/urandom bs=128k count=1)" 0
[...]
pwrite "/test" "\x7f\xa0/\xb3\x80\xd3\xbc\xc3\xc3.\xb1\xe0\x1b\xafC\x06\xd5;\x0ajJ[o\xc1\xdd\xae\x1f\xce\xb2\x8d\xb3\xd0\x11\xcc$%\xe6<\xc7\xc7\xe7BU*\xc4l%\xaa\xea\xe9\x1an\xda]\xc6I\x0eC\xf9;\xec\x12a\x1f\xeaRH\xb2P\xd6+\xc4\xe6\xa5bW\x99\\x9d\xc8\x9bJ\xef\x99-\x16:h5\xe2\x0f\xa2\xa08\x9bU\x0b$\x138\xcf\xd4j\x9b\x83{%\xac0\xdaa1Xx\xbd`\x8e\xdd\x82\x87\x07\x98\xd2\x9ed\x8bq\xd0\x1f5\x8f\xab\xad4z1\xda\xc4b\xc1\xbc\x0f\xaa\xea\xc1\x15(\xfd1\xc2\x0bF\xe6\x9e\xb0+/g\\xab\xb0b\xde_\xca\xf9\xad\xe1?%\x17\xad\x98\xa4e\xc1\xe0f'\x89\xe9>\xff\xadhYi\xe7\x8c]%\xef\xe0\xa1R\xe5\xd5\x03K\xefI\xdf\xad\xd3\x82\xdb\x0f\xdd\xc3\x8f"\xf1G\xea\xf9r\xdd\xff\x88\x81\xb7\xf2\x0e\x0f\x1d;:\xf2F1\xdb\xb5D\xa1^\x928\xf5\x8e)\xab\xc4\xc3H(\xd0ol\xc6\xe4\xd6\xa3L\x1c\x06\xf4"<truncated, original size 130567 bytes> 0
[...]

daemon: Print failed path in stat command errors.

fish: Fix too-short allocation in tilde expansion (RHBZ#636061).

Update Polish translations (RHBZ#502533).

fish: Quote optional argument name in error message.

fish: Reject unknown opt args (RHBZ#642934,CVE-2010-3851).

This updates commit 0c1d3c02a8147617ee0646e37d011235abdd2c22.

fuse: Add --format option to docs (RHBZ#642934,CVE-2010-3851).

This updates commit 44c5ee1163918bd5c9e6aa6c292f0c3bb15b7b25.

Document the --format option in the guestmount manual page.

Version 1.5.23.

resize: Specify format of input, output disk (RHBZ#642934,CVE-2010-3851).

This adds two new options: --format specifies the format of the
input disk, and --output-format specified the format of the output
disk.

Requiring the format of the output disk seems a bit strange at first:
after all, this is the disk that the virt-resize user has to create.
However it is needed because we sometimes reopen this disk, after
copying data over the first sector, and in theory a raw-format guest
could write a qcow2 header here and have it copied to the output
disk, which we would subsequently reopen.

virt-make-fs: Specify format of disk (RHBZ#642934,CVE-2010-3851).

df: Specify format of disks (RHBZ#642934,CVE-2010-3851).

The format parameter is taken from libvirt if available, else
the user should supply the '--format' parameter (eg. for local
disk files).

tools: Specify format of disks (RHBZ#642934,CVE-2010-3851).

Sys::Guestfs::Lib is changed in two ways: firstly we take the format
string from libvirt and pass it to add_drive_opts.  Secondly we allow
an extra format =>  parameter to open_guest which allows the
format to be specified for disk images.

All the tools are changed to add an extra --format parameter allowing
the format to be specified for direct disk images.

fuse: Specify format of disks (RHBZ#642934,CVE-2010-3851).

For command line disk images, specify the format using --format option
in the same way as for guestfish.

fish: Specify format of disks (RHBZ#642934,CVE-2010-3851).

For libvirt guests, the disk format is copied from libvirt (if
libvirt knows it).

For command line disk images, you can use --format to override
format auto-detection.

generator: Optional arguments, add-drive-opts (RHBZ#642934,CVE-2010-3851).

This large commit changes the generator so that optional arguments
can be supported for functions.

The model for arguments (known as the "style") is changed from
(ret, args) to (ret, args, optargs) where optargs is a more limited
list of arguments.

One function has been added which takes optional arguments, it is
"add-drive-opts", modelled as:

  (RErr, [String "filename"], #required
         [Bool "readonly"; String "format"; String "iface"]) #optional

Note that this function is processed in the library (does not go over
the RPC protocol to the daemon).  This has allowed us to simplify
the current implementation by omitting changes related to RPC or the
daemon, although we plan to add these at some point in the future.

From C this function can be called in 3 different ways as in these
examples:

  guestfs_add_drive_opts (g, filename,
                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
  GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
                          -1);

(the argument(s) between 'filename' and '-1' are the optional ones).

  guestfs_add_drive_opts_va (g, filename, args);

where 'args' is a va_list.  This works like the first version.

  struct guestfs_add_drive_opts_argv optargs = {
    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK,
    .readonly = 1,
  }
  guestfs_add_drive_opts_argv (g, filename, &optargs);

This last form lets you construct lists of optional arguments, and
is used by guestfish and the language bindings.

In guestfish optional arguments are used like this:

  add-drive-opts filename readonly:true

In OCaml these are mapped naturally to OCaml optional arguments, eg:

  g#add_drive_opts ~readonly:true filename;

In Perl these are mapped to extra arguments, eg:

  $g->add_drive_opts ($filename, readonly => 1);

In Python these are mapped to optional arguments, eg:

  g.add_drive_opts ("file", readonly = 1, format = "qcow2")

In Ruby these are mapped to a final hash argument, eg:

  g.add_drive_opts("file", {})
  g.add_drive_opts("file", :readonly => 1)
  g.add_drive_opts("file", :readonly => 1, :iface => "virtio")

In PHP these are mapped to extra parameters.  This is not quite
accurate since you cannot omit arbitrary optional parameters, but
there's not much than can be done within the limitations of PHP
as a language.

Unimplemented in: Haskell, C#, Java.

generator: Rearrange argt logically (RHBZ#642934,CVE-2010-3851).

This structure has accreted over time.  Rearrange the types
into a logical order.

daemon: Use stdint UINT64_C instead of <const>ULL.

inspector: Add comment about why --fish option implies write mode.

php: Create test file properly before running test.

php: Note that tests are testing the wrong thing.

ruby: Run tests one at a time, instead of in parallel.

generator: Refactor code for Perl bindings.

This simplifies the code that generates the Perl bindings
by removing repeated sections.

generator: Missing newline character.

fish: Change 'int argc' to 'size_t argc' throughout.

generator: Remove unused parameter.

generate_c_call_args optional decl parameter is never actually
used, so remove it.

Version 1.5.22.

virt-resize: Document guest boot stops at "GRUB" (RHBZ#640961).

df: Correctly quote libvirt domain and filesystem in --csv mode (RHBZ#639986).

This fixes virt-df --csv when used with libvirt domains that contain
quotes, spaces, commas and other lesser-used characters.

virt-resize: Document qcow2 output format (RHBZ#642826).

virt-resize: List truncate(1) in SEE ALSO section.

tools: Add section describing quoting libvirt domain names to docs (RHBZ#643624)

parted: Don't return "loop" for non-partitioned devices (RHBZ#634246).

If you ran part-get-parttype command on a device which didn't
contain a partition, it used to return the string "loop".  This
is an internal representation that parted uses.  We should instead
return an error because part-get-parttype makes no sense for
devices which are not partitioned.

contrib: Note about what needs to be done for visualization.

todo: Add wishlist items to to-do list.

todo: Add note about using blktrace.

contrib: More trace visualization.

debug: Add qtrace <device> on|off to allow selective traces.

part-disk: Align whole disk partition to 64 sectors.

Change the part-disk command so it aligns the partition to
64 sectors (instead of 1 or 34 sectors as now).  This should
ensure that the filesystem contained within is aligned.

contrib: Fix small mistake in README file.

contrib: Update README files.

contrib: Visualizing block device access and alignment.

ocaml: Add g#ocaml_handle method.

ocaml: Document g#close () method for objects.

ocaml: Create the handle when the object is instantiated.

Previously we had only one handle shared between all objects .. oops.
This fixes commit 67636f721056d2f2250b0ff8acd981a0294536a9.