Enable autosync by default.

/dev/mapper paths should not be returned from C inspection APIs (RHBZ#638899).

With this patch, /dev/mapper paths do not appear in the output
of guestfs_inspect_os, as you can see from this example:

Welcome to guestfish, the libguestfs filesystem interactive shell for
editing virtual machine filesystems.

Type: 'help' for a list of commands
      'man' to read the manual
      'quit' to quit the shell

Operating system: Fedora release 13 (Goddard)
/dev/vg_f13x64/lv_root mounted on /              <--- NB
/dev/vda1 mounted on /boot

New API: lvm-canonical-lv-name: make LV name canonical.

When logical volume names appear in places like /etc/fstab
files they can have the form "/dev/mapper/foo-bar".  This
function takes such names and makes them canonical.

Note that this operation cannot be performed using the current
API, because 'guestfs_stat' does not work on device names, and
we don't really want to make a 'stat-device' call since that
exposes too much non-useful detail about the appliance.

With this patch you can do this:

><fs> debug ll /dev/mapper
total 8
drwxrwxr-x  2 root root   4096 Oct 25 12:51 .
drwxr-xr-x 16 root root   4096 Oct 25 12:51 ..
crw-------  1 root root 10, 62 Oct 25 12:51 control
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_root -> ../dm-0
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_swap -> ../dm-1

><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_root
/dev/vg_f13x64/lv_root
><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_swap
/dev/vg_f13x64/lv_swap
><fs> lvm-canonical-lv-name /dev/mapper/foo
libguestfs: error: lvm_canonical_lv_name: lvm_canonical_lv_name_stub: /dev/mapper/foo: No such file or directory
><fs> lvm-canonical-lv-name /dev/mapper/control
libguestfs: error: lvm_canonical_lv_name: /dev/mapper/control: not a logical volume
><fs> lvm-canonical-lv-name /dev/vg_f13x64/lv_root
/dev/vg_f13x64/lv_root

rescue: Add --network option.

This enables networking in the rescue shell.

Don't use kernel module whitelist with ext2-based appliance.

Since the ext2-based appliance is cached, and since it is not
all loaded into memory (as with the initrd), we might as well
put all the kernel modules in there.

Note the kmod.whitelist.in file is still used for building the
ordinary appliance.

Fix networking in the appliance.

Commit 4963be85 re-introduced networking to the appliance,
but didn't configure the custom network the appliance expects
since we switched to link local addressing. This patch
configures QEMU to use the custom network again.

Note that you still need to use guestfs_set_network (g, 1)
to enable user networking.

Don't include control characters in BufferIn trace output (RHBZ#646822).

The example below shows what the output looks like for a large
random buffer.

$ guestfish -N fs -m /dev/sda1 -x -- \
    touch /test : \
    pwrite /test "$(dd if=/dev/urandom bs=128k count=1)" 0
[...]
pwrite "/test" "\x7f\xa0/\xb3\x80\xd3\xbc\xc3\xc3.\xb1\xe0\x1b\xafC\x06\xd5;\x0ajJ[o\xc1\xdd\xae\x1f\xce\xb2\x8d\xb3\xd0\x11\xcc$%\xe6<\xc7\xc7\xe7BU*\xc4l%\xaa\xea\xe9\x1an\xda]\xc6I\x0eC\xf9;\xec\x12a\x1f\xeaRH\xb2P\xd6+\xc4\xe6\xa5bW\x99\\x9d\xc8\x9bJ\xef\x99-\x16:h5\xe2\x0f\xa2\xa08\x9bU\x0b$\x138\xcf\xd4j\x9b\x83{%\xac0\xdaa1Xx\xbd`\x8e\xdd\x82\x87\x07\x98\xd2\x9ed\x8bq\xd0\x1f5\x8f\xab\xad4z1\xda\xc4b\xc1\xbc\x0f\xaa\xea\xc1\x15(\xfd1\xc2\x0bF\xe6\x9e\xb0+/g\\xab\xb0b\xde_\xca\xf9\xad\xe1?%\x17\xad\x98\xa4e\xc1\xe0f'\x89\xe9>\xff\xadhYi\xe7\x8c]%\xef\xe0\xa1R\xe5\xd5\x03K\xefI\xdf\xad\xd3\x82\xdb\x0f\xdd\xc3\x8f"\xf1G\xea\xf9r\xdd\xff\x88\x81\xb7\xf2\x0e\x0f\x1d;:\xf2F1\xdb\xb5D\xa1^\x928\xf5\x8e)\xab\xc4\xc3H(\xd0ol\xc6\xe4\xd6\xa3L\x1c\x06\xf4"<truncated, original size 130567 bytes> 0
[...]

daemon: Print failed path in stat command errors.

fish: Fix too-short allocation in tilde expansion (RHBZ#636061).

Update Polish translations (RHBZ#502533).

fish: Quote optional argument name in error message.

fish: Reject unknown opt args (RHBZ#642934,CVE-2010-3851).

This updates commit 0c1d3c02a8147617ee0646e37d011235abdd2c22.

fuse: Add --format option to docs (RHBZ#642934,CVE-2010-3851).

This updates commit 44c5ee1163918bd5c9e6aa6c292f0c3bb15b7b25.

Document the --format option in the guestmount manual page.

Version 1.5.23.

resize: Specify format of input, output disk (RHBZ#642934,CVE-2010-3851).

This adds two new options: --format specifies the format of the
input disk, and --output-format specified the format of the output
disk.

Requiring the format of the output disk seems a bit strange at first:
after all, this is the disk that the virt-resize user has to create.
However it is needed because we sometimes reopen this disk, after
copying data over the first sector, and in theory a raw-format guest
could write a qcow2 header here and have it copied to the output
disk, which we would subsequently reopen.

virt-make-fs: Specify format of disk (RHBZ#642934,CVE-2010-3851).

df: Specify format of disks (RHBZ#642934,CVE-2010-3851).

The format parameter is taken from libvirt if available, else
the user should supply the '--format' parameter (eg. for local
disk files).

tools: Specify format of disks (RHBZ#642934,CVE-2010-3851).

Sys::Guestfs::Lib is changed in two ways: firstly we take the format
string from libvirt and pass it to add_drive_opts.  Secondly we allow
an extra format =>  parameter to open_guest which allows the
format to be specified for disk images.

All the tools are changed to add an extra --format parameter allowing
the format to be specified for direct disk images.

fuse: Specify format of disks (RHBZ#642934,CVE-2010-3851).

For command line disk images, specify the format using --format option
in the same way as for guestfish.

fish: Specify format of disks (RHBZ#642934,CVE-2010-3851).

For libvirt guests, the disk format is copied from libvirt (if
libvirt knows it).

For command line disk images, you can use --format to override
format auto-detection.

generator: Optional arguments, add-drive-opts (RHBZ#642934,CVE-2010-3851).

This large commit changes the generator so that optional arguments
can be supported for functions.

The model for arguments (known as the "style") is changed from
(ret, args) to (ret, args, optargs) where optargs is a more limited
list of arguments.

One function has been added which takes optional arguments, it is
"add-drive-opts", modelled as:

  (RErr, [String "filename"], #required
         [Bool "readonly"; String "format"; String "iface"]) #optional

Note that this function is processed in the library (does not go over
the RPC protocol to the daemon).  This has allowed us to simplify
the current implementation by omitting changes related to RPC or the
daemon, although we plan to add these at some point in the future.

From C this function can be called in 3 different ways as in these
examples:

  guestfs_add_drive_opts (g, filename,
                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
  GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
                          -1);

(the argument(s) between 'filename' and '-1' are the optional ones).

  guestfs_add_drive_opts_va (g, filename, args);

where 'args' is a va_list.  This works like the first version.

  struct guestfs_add_drive_opts_argv optargs = {
    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK,
    .readonly = 1,
  }
  guestfs_add_drive_opts_argv (g, filename, &optargs);

This last form lets you construct lists of optional arguments, and
is used by guestfish and the language bindings.

In guestfish optional arguments are used like this:

  add-drive-opts filename readonly:true

In OCaml these are mapped naturally to OCaml optional arguments, eg:

  g#add_drive_opts ~readonly:true filename;

In Perl these are mapped to extra arguments, eg:

  $g->add_drive_opts ($filename, readonly => 1);

In Python these are mapped to optional arguments, eg:

  g.add_drive_opts ("file", readonly = 1, format = "qcow2")

In Ruby these are mapped to a final hash argument, eg:

  g.add_drive_opts("file", {})
  g.add_drive_opts("file", :readonly => 1)
  g.add_drive_opts("file", :readonly => 1, :iface => "virtio")

In PHP these are mapped to extra parameters.  This is not quite
accurate since you cannot omit arbitrary optional parameters, but
there's not much than can be done within the limitations of PHP
as a language.

Unimplemented in: Haskell, C#, Java.

generator: Rearrange argt logically (RHBZ#642934,CVE-2010-3851).

This structure has accreted over time.  Rearrange the types
into a logical order.

daemon: Use stdint UINT64_C instead of <const>ULL.

inspector: Add comment about why --fish option implies write mode.

php: Create test file properly before running test.

php: Note that tests are testing the wrong thing.

ruby: Run tests one at a time, instead of in parallel.

generator: Refactor code for Perl bindings.

This simplifies the code that generates the Perl bindings
by removing repeated sections.

generator: Missing newline character.

fish: Change 'int argc' to 'size_t argc' throughout.

generator: Remove unused parameter.

generate_c_call_args optional decl parameter is never actually
used, so remove it.

Version 1.5.22.

virt-resize: Document guest boot stops at "GRUB" (RHBZ#640961).

df: Correctly quote libvirt domain and filesystem in --csv mode (RHBZ#639986).

This fixes virt-df --csv when used with libvirt domains that contain
quotes, spaces, commas and other lesser-used characters.

virt-resize: Document qcow2 output format (RHBZ#642826).

virt-resize: List truncate(1) in SEE ALSO section.

tools: Add section describing quoting libvirt domain names to docs (RHBZ#643624)

parted: Don't return "loop" for non-partitioned devices (RHBZ#634246).

If you ran part-get-parttype command on a device which didn't
contain a partition, it used to return the string "loop".  This
is an internal representation that parted uses.  We should instead
return an error because part-get-parttype makes no sense for
devices which are not partitioned.

contrib: Note about what needs to be done for visualization.

todo: Add wishlist items to to-do list.

todo: Add note about using blktrace.

contrib: More trace visualization.

debug: Add qtrace <device> on|off to allow selective traces.

part-disk: Align whole disk partition to 64 sectors.

Change the part-disk command so it aligns the partition to
64 sectors (instead of 1 or 34 sectors as now).  This should
ensure that the filesystem contained within is aligned.

contrib: Fix small mistake in README file.

contrib: Update README files.

contrib: Visualizing block device access and alignment.

ocaml: Add g#ocaml_handle method.

ocaml: Document g#close () method for objects.

ocaml: Create the handle when the object is instantiated.

Previously we had only one handle shared between all objects .. oops.
This fixes commit 67636f721056d2f2250b0ff8acd981a0294536a9.

ocaml: Add alternate object-oriented programming style.

In original style:

let () =
  let filename = Sys.argv.(1) in
  let g = Guestfs.create () in
  Guestfs.add_drive_ro g filename;
  Guestfs.launch g;
  let roots = Guestfs.inspect_os g in
  print_endline (Guestfs.inspect_get_product_name g roots.(0))

The same code in the new OO style:

let () =
  let filename = Sys.argv.(1) in
  let g = new Guestfs.guestfs in
  g#add_drive_ro filename;
  g#launch ();
  let roots = g#inspect_os () in
  print_endline (g#inspect_get_product_name roots.(0))

test-copy: Skip this test if /dev/fd is missing, because of broken mock 1.1.4.

test-virt-resize: Skip this test on 32 bit hosts.

Version 1.5.21.

fish: Fix glob command (RHBZ#635969).

This is a fix for the glob command in guestfish which was inadvertently
broken in commit c359347dd42c9f5b875630537ee3641264826b89.

This also appears to fix:
  https://bugzilla.redhat.com/show_bug.cgi?id=635969
  glob echo mkfs ext2 /dev/vd[b-t]1 prints garbage

Add test for virt-resize.

This tests a number of things which have caused problems for us:

 - resizing PVs and LV content
 - handling GPT format disks
 - using qcow2 as a target disk format
 - shrinking disk images

Note that the disk content is empty (not a real VM), but this is
adequate since all we want to test are the operations and calculations
done by virt-resize.  We are not interested here in whether e2fsprogs
and LVM actually works.

resize: Fix handling of GPT and qcow2 (RHBZ#633766, RHBZ#633096).

Previously we copied the bootloader data directly from the
source disk image to the target disk image using host file
operations (before launching libguestfs).  This has two problems:
firstly it has no chance of working with qcow2, and secondly
it didn't behave properly with GPT.

This changes the code so that everything is done through
libguestfs.  Block device sizes are now calculated properly
for qcow2 (RHBZ#633096) because this is done using the libguestfs
blockdev_getsize64 call.  The partition table is still created
by parted, but to workaround a bug in parted this is done before
copying the bootloader.  Finally the bootloader copy is done
using the new APIs pread-device and pwrite-device.

Shrinking now works, at least for simple cases (RHBZ#633766).

New API: pread-device, partial read for devices.

pread: Check count and offset parameters are not negative.

Freshen POD (manual pages) stylesheet.

Version 1.5.20.

New API: pwrite-device

This is the same as the existing 'pwrite' API call, but allows you
to write to a device.

pwrite: Check offset is not negative.

fish: Refresh guestfish documentation.

Document ambiguity between devices and paths in API.

Document accurately how supermin appliance uses /tmp as a cache.

Allow $TMPDIR to override most temporary directory uses.

Be more consistent in allowing the user to override use of the
temporary directory by specifying $TMPDIR.  Also prefer P_tmpdir
macro (defined in <stdio.h>) if that is defined, rather than
hard-coding "/tmp" for the fallback location.

Call blockdev --rereadpt then udev_settle after sfdisk commands.

This updates commit 956fc5a3feacc970ea763697bf28fb686c875408 so
that we call udev_settle after rereading the partition table.  This
ensures that the devices nodes for the new partitions have been
created.

Update Spanish translations (RHBZ#636918).

Update Polish translations (RHBZ#502533).

Version 1.5.19.

regressions: Test just-built guestfish.

Instead of testing the installed /usr/bin/guestfish.

This fixes commit ddda0f7bd00a37274dae38f4ce93955b8cfdf7d7.

Call blockdev --rereadpt after sfdisk commands.

On fast machines sfdisk has some sort of race where it
fails to re-read the partition table it has just created
(it's not clear if this is a race in sfdisk, the kernel or
some other component).

This commit works around the problem by calling
blockdev --rereadpt after sfdisk operations, which
experience shows is enough to stop the problem from
happening.

Version 1.5.18.

Test guestfish -a and guestfish -d options.

Since these options were both broken in released version 1.5.17,
best to have a regression test to catch this in future.

appliance: Ignore unreadable dbus service file (Fedora 15).

fish: Fix segfault in free_drives() function.

This updates commit 8ea62c8d7f3f7f7e4057b93105cf979271aa13f4
so it doesn't try to free the optarg (stack-allocated) strings.

Version 1.5.17.

Update release notes for new features in 1.5 branch.

fish: Implement 'hexedit' command.

New APIs: upload-offset and download-offset

These APIs allow you to efficiently write and read parts of
files or devices.

leak: Clear history before exiting guestfish.

Clear the in-memory history before exiting.  This removes
some but not all memory leaks associated with using the GNU
History library.  As far as I can tell it is not possible to
free up everything used by GNU History.

(Found by valgrind).

leak: Free list of drives and mountpoints in guestfish.

Previously the list of -a, -d, -m, -N parameters were leaked.  This
change frees them explicitly.

This is not such an important fix since guestfish is a one-shot
program, but it aids in finding other leaks in future.

(Found by valgrind).

leak: Free PCRE regexps when library is unloaded.

The compiled PCRE regexps used for inspection were being leaked when
the library was unloaded.

(Found by valgrind).

leak: Appliance name was leaked during guestfs_launch.

This frees the string containing the name of the appliance
which was previously being leaked during launch.

(Found by valgrind).

Add more exclusions to .gitignore.

Fix appliance build dependency problem

The appliance was being completely rebuilt every time guestfsd was updated. This
was because make.sh depended on guestfsd, which it had to do because it
called update.sh to install guestfsd.

This fix removes the call to update.sh in make.sh, and therefore the dependency
on guestfsd. The Makefile already includes a rule to run update.sh when guestfsd
is updated, so this was unnecessary.

fish: Add --echo-keys option to allow passphrases/keys to be echoed.

See also:
http://catless.ncl.ac.uk/Risks/26.17.html#subj13.3

df: Add --one-per-guest option for using one appliance per guest.

Fix error launching libguestfs when euid != uid.

When writing to a RHEV target, virt-v2v launches the libguestfs
appliance with euid:egid = 36:36, which is required to write to
an NFS target using root_squash.

Since we changed to using a cached appliance, this causes an error on
start up, as the cached files are owned by root, but the cache directory
is owned by 36:36.  The reason is that bash resets euid to uid and
egid to gid so when febootstrap-supermin-helper is executed, it runs as
root:root.  The cache directory was created by libguestfs directly so
it has the correct ownership.

This patch fixes the issue by using explicit fork/exec instead of
system (ie. not going via a shell) and by setting the real UID and
GID to the effective UID and GID before execing.

todo: Suggest removing repo name from appliance name.

generator: Generate guestfish-only commands.

The guestfish-only commands such as 'alloc' and 'edit' are
now generated from one place in the generator instead of being
spread around ad-hoc in the C code.

fish: In guestfish(1) turn command references into links.

fish: Correction for online help for 'edit' and 'more' commands.

This corrects commit b5c287bcd456bdb02d8ec0443483df34f4fd6b5d
and commit 639ca1828b167bf59353f0cd3c8c79c6289bbd5d.

Version 1.5.16.

configure: Make "fedora-13" the default repository.

fish: If -m option fails, suggest a mountpoint.

todo: Remove section since we now have list-filesystems API.

Version 1.5.15.

New API: list-filesystems: list filesystems

This API is a simpler replacement for the guestfish commands
list-devices / list-partitions / lvs, in the case where you are
just examining a guest by hand to see what it contains.

Typical usage and output in guestfish is like this:

$ guestfish --ro -a /dev/vg_trick/F13x64
><fs> run
><fs> list-filesystems
/dev/vda1: ext4
/dev/vg_f13x64/lv_root: ext4
/dev/vg_f13x64/lv_swap: swap

It can also be used to replace programs that try to mount
devices to determine if they are mountable filesystems.