daemon: Parse /proc/mounts instead of /etc/mtab

Since Fedora util-linux 2.19, the %post script does:

  rm -f /etc/mtab
  ln -s /proc/mounts /etc/mtab

We are no longer running %post scripts, so this means that /etc/mtab
is a plain file in the appliance.  Usual 'mount' still updates it, but
for some reason mount.ntfs does *not* update it in Fedora 15, meaning
that you couldn't mount and then operate on NTFS partitions.

It seems better to always parse /proc/mounts (ie. what the kernel
thinks is mounted) unconditionally, rather than relying on the
capriciousness of the external mount command.

Therefore, parse /proc/mounts instead of /etc/mtab, but add a note
saying that in future we should really be parsing
/proc/self/mountinfo, but that needs a custom parser, and the format
is rather tricky:

http://lxr.linux.no/#linux+v2.6.37/Documentation/filesystems/proc.txt#L1462

regressions: Fix rhbz557655.sh so it works with tracing enabled.

guestfs-perl: Fix missing \n

This updates commit 477eebc83dcd33d00d34398692692dae6af04f22.

Version 1.9.7.

virt-make-fs: Fix typo in man page.

perl: Translate C examples into Perl and include a manual page.

perl: Ignore internal_* functions in POD coverage test.

This updates commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.

Fix test-guestfish-a.sh regression test for new trace format.

This fixes commit 1d999540bddd7aea7c2d0fef8b15223d4acc645f.

autobuild: Add a 'make clean' step.

lib: Fix use-after-free bug in XPath parsing code.

Add a new internal-autosync API to perform autosync.

Instead of explicitly calling umount-all; sync, we add a daemon
function called internal-autosync which does the same.

Apart from slightly simplifying the process of closing the handle, the
main advantage is we can modify the daemon for the standalone case so
that internal-autosync does not do the umount-all operation.

Add a prefix to output when tracing (RHBZ#673479).

Also separate the call and return lines so that everything can be
easily 'grepped' from debug output.  The trace output now looks like
this:

$ guestfish -x -N fs exit
libguestfs: trace: is_config
libguestfs: trace: is_config = 1
libguestfs: trace: add_drive "test1.img"
libguestfs: trace: add_drive = 0
libguestfs: trace: is_config
libguestfs: trace: is_config = 1
libguestfs: trace: launch
libguestfs: trace: launch = 0
libguestfs: trace: part_disk "/dev/sda" "mbr"
libguestfs: trace: part_disk = 0
&c.

daemon: Replace root_mounted global with intelligence.

We used to maintain a global flag 'root_mounted' which tells us if the
user has mounted something on root (ie. on the sysroot directory).

This flag caused a lot of trouble (eg. RHBZ#599503) because it's hard
to keep the flag updated correctly when the user can do arbitrary
mounts and also use mkmountpoint.

Remove this flag and replace it with a test to see if something is
mounted on *or under* the sysroot.  (It has to be *or under* because
of mkmountpoint and friends).

This also replaces a rather convoluted "have we mounted root yet"
check in the mount* APIs with a simpler check to see if the mountpoint
exists and is an ordinary directory.

daemon: Add perror to two exit paths to make errors clearer.

debian: Include actual shared libraries in python-guestfs package.

mkfs-opts: Add optional "features" parameter.

This allows the -O parameter to be added to the mkfs command line.
This is used to select filesystem features.

mkfs-opts: Add a note about blocksize param and UFS filesystems.

generator: Fix generation of library-side stubs with optional String arguments.

packagelist: Add ufsutils for Debian and Ubuntu.

Note there is no mkfs.ufs available for Fedora (see RHBZ#541618
for details).

Version 1.9.6.

fish: Fix typo in error message (copy-in should be copy-out).

Use /var/tmp for the cached appliance (for FHS compliance).

The FHS advises large files not to be stored in the root
filesystem[1], and that /var/tmp is persistent across reboots[2]
(whereas /tmp is possibly not[3]).

Therefore we should store the large cached supermin appliance in
/var/tmp instead of /tmp.  /tmp is still used for all other temporary
files and directories.

In either case you can override this by setting $TMPDIR.

[1] http://www.pathname.com/fhs/pub/fhs-2.3.html#THEROOTFILESYSTEM
[2] http://www.pathname.com/fhs/pub/fhs-2.3.html#VARTMPTEMPORARYFILESPRESERVEDBETWEE
[3] http://www.pathname.com/fhs/pub/fhs-2.3.html#TMPTEMPORARYFILES

fish: Initialize pcmd structure.

On Debian we get this warning which I'm pretty sure is bogus:

fish.c:690: error: 'pcmd.cmd' may be used uninitialized in this
function [-Wuninitialized]

Version 1.9.5

fish: <! cmd executes a shell command and inlines the resulting commands.

The new guestfish construct "<! cmd" executes the shell command
"cmd", and then anything printed to stdout by "cmd" is parsed
and executed as a guestfish command.

This allows some very hairy shell scripting with guestfish.

fish: Factor out command line parsing.

Factor out the code which splits a string into a command line.

fish: Make exit_on_error into a completely local variable.

Note that 'time' and 'glob' (which both run subcommands) do not
correctly pass the exit_on_error flag in the remote case.  This is not
a regression: the current code doesn't work either.

fish: exit_on_error is a local variable.

todo: Live CD inspection works, but not for Windows 7.

Version 1.9.4.

README: Note that po4a is mandatory if compiling from git.

Add ability to inspect install disks and live CDs.

For examples of the virt-inspector output, see the additional
inspector/example-*.xml files in this commit.

inspect: Add macros for file size limits.

This also bumps the file size limit for "small text files"
up to 2 MB, since we want to parse Windows CD txtsetup.sif
files that are usually around 500K in size.

New API: resize2fs-M to resize ext2/3/4 to minimum size.

Version 1.9.3.

df: Skip final '/' character when calculating basename.

Previously it was including the final '/' character when calculating
the basename for the -a option eg:

Filesystem                                Size       Used  Available  Use%
/Ubuntu1010x64:/dev/sda1                  9.4G       2.3G       6.6G   25%

With this patch the '/' is not printed.

fish: Don't fail if some mountpoints in /etc/fstab are bogus (RHBZ#668574).

Fix guestfish (and other C tools) so that they ignore errors
when /etc/fstab contains bogus entries.

Update the documentation for inspect-get-mountpoints to emphasize
that callers must be aware of this when mounting the returned
values.

Add a regression test.

Update the example code ("inspect_vm") to reflect the way this
API ought to be called.

For more detail see:
https://bugzilla.redhat.com/show_bug.cgi?id=668574

Add logo used on the website.

Add cartoon fish logo (not completed).

todo: /proc/self/mountinfo

todo: Add notes on inspecting ISO images.

virt-filesystems: Ignore errors when getting label and UUID (RHBZ#668112).

If virt-filesystems was pointed to an image that contained
bogus or blank filesystems, then calls to vfs-label and/or vfs-uuid
could fail, resulting in errors like this:

libguestfs: error: vfs_label: /dev/vda1:

These errors can be ignored and shouldn't stop virt-filesystems
from working.

resize: Fix typo in man page (thanks avesh@IRC).

fish: fails to tilde expand '~' when $HOME env is unset (RHBZ#617440).

This also adds a regression test.

fish: Fix off-by-one bug in tilde expansion.

Although this doesn't seem to cause a crash, valgrind confirms
that this is a genuine off-by-one bug.  It could potentially
cause a crash if you did:

  echo 'echo ~root/foo' | guestfish

Version 1.9.2.

New tools: virt-copy-in, virt-copy-out, virt-tar-in, virt-tar-out.

Relatively trivial wrappers around the equivalent guestfish
commands.  Change also includes new man pages.

.gitignore: Use full paths for some ignored files.

docs: Add QMP to ROADMAP file.

filesystems: Document the columns in --long output.

Add initial announcement to release notes.

Update TODO file.

inspector: Apps in Windows VMs are now listed - update documentation.

Lib.pm: unknown filesystem /dev/hd{x} (cdrom) (RHBZ#666577)

This a purpose patch to avoid the message "unknown filesystem /dev/hdc".
Where /dev/hdc is an entry in fstab for CDROM.

Example of fstab:
/dev/hdc                /media/cdrom            auto
pamconsole,exec,noauto,managed 0 0

https://bugzilla.redhat.com/show_bug.cgi?id=666577

Signed-off-by: Douglas Schilling Landgraf <dougsland@redhat.com>

Lib.pm: unknown filesystem label SWAP-sda2 (RHBZ#666578)

Hi,

This is a purpose patch to avoid the message: unknown filesystem label
SWAP-sda2.

Instead of validate the label with 'eq', use '=~' and /$label/i.

https://bugzilla.redhat.com/show_bug.cgi?id=666578

Thanks
Douglas

Lib.pm: avoid message "unknown filesystem /dev/fd0" (RHBZ#666577)

This patch to avoid the message "unknown filesystem /dev/fd0".
https://bugzilla.redhat.com/show_bug.cgi?id=666577

Signed-off-by: Douglas Schilling Landgraf <dougsland@redhat.com>
Thanks
Douglas

Tempora mutantur, nos et mutamur in illis.

podwrapper: Fix up the HTML output so most inter-page links work.

podwrapper: Fix script indentation.

podwrapper: 'builddir' was not defined - use a properly defined path.

Version 1.9.1.

docs: add-domain: Remove ref to not impl add-libvirt-dom API call.

docs: Refresh programming language list in guestfs(3).

docs: Refresh programming language equivalence example in guestfs(3).

docs: Fix missing g handle in guestfs(3) man page.

docs: Refresh guestfs(3)/DOWNLOADING.

docs: Refresh guestfs(3)/MOUNTING

Update Punjabi translations (RHBZ#665358).

recipes: Refresh guestfish recipes.

Updated Polish translation (RHBZ#502533).

fish: --ro will be default in 1.10, not 1.8.

docs: Update API support.

api-support: Fix detection of similar APIs.

Because we didn't match on word boundaries, the previous
code would get confused by similar APIs, eg. getxattr vs getxattrs.

docs: Obsolete HACKING file, move content into guestfs(3) man page.

Add a new section called "EXTENDING LIBGUESTFS" to the
guestfs manual page which contains all the information
previously in "HACKING".

docs: Refresh README file.

Update TODO file.

Version 1.9.0.

Update BUGS, PO files for 1.8.0.

Prepare for next stable branch: version 1.8.0.

Update RELEASE-NOTES.

Add ROADMAP for 1.10.

fuse: Add more tracing for calls into guestmount functions.

appliance: Don't exclude upstart (/sbin/reboot) (RHBZ#661280).

Don't exclude upstart from the appliance.  It provides /sbin/reboot
which is required by virt-rescue.

appliance: Don't hard-code febootstrap --exclude parameters.

Create a separate file 'excludelist.in' that contains these
regular expressions, and process it the same way as packagelist.in.

appliance: Use a temporary file when processing packagelist.in.

docs: Add section on using /dev/fd/* with upload and download calls.

docs: Fix link to function in documentation of "du" and "du-s" commands.

Version 1.7.24.

ntfs-3g: Document problems with symlinks and alternatives (RHBZ#663407).

New APIs: getxattr and lgetxattr to get single extended attributes.

These APIs are essentially required to work around a problem
with ntfs-3g.  This filesystem (or FUSE?) does not list all
extended attributes of a file when you call listxattr(2).  However
if you know the name of an extended attribute, you can retrieve
it directly using getxattr(2).

The current APIs (getxattrs etc) are simple to use, but they
don't work if we can't list out the extended attributes (ie.
by calling listxattr(2)).

Example using the new APIs on an ntfs-3g filesystem:

><fs> lgetxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
00000000  16 24 00 00                                       |.$..|
00000004
><fs> lgetxattr "/Documents and Settings" system.ntfs_reparse_data | hexdump -C
00000000  03 00 00 a0 34 00 00 00  00 00 18 00 1a 00 10 00  |....4...........|
00000010  5c 00 3f 00 3f 00 5c 00  43 00 3a 00 5c 00 55 00  |\.?.?.\.C.:.\.U.|
00000020  73 00 65 00 72 00 73 00  00 00 43 00 3a 00 5c 00  |s.e.r.s...C.:.\.|
00000030  55 00 73 00 65 00 72 00  73 00 00 00              |U.s.e.r.s...|
0000003c
><fs> getxattr "/Documents and Settings" system.ntfs_reparse_data | hexdump -C
libguestfs: error: getxattr: getxattr: No such file or directory
><fs> getxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
libguestfs: error: getxattr: getxattr: No such file or directory
><fs> lgetxattr "/Documents and Settings" system.ntfs_attrib | hexdump -C
00000000  16 24 00 00                                       |.$..|
00000004
><fs> getxattr "/Users" system.ntfs_attrib | hexdump -C
00000000  11 00 00 00                                       |....|
00000004

appliance: Add 'attr' package for xattr support in virt-rescue.

generator: List files generated in a separate file.

docs: Update RELEASE-NOTES to latest.

README: Advise using febootstrap >= 3.3.

Version 1.7.23.

Removed hfsprogs from supermin packages for Arch

fish: Clarify documentation for --ro option.

fish: Document equivalence of -a/add etc. in man page.

fish: Split ..|.. options into separate items in man page.

appliance: Don't set utime on cachedir until we know it is safe.

This could be used to touch an arbitrary file (albeit one which
must already exist), and this could have been a security problem.