appliance: More debug added to /init.

Exclude daemon/lib and daemon/tests from being added to po/POTFILES.in

build: remove bootstrap's --gnulib-srcdir option

...because it probably didn't work, and even if it did, we've
discovered that using a separate git repo like that can lead
to subtle mix-ups.
Also, fix invocation of gnulib-tool in daemon/.

build: fix build failure

* bootstrap (gnulib_tool): Create lib and tests directories
under daemon/ before running gnulib-tool there.

daemon: use gnulib

* daemon/Makefile.am (SUBDIRS): Define.
(AM_CPPFLAGS): Define, to include from gnulib's lib/
(LDADD): Define, to link with gnulib's libgnu.a.
* daemon/configure.ac: Use AC_CONFIG_AUX_DIR([build-aux]),
gl_EARLY and gl_INIT.
(AC_CONFIG_FILES): Add lib/Makefile and tests/Makefile
* daemon/m4/gnulib-cache.m4: New file, generated by running
../.gnulib/gnulib-tool --import --with-tests hash
* daemon/.gitignore: Ignore all of the imported files.
build: tell bootstrap about daemon/
* bootstrap: Run gnulib-tool --update in daemon/.
Remove bootstrap's --gnulib-srcdir option, because it probably
didn't work, and even if it did, we've discovered that using
a separate git repo like that can lead to subtle mix-ups.

appliance: Include more debug output in the /init script.

Output more debugging information from this script, to enhance the
usefulness of LIBGUESTFS_DEBUG output.

Recognise cd-rom devices in devsparts.c

Also:
* Un-duplicate device detection code by creating a common mapping function.
* Add some more comments.

Fix test failures in upload and download (RHBZ#515764)

The tests hardcoded an MD5 of the test file, COPYING.LIB, whose contents had
change. This change causes it to compute the MD5 rather than hardcoding it.

OCaml provided by rjones.

Add copyright and license notice to regressions/test-noexec-stack.pl

Add some newly-untracked files to .gitignore

Fix swapon_label test

The swapon label test has a side-effect, in that it creates a new partition.
This causes the later failure of the list_partitions test.

This change causes the swapon_label test to zero /dev/sdb after the test, and
then re-read the partition table.

Add resultant change to po/POTFILES.in

I missed this when committing 7e9cb884492aec243337ffc8e4432a9ff2690956

Add a test for an executable stack in resultant binaries

build: generate some just-removed files in po/

* bootstrap: Generate po/Makevars and po/LINGUAS.

build: remove trailing blank lines; enable the syntax-check rule

* cfg.mk (disable_temporarily): Remove sc_prohibit_trailing_blank_lines.
* appliance/Makefile.am: Remove trailing blank line(s).
* appliance/debian/modules/y0_install-guestfsd: Likewise.
* appliance/make.sh.in: Likewise.
* appliance/packagelist.in: Likewise.
* appliance/update.sh.in: Likewise.
* haskell/run-bindtests: Likewise.
* ocaml/run-bindtests: Likewise.
* python/run-python-tests: Likewise.
* recipes/squashfs.example: Likewise.
* ruby/run-ruby-tests: Likewise.

build: exempt symlinks from trailing-blank-line prohibition

* cfg.mk (sc_prohibit_trailing_blank_lines): Exempt symlinks.

build: enable syntax-check: TAB-only indentation in Makefiles

* cfg.mk (disable_temporarily): Remove sc_makefile_TAB_only_indentation.

build: tweak HACKING so we pass "make syntax-check"

* HACKING: Convert leading TABs.

build: remove trailing blanks, enable syntax-check

* regressions/test-cancellation-download-librarycancels.sh:
* src/generator.ml:
* cfg.mk (disable_temporarily): Remove sc_trailing_blank.
* .x-sc_trailing_blank: New file.

maint: use COPYING.LIB version 2.1

* COPYING.LIB: Update to 2.1.
* .x-sc_TAB_in_indentation: Also exempt COPYING.LIB.

build: don't emit trailing blanks, remove generated file

* ocaml/Makefile.am (.depend): Don't redirect directly to $@.
Filter out trailing blanks.
* ocaml/.depend: Regenerate.

build: remove more files added by ./autogen.sh

* po/LINGUAS: Remove file.
* po/Makefile.in.in: Likewise.
* po/Makevars: Likewise.
* po/Rules-quot: Likewise.
* po/boldquot.sed: Likewise.
* po/en@boldquot.header: Likewise.
* po/en@quot.header: Likewise.
* po/insert-header.sin: Likewise.
* po/quot.sed: Likewise.
* po/remove-potcdate.sin: Likewise.

build: tell aclocal to search gnulib/m4, too

* Makefile.am (ACLOCAL_AMFLAGS): Append "-I gnulib/m4".

Document and enforce the new spaces-only indentation policy.

* cfg.mk (disable_temporarily): Remove sc_TAB_in_indentation,
to enable the "make syntax-check" that enforces this.
* .x-sc_TAB_in_indentation: New file.  Exceptions.
* HACKING: Document the policy, with tips on how to conform.

Convert all TABs-as-indentation to spaces.

Do it by running this command:
[exempted files are matched via .x-sc_TAB_in_indentation]

  git ls-files \
    | pcregrep -vf .x-sc_TAB_in_indentation \
    | xargs pcregrep -l '^ *\t' \
    | xargs perl -MText::Tabs -ni -le \
      '$m=/^( *\t[ \t]*)(.*)/; print $m ? expand($1) . $2 : $_'

Remove files imported via autogen.sh.

* m4/.gitignore: Ignore these files.
* m4/codeset.m4: Remove file.
* m4/gettext.m4: Likewise.
* m4/glibc2.m4: Likewise.
* m4/glibc21.m4: Likewise.
* m4/iconv.m4: Likewise.
* m4/intdiv0.m4: Likewise.
* m4/intl.m4: Likewise.
* m4/intldir.m4: Likewise.
* m4/intlmacosx.m4: Likewise.
* m4/intltool.m4: Likewise.
* m4/inttypes-pri.m4: Likewise.
* m4/inttypes.m4: Likewise.
* m4/inttypes_h.m4: Likewise.
* m4/isc-posix.m4: Likewise.
* m4/lcmessage.m4: Likewise.
* m4/lib-ld.m4: Likewise.
* m4/lib-link.m4: Likewise.
* m4/lib-prefix.m4: Likewise.
* m4/lock.m4: Likewise.
* m4/longdouble.m4: Likewise.
* m4/longlong.m4: Likewise.
* m4/nls.m4: Likewise.
* m4/po.m4: Likewise.
* m4/printf-posix.m4: Likewise.
* m4/progtest.m4: Likewise.
* m4/signed.m4: Likewise.
* m4/size_max.m4: Likewise.
* m4/stdint_h.m4: Likewise.
* m4/uintmax_t.m4: Likewise.
* m4/ulonglong.m4: Likewise.
* m4/visibility.m4: Likewise.
* m4/wchar_t.m4: Likewise.
* m4/wint_t.m4: Likewise.
* m4/xsize.m4: Likewise.

allow use of #if HAVE_CONFIG_H, for example code

* .x-sc_prohibit_have_config_h: New file, to exempt examples.

guestfs: fix typo in my recent change

* src/guestfs.c (guestfs_perrorf): Rename former err to errnum,
to avoid compilation error.

Guard #inclusion of config.h in examples.

* examples/hello.c [HAVE_CONFIG_H]: Include <config.h> conditionally.
* examples/to-xml.c: Likewise.

build: reenable "syntax-check" rule: sc_const_long_option

* cfg.mk (disable_temporarily): Remove sc_const_long_option.
* daemon/guestfsd.c (main): Declare long_options to be "const".
* fish/fish.c (main): Likewise.
* test-tool/test-tool.c (main): Likewise.

build: temporarily disable failing "syntax-check" rules

* cfg.mk (disable_temporarily): Define.

maint: use a git submodule for gnulib

* .gitmodules: New file, to track gnulib.
* .gnulib: Submodule directory.
* Makefile.am (EXTRA_DIST): Don't list config.rpath or
gitlog-to-changelog.
* autogen.sh: Adapt to use the new submodule.
* cfg.mk: New file.
(SUBDIRS): Add gnulib/lib and gnulib/tests.
(dist-hook): Reflect new location of getlog-to-changelog.
* configure.ac: Set build-aux/ as AUX_DIR.
Invoke gl_EARLY and gl_INIT.
(AC_CONFIG_FILES): Add gnulib/lib/Makefile and gnulib/tests/Makefile.

always include <config.h>

* ocaml/guestfs_c.c: Include <config.h>.
* examples/to-xml.c: Likewise.
* examples/hello.c: Likewise.

build: add -I option to get config.h.

* ocaml/Makefile.am (AM_CPPFLAGS): Define.
(guestfs_c.o, guestfs_c_actions.o): Use it.

guestfs: don't fault upon failed vasprintf

* src/guestfs.c (guestfs_perrorf): Handle failed vasprintf.

Cleanup whitespace warnings in Lib.pm

Use grub entries to find Linux kernels

This change adds grub parsing to Lib.pm. It adds the following structure to $os:
  {boot}
  ->{configs}
    ->[0]
      ->{title}   = "Fedora (2.6.29.6-213.fc11.i686.PAE)"
      ->{kernel}  = \kernel
      ->{cmdline} = "ro root=/dev/mapper/vg_mbooth-lv_root rhgb"
      ->{initrd}  = \initrd
  ->{default} = 0

The kernel and initrd entries are just references to their top level entries
under kernels and initrd_modules respectively.

It also changes the way Linux kernels and initrd are discovered. Instead of
searching /lib/modules and /boot for files with matching names, kernels and
initrds are scanned as they are discovered in grub.conf.

Additionally, the following attributes are added to the kernels top level entry:
* path
    The path to the kernel's vmlinuz file.
* package
    The name of the package which installed the kernel.

The xml output of virt-inspector is updated to reflect all of the above changes.

guestfish: Display RStructList results more pleasantly.

Add interface to Linux 'inotify' API.

lib: Add selinux=0 to default kernel command line.

SELinux exists in a very disturbed state if it is enabled at
boot time, but no policy is loaded.  In particular, it messes
up the security.selinux extended attributes on files in a
not-very-useful way.

We can't enable SELinux because we don't know what policy
can or should be loaded.  Therefore it's best to disable it
completely.

Update incorrect comment in Lib.pm

Related: change the name of the function the comment describes to be more
accurate.

Improve warnings about missing tests.

Don't warn where a command just has no tests.

Instead check other commands' tests so we get a definitive
(and much smaller) list of commands that are not tested anywhere.

New commands: swapon-*, swapoff-*, mkswap-file.

swapon-device
swapoff-device
swapon-file
swapoff-file
swapon-label
swapoff-label
swapon-uuid
swapoff-uuid
mkswap-file

New command: 'fallocate' to (pre-)allocate sized files.

New commands: 'ln', 'ln-f', 'ln-s', 'ln-sf' and 'readlink'.

These commands can be used to make hard and symbolic links.  The
readlink command is used to read existing symbolic links.

Add 'realpath' command.

Ignore failure of 'mv' commands in appliance Makefile.

A lot of people report these as 'errors' when they are not.
Hide the error messages.

configure.ac: more quoting

Also, prohibit an invalid value of $JAVA_HOME,
since it must be used unquoted below.

build: If guestfwd test fails, need to print AC_MSG_RESULT 'no'

build: fix test for --nocompress option

Richard W.M. Jones wrote:
> On Wed, Jul 29, 2009 at 10:50:44PM +0200, Jim Meyering wrote:
>> The test for febootstrap-to-initramfs' --nocompress option
>> was always failing for me on F11.  Here's why:
> [...]
>
> Ouch that's obscure.  I've applied this patch and the previous
> one you sent too.  Thanks!

Our messages crossed.
Rebasing my fixed patch and adjusting the log:

>From 9e7846da50ceeee57187f703835bd3975e789719 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Wed, 29 Jul 2009 16:33:02 -0400
Subject: [PATCH] build: quote the other option test similarly

* configure.ac: Quote properly.

build: fix test for --nocompress option

The test for febootstrap-to-initramfs' --nocompress option
was always failing for me on F11.  Here's why:

  $ bash                               ~/w/co/libguestfs:210-comment-fix
  $ t=`febootstrap-to-initramfs 2>&1`
  [Exit 1]
  $ if ! echo $t|grep -sq -- --nocompress; then echo not found; fi
  not found

Notice: without quotes, the [--nocompress] term expands to "k",
because I happen to have a temporary file named "k":

  $ echo $t
  Usage: febootstrap-to-initramfs [--files=filelist] k DIR Please read
  febootstrap-to-initramfs(8) man page for more information.
  $ echo "$t"
  Usage: febootstrap-to-initramfs [--files=filelist] [--nocompress] DIR
  Please read febootstrap-to-initramfs(8) man page for more information.

a simpler example gives a clue:

  $ touch a b c
  $ echo [--z]
  a b c
  $ echo [--a]
  a
  $ echo [--b]
  a b

it's interpreting [--nocompress] as a range: "-" through "n", plus
the other characters, ocmpres.  "k" falls in the --n range.

Anyhow, here's the fix:

>From 84855642ed41828d01d55123cfab8d8dede759c1 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Wed, 29 Jul 2009 16:33:02 -0400
Subject: [PATCH] build: fix test for --nocompress option

* configure.ac: Fix underquoting bug that would cause the test
for febootstrap-to-initramfs' --nocompress option always to fail
with certain-letter-named files in the top directory.

fix comments; move declarations

* daemon/devsparts.c (do_list_devices, do_list_partitions):
Remove stray words in comments.
Move declarations down to definition.

Whitespace and comment changes.

df: Fix alignment of columns.

guestfish: Make more strings translatable.

However this doesn't yet attempt to translate the POD
command documentation.  We need a plan to do that.

tests: Use squashfs for static data where possible.

Instead of creating a new InitBasicFS for just about every test,
where a test doesn't need to write to the filesystem it is far
faster to use prepared data on an InitSquashFS instead.

This commit changes as many tests as possible to make this so,
making the tests much faster.

tests: Fix read_file test.

The test ignored the fact that this function returns a (char *, size_t)
pair, and just treated the char * as a string.  This of course would
fail if the string didn't happen to be nul-terminated.

The tests are updated to add a new TestOutputBuffer type which should
be used with functions that return RBufferOut.

Implement '*grep*' family of commands.

Updated Polish translations (Piotr Drąg).

Version 1.0.65.

Updated PO files.

build: avoid locale-specific changes in generated, VC'd file

When I build with LC_ALL=C in my environment,
the all-local rule generates po/POTFILES.in that
is sorted differently from the on that is checked in:

    diff --git a/po/POTFILES.in b/po/POTFILES.in
    index ca01b3d..154915a 100644
    --- a/po/POTFILES.in
    +++ b/po/POTFILES.in
    @@ -63,12 +63,11 @@ fish/tilde.c
     fish/time.c
     inspector/virt-inspector.pl
     java/com_redhat_et_libguestfs_GuestFS.c
    -ocaml/guestfs_c_actions.c
     ocaml/guestfs_c.c
    +ocaml/guestfs_c_actions.c
     perl/bindtests.pl
    -perl/Guestfs.c
    -perl/lib/Sys/Guestfs/Lib.pm
     perl/lib/Sys/Guestfs.pm
    +perl/lib/Sys/Guestfs/Lib.pm
     python/guestfs-py.c
     ruby/ext/guestfs/_guestfs.c
     src/guestfs-actions.c

If we generate that file so that sort always uses the C locale, then,
this type of difference will not arise.  Here's the patch to fix the
rule as well as to reflect the change in the generated file:

>From 609e1d1840da25614a7c9e8954e5356050c9f2ad Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Wed, 29 Jul 2009 08:13:35 -0400
Subject: [PATCH] build: avoid locale-specific changes in generated, VC'd file

* Makefile.am (all-local): Use LC_ALL=C to sort in C locale.
* po/POTFILES.in: Regenerate.

On RHEL 5, 'file' command prints 'AMD x86-64' for 'x86-64' arch.

Run cpio with --quiet option so it doesn't print 'xx blocks'

Lib.pm: Skip tests if perl-libintl module is not available.

Lib.pm: Use Perl backtick instead of slurp (Aron Griffis).

Don't show empty CD devices (RHBZ#514505).

ocaml: Rebuild the tests from source if the main library changes.

inspector: Determine guest architecture.

This commit adds kernel and userspace architecture detection
(fully for Linux, partially for Windows).  It adds an architecture
for each kernel detected, and an architecture for each root (ie.
userspace) found.

Lib.pm: Add file_architecture command.

This command detects the architecture of some types of binaries,
libraries, kernel modules and initrd images.

Lib: Document the $ro parameter for mount_operating_system properly.

Mention related tools in the manual page.

Whitespace: indent some names in images/Makefile.am correctly.

Lib.pm: Use 'file' as replacement for 'zfile'.

Pass '-z' parameter to 'file' command so it looks inside compressed files.

Also we deprecate the old 'zfile' command.

Add DeprecatedBy flag to mark functions which are deprecated.

Need to declare asprintf_nowarn as inline to avoid gcc complaining.

Replace shell_quote function with %Q and %R printf specifiers.

%Q => simple shell quoted string
%R => path will be prefixed by /sysroot

eg. snprintf (cmd, sizeof cmd, "cat %R", path); system (cmd);

Add InitSquashFS test type, for tests that just use the squashfs (/dev/sdd).

This also speeds up those tests because we don't have to wait
to create a filesystem which is never used.

Make read-only optional in mount_operating_system()

More ideas on a quick Perl one-liner syntax for TODO file.

guestfish -iv should print virt-inspector command (for debugging).

Reformat the TODO file.

Pass cgroup_disable=memory, saves ~ 5MB of RAM.

get_append call can return NULL, but bindings didn't handle it.

It's not a good idea because there is no way to return an error
indication.  However at least this means it won't segfault.

RHEL 5 thinks squashfs is HFS+ filesystem, unless we specify the type explicitly.

Remove hard-coded qemu-kvm, replace with $QEMU.

Version 1.0.63

Add libguestfs-test-tool.

This is an end-user testing tool, designed to test basic functionality
of libguestfs/qemu/kernel combination on the end-user's final host
machine.

It does not perform a thorough test, but should be enough to find
most booting issues.

Also this is intended to be used when reporting bugs.

Fix typo in error message.

Revert "Add 'set-kernel'/'get-kernel'/LIBGUESTFS_KERNEL to override appliance kernel."

This reverts commit 34d2df41626f1ee4172a6d40b06d72d6ed9d6348.

set-append and set-kernel parameters are both nullable.

(So are the return values, but leave that bug for another day).

Add 'set-kernel'/'get-kernel'/LIBGUESTFS_KERNEL to override appliance kernel.

This allows you to override the appliance kernel with an easy
command or environment variable.

Todo: Suggestion for 'replace' command.

Add commented-out support for alternate guestfwd syntax.

This commit just moves code around.  The new support is not enabled
because it doesn't work.  See qemu-devel, subject
"guestfwd option doesn't allow supplementary ,server,nowait"

configure: Detect new-style guestfwd support (RHBZ#512957)

However new qemu 0.10.5 still doesn't work.

Library: Pass more options on the Linux kernel command line.

Always pass:
  noapic             (APIC causes problems for lots of people)
  udevtimeout=300    (for very slow qemu using softemu)
  acpi=off           (ACPI is troublesome and unnecessary, so turn it off)

Split $os->{version} into $os->{major_version} and $os->{minor_version}

Allow TMPDIR to override directory used for temporary files (RHBZ#512905).

Generator: Implement RBufferOut and "read-file" call.

This commit implements the RBufferOut type for returning
arbitrary 8 bit data from calls.

We also implement the guestfs_read_file call to read a
whole file that can contain any 8 bit content, but up to
a limit of ~ 2 MB.