hivex: A few tweaks to enable building in a separate directory

A couple of fixes by RWMJ so it still works in the same directory case.

Correct 32-bit to 64-bit call

perl: Fix CCFLAGS on Perl 5.14.

A change to ExtUtils::CBuilder in Perl 5.14 causes CCFLAGS to
completely replace, rather than appending, the C flags.

The unfortunate consequence of this is that vital flags such as
-D_FILE_OFFSET_BITS=64 are missing.  For 32 bit code, this means you
get binary-incompatible code that completely fails to load.

For further analysis see:

http://www.nntp.perl.org/group/perl.perl5.porters/2011/04/msg171535.html

This commit changes CCFLAGS so that it appends to the existing
$Config{ccflags} instead of replacing it.  On earlier versions of Perl
this means we get two copies of the flags, which is unfortunate but
should be safe.

Also, ignore MYMETA.yml file produced by Perl 5.14.

Close the file descriptor along the writable path.

Since the file has been completely read into memory, there is no
reason to keep the file descriptor open.

Sort m4/.gitignore file.

maint: add cfg.mk to prepare for syntax-check tests

* cfg.mk: New file, to tell maint.mk which syntax-checks to skip
for now, where .gnulib/ is, to exempt images/minimal from
one of the tests and to exempt sh/hivexsh\.pod from another.
Also exempt lib/gettext.h from sc_useless_cpp_parens.

maint: remove rule that generated po/POTFILES.in

* Makefile.am (all-local): Remove rule.  It would put many
files in po/POTFILES.in that contain no translatable diagnostic.

build: update gnulib submodule to latest

maint: remove spaces before TAB

* perl/typemap: Remove spaces-before-TAB.

maint: avoid using test's -a and -o operators; they are not portable

* configure.ac: use "test C1 && test C2", not "test C1 -a C2";
* autogen.sh: Likewise.
* sh/hivexget: Use "test C1 || test C2", not "test C1 -o C2"

maint: use "test x = x", not "test x == x"

* autogen.sh: Using "test x = x" is more portable.

maint: remove trailing blanks

maint: remove now-unnecessary #ifdef HAVE_BYTESWAP_H guard

* lib/byte_conversions.h: Remove #ifdef HAVE_BYTESWAP_H guard.
With gnulib, we're guaranteed to have that header file.
* bootstrap (modules): Use the byteswap module.

maint: remove definition of O_CLOEXEC, ...

now that we're using gnulib's fcntl module, which ensures
that we use a conforming <fcntl.h>.
* lib/hivex.c (O_CLOEXEC): Remove definition.
* bootstrap (modules): Add fcntl for its guaranteed definition
of O_CLOEXEC.

maint: normalize to exactly one newline at EOF

* .tx/config: Remove trailing empty line.
* images/Makefile.am: Likewise.
* sh/example1: Add newline at EOF.
* sh/example2: Likewise.
* sh/example3: Likewise.
* sh/example4: Likewise.
* sh/example5: Likewise.

maint: update po/POTFILES.in

* po/POTFILES.in: Reduce list of files with translatable messages
to match reality.

maint: remove definitions of PRId64 and PRIu64, ...

now that we're using gnulib's inttypes module, which ensures
that we use a conforming <inttypes.h>.
* bootstrap (modules): Add inttypes.
* generator/generator.ml (generate_perl_xs) [PRId64, PRIu64]:
Don't define these symbols.  Instead, ...
Include <inttypes.h>.

maint: remove unnecessary test-before-free

* lib/hivex.c (hivex_node_set_value): Remove unnecessary
test-before-free.

ocaml: Really fix 'make install' rule.

This fixes commit b8ad15031cacf910634b4f4f4632232949c4acd2
and commit f408b757b1d75429fae5fa7630a4fc5451844de7.

ocaml: Set package name when installing native bindings.

This fixes commit b8ad15031cacf910634b4f4f4632232949c4acd2.

Version 1.2.7.

Update gnulib to latest version.

hivexregedit: Add --unsafe-printable-strings option.

hivex_root: Return errno == HIVEX_NO_KEY when root key is missing.

Previously we returned errno == ENOKEY.  However this was an
unfortunate choice of error code since it is not defined in POSIX.  As
a result it is missing on several platforms.

HIVEX_NO_KEY is defined as ENOKEY on platforms where this symbol
exists (thus maintaining backwards ABI compatibility), and defined as
another POSIX error code otherwise.

hivex: Fix install target for systems without native OCaml compiler

,----
| ocamlfind install \
|           -ldconf ignore -destdir /build/buildd-hivex_1.2.6-1-ia64-iqcb38/hivex-1.2.6/debian/tmp/usr/lib/ocaml \
|           hivex \
|           META *.so *.a *.cma *.cmx *.cmxa *.cmi *.mli
| Installed /build/buildd-hivex_1.2.6-1-ia64-iqcb38/hivex-1.2.6/debian/tmp/usr/lib/ocaml/hivex/hivex.mli
| Installed /build/buildd-hivex_1.2.6-1-ia64-iqcb38/hivex-1.2.6/debian/tmp/usr/lib/ocaml/hivex/hivex.cmi
| ocamlfind: *.cmxa: No such file or directory
| make[4]: *** [install-data-hook] Error 2
`----

hivex: Remove python bytecode on "make clean"

ocaml: Use libtool to get correct library to build OCaml tests.

See this thread:
https://www.redhat.com/archives/libguestfs/2011-May/thread.html#00015

Thanks to Hilko Bengen and Török Edwin for coming up with this fix.

Version 1.2.6.

build: Workaround broken libtool.

Same as this error:
https://www.redhat.com/archives/libguestfs/2011-April/msg00042.html
https://www.redhat.com/archives/libguestfs/2011-May/msg00041.html

We don't know why latest libtool is so obviously broken, but this
works around the problem.

bootstrap: Force gnulib-tool --libtool option.

This forces the recent gnulib to generate a libgnu.la file.  Otherwise
it appears to default to --no-libtool which doesn't generate one.

configure: AC_PROG_LIBTOOL -> AM_PROG_LIBTOOL.

Unclear if this makes any difference.

Update gnulib.

hivex: Fix for endianess bug.

* Richard W.M. Jones:
> > Both size_t and int are 32 bit values.  An endianess issue, maybe?
> I guess it might be.  We're supposed to be doing le32toh / be32toh
> everywhere as appropriate, but we might be missing one.  The code is
> mainly tested on little endian arches.

Found it.

Now "make check" completes successfully on Sparc and PowerPC.

hivex: check for presence of OCaml native compiler

Only compile bytecode otherwise, avoiding ocamlfind's helpful error
message "ocamlfind: Not supported in your configuration: ocamlopt"

(Successfully tested on Debian/unstable on alpha)

hivex: Use OCaml bytecode compiler for caml_raise_with_args check

On installations where no native OCaml compiler is available, the
test program can't be compiled and so we get this message:

,----
| checking for function caml_raise_with_args... not found
`----

This breaks building of the OCaml bindings.

,----
| gcc -std=gnu99 -I.. -I/usr/lib/ocaml -I../ocaml -I../lib   -g -O2 -fPIC -Wall -c hivex_c.c
| hivex_c.c:52: error: static declaration of 'caml_raise_with_args' follows non-static declaration
| /usr/lib/ocaml/caml/fail.h:30: note: previous declaration of 'caml_raise_with_args' was here
| make[2]: *** [hivex_c.o] Error 1
`----

(Successfully tested on Debian/unstable on alpha)

configure: Use Python platform-dependent site-packages.

This updates commit b808c875a34e62fcdf360534f923d6030590ff44.

Use Python's distutils to determine include and site-packages directories.

The code has been taken from specifically ac_python_devel.m4 published
at <http://ac-archive.sf.net/>, it has turned out to be less
error-prone on my Debian system.

Don't rely on OCaml native compiler for tests

This should make it possible to build useful OCaml bindings on
architectures other than i386 and amd64 (Debian bug #589809).

Include generator in the tarball.

hivex/python fix for i386 integer size issue

Hi,

While working on Debian packages of hivex 1.2.5, I came across a test
failure for the Python bindings with Python 2.7 on the i386
architecture. (The tests ran fine on amd64.)

,----
| $ make -C python check
| make[1]: Entering directory `/home/bengen/src/deb/hivex/hivex.git/python'
| 010-import.py
| 020-open.py
| 021-close.py
| 200-write.py
| python: hivex-py.c:52: get_handle: Assertion `obj' failed.
`----

I narrowed this down to hivex-py.c:py_hivex_node_add_child():

The call

,----
| PyArg_ParseTuple (args, (char *) "OLs:hivex_node_add_child",
|                         &py_h, &parent, &name)
`----

results in `py_h' set to NULL, though Python's documentation claims that
this cannot happen. I think this happens because `parent' is declared a
`long int', but "L" in the format string corresponds to a `long long'.
On amd64, they have the same size, but on i386 they don't, so the
PyObject pointer is written to the wrong address.

Please consider applying the patch below which just changes the format
string. After regenerating hivex-py.c, I have successfully tested the
1.2.5 code base on both architectures.

Cheers,
-Hilko

maint: Split long lines.

* lib/hivex.c: Split lines longer than 80 columns.

Version 1.2.5.

Updated PO files.

Remove no longer used internal function utf16_string_len_in_bytes.

hivex_value_multiple_strings: Don't read uninitialized data.

If hivex_value_multiple_strings was given a value which had an odd
length or if the data in the value was unterminated,
hivex_value_multiple_strings could read uninitialized data.

Potentially (although very unlikely) this could cause a
non-exploitable segfault in the calling program.

Handle odd-length "UTF16" strings.

If the length of the buffer is not even, then this would read a byte
of uninitialized data.  Fix the length check to avoid this.

Return real length of buffer from hivex_value_value.

In real registries, often the length declared in the header does not
match the length of the block.  In this case hivex_value_value would
only allocate a value with a size which is the shorter of the two
length values, which is correct and safe.

However user code could do:

  buf = hivex_value_value (h, v, &t, &len);
  memcpy (somewhere, buf, len);

which would copy uninitialized data.

If hivex_value_value truncates a value like this, we also need to
return the shorter length to the user as well.

Really fix the case where a UTF-16 string contains junk after the string.

The previous commit b71b88f588f8660935a7d462e97b84aa2d669249 attempted
to fix this, but got the test the wrong way round so the length would
never be shorter.

Fix use-after-free in hivex_close.

Found using valgrind.

Pull translations from Transifex.

debian: Fix python test script for bash.

Import hivex into transifex.

http://www.transifex.net/projects/p/hivex/

Refresh documentation.

ocaml: Fix segfault in Hivex.value_value binding.

Version 1.2.4.

Python bindings.

Version 1.2.3.

build: Don't warn about 'long long'.

We have to allow this, even though it's a GCC extension.

This is a port of libguestfs commit 0c0976496dafda4d172c5a7fc787d6a87d5bce8d.

Add Dutch translations (RHBZ#624455).

Add debug output to hivex_close.

Don't try to process junk after a string value as UTF-16.

Thanks to Hilko Bengen for characterizing the issue and
providing an initial version of this patch.

Call iconv_close along error path out of function.

perl: Fix generated XS code for value_dword binding.

Thanks to Hilko Bengen for spotting the problem.

Add hivex_set_value API call, and ocaml and perl bindings, and tests.

hivex_value_type: Returns -1 on error.  Fix documentation.

Include a test for regimport of values containing backslash chars.

regedit: Fix documentation for CurrentControlSet (thanks Yuval Kashtan).

Version 1.2.2.

regedit: Add implicit nul-termination when importing strings.

When you import a string value like:
  "Foo"="Bar"
using Windows regedit program, implicit nul-termination is added
to the value (not the key), so what is stored in the value would
be something like:
  hex(1):42,00,61,00,72,00,00,00
where two of the trailing zero bytes come from the implicit
terminator.  This corrects the reg_import function so it works
the same way.

Remove checks for Test::Pod and Test::Pod::Coverage.

Although these modules are optionally used by the Perl tests,
they aren't necessary and won't break the build if they are not
there.  These modules aren't available in RHEL 5.  Therefore
remove these checks.

Add a linker script to limit visibility to exported symbols.

Remove explicit dependency on ncurses.

Spelling: reencode -> re-encode.

Add CLEANFILES rules.

New Russian translation (RHBZ#578347).

Update PO files.

Add maintainer rule for updating the website.

hivexml: Fix path so HTML documentation is generated correctly.

Prepare for version 1.2.1.

hivexregedit: Low-level tool for merging and export in regedit format.

Win::Hivex::Regedit module for importing and exporting regedit format files.

hivexsh: '-f' option takes an argument (found by Marko Myllynen).

Zero all new block allocations.

Make sure all new block allocations (from allocate_block)
are zeroed.  It can happen that junk from previous hive pages
can end up in new block allocations, if the hive previously
shrank.

(Thanks to Marko Myllynen for finding an example where this
happened).

Increase HIVEX_MAX_VALUES from 1000 to 10000.

I was sent a genuine Windows XP hive by Marko Myllynen which
had a key with > 1000 values attached.

Increase HIVEX_MAX_SUBKEYS to 15000.

Windows 7 registry has a hive key which contains 11908 subkeys,
larger than the existing limit (10000).  The key is:
  HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\SideBySide\Winners

hivex: Add debugging message when returning ERANGE error.

hivexsh: Fix building of HTML-format manpages.

perl: Fix $h->value_value method when returning an empty value.

Previously this didn't correctly return an empty registry
value.  In this case the length argument to newSVpv would
be 0 which tells Perl to try to calculate the length (we
want newSVpvn instead).

Fix generation of po/POTFILES.in.

Contains some obsolete code copied in from libguestfs, and we
need to exclude Perl 'blib' files.

perl: Small fix to 006-pod-coverage test.

Some code copied over from libguestfs, fixed.

perl: Fix $h->value_type and $h->value_value methods.

These were passing the type & len arguments the wrong way round
to the C function, resulting in data corruption in the returned
values.

Fix documentation for Win::Hivex->open

RHEL 5: Fixes for old version of OCaml in EPEL 5.

Prepare for version 1.2.0.

Fix hivexsh_SOURCES.

Update PO files.

Update Spanish translations (RHBZ#569178).

Update PO files.

Update Polish translations (RHBZ#502533).

NO Python bindings - ran out of time.

This commit disables parts of the build related to Python
and notes in the README that we didn't have time to finish
Python bindings.

generator: Perl bindings.

This also adds a small test suite for the Perl bindings.

generator: Clarify LGPLv2 boilerplate.

More documentation in README file.