README

   1 Libguestfs is a library for accessing and modifying guest disk images.
   2 Amongst the things this is good for: making batch configuration
   3 changes to guests, getting disk used/free statistics (see also:
   4 virt-df), migrating between virtualization systems (see also:
   5 virt-p2v), performing partial backups, performing partial guest
   6 clones, cloning guests and changing registry/UUID/hostname info, and
   7 much else besides.
   8
   9 Libguestfs uses Linux kernel and qemu code, and can access any type of
  10 guest filesystem that Linux and qemu can, including but not limited
  11 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
  12 schemes, qcow, qcow2, vmdk.
  13
  14 Libguestfs provides ways to enumerate guest storage (eg. partitions,
  15 LVs, what filesystem is in each LV, etc.).  It can also run commands
  16 in the context of the guest.  Also you can access filesystems over FTP.
  17
  18 Libguestfs is a library that can be linked with C and C++ management
  19 programs (or management programs written in OCaml, Perl, Python, Ruby, Java
  20 or Haskell).  You can also use it from shell scripts or the command line.
  21
  22 Libguestfs was written by Richard W.M. Jones (rjones@redhat.com) and
  23 hacked on by lots of other people.  For discussion, development,
  24 patches, etc. please use the mailing list:
  25
  26   http://www.redhat.com/mailman/listinfo/libguestfs
  27
  28
  29 Home page
  30 ----------------------------------------------------------------------
  31
  32   http://libguestfs.org/
  33
  34
  35 Requirements
  36 ----------------------------------------------------------------------
  37
  38 - recent QEMU >= 0.10 with vmchannel support
  39   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
  40
  41 - febootstrap >= 2.3
  42
  43 - fakeroot
  44
  45 - fakechroot >= 2.9
  46
  47 - XDR, rpcgen (on Linux these are provided by glibc)
  48
  49 - squashfs-tools (mksquashfs only)
  50
  51 - genisoimage / mkisofs
  52
  53 - libxml2
  54
  55 - (Optional) FUSE to build the FUSE module
  56
  57 - (Optional) Augeas (http://augeas.net/)
  58
  59 - perldoc (pod2man, pod2text) to generate the manual pages and
  60   other documentation.
  61
  62 - (Optional) Readline to have nicer command-line editing in guestfish.
  63
  64 - (Optional) 'reged' program from chntpw to decode Windows registry
  65   entries (http://home.eunet.no/~pnordahl/ntpasswd/)
  66
  67 - (Optional) xmllint to validate virt-inspector RELAX NG schema
  68
  69 - (Optional) OCaml if you want to rebuild the generated files, and
  70   also to build the OCaml bindings
  71
  72 - (Optional) OCaml xml-light, only needed if you want to rebuild the
  73   virt-inspector bindings from virt-inspector.rng.
  74
  75 - (Optional) local Fedora mirror
  76
  77 - (Optional) Perl if you want to build the perl bindings
  78
  79 - (Optional) Python if you want to build the python bindings
  80
  81 - (Optional) Ruby, rake if you want to build the ruby bindings
  82
  83 - (Optional) Java, JNI, jpackage-utils if you want to build the java
  84 bindings
  85
  86 - (Optional) GHC if you want to build the Haskell bindings
  87
  88 - (Optional) Perl XML::XPath, Sys::Virt modules (for libvirt support
  89 in virt-inspector).
  90
  91 - (Optional, but highly recommended) perl-libintl for translating perl code.
  92
  93 Running ./configure will check you have all the requirements installed
  94 on your machine.
  95
  96
  97 Building
  98 ----------------------------------------------------------------------
  99
 100 Then make the daemon, library and root filesystem:
 101
 102   ./configure [--with-mirror=URI]
 103   make
 104
 105 Use the optional --with-mirror parameter to specify the URI of a local
 106 Fedora mirror.  See the discussion of the MIRROR parameter in the
 107 febootstrap(8) manpage.
 108
 109 Finally run the tests:
 110
 111   make check
 112
 113 If everything works, you can install the library and tools by running
 114 this command as root:
 115
 116   make install
 117
 118
 119 Fedora
 120 ----------------------------------------------------------------------
 121
 122 We provide packages for Fedora >= 11 in Fedora.  Use those, or build
 123 from our source RPMs - it's far simpler that way.
 124
 125 You can compile libguestfs on Fedora 10 but you cannot use it with the
 126 version of qemu in Fedora 10.  You need to compile your own qemu, see
 127 section 'qemu' below.
 128
 129
 130 RHEL / EPEL / CentOS etc
 131 ----------------------------------------------------------------------
 132
 133 We provide packages in EPEL which cover RHEL/CentOS >= 5.  Use those
 134 or build from our source RPMs.
 135
 136
 137 Debian
 138 ----------------------------------------------------------------------
 139
 140 libguestfs is now built as a package in Debian by Guido Gunther and
 141 the other Debian libvirt maintainers.  See:
 142
 143 http://wiki.debian.org/Teams/DebianLibvirtTeam#Packages
 144
 145 You can build for Debian in two different ways, either building a
 146 Fedora-based appliance using febootstrap, yum, rpm, fakeroot,
 147 fakechroot (all packaged in Debian).  However the recommended way is
 148 to build a Debian-based appliance using debootstrap and debirf.
 149
 150 Both ways are supported by the configure script.
 151
 152
 153 qemu
 154 ----------------------------------------------------------------------
 155
 156 By far the most common problem is with broken or incompatible
 157 qemu releases.
 158
 159 Different versions of qemu have problems booting the appliance for
 160 different reasons.  This varies between versions of qemu, and Linux
 161 distributions which add their own patches.
 162
 163 If you find a problem, you could try using your own qemu built from
 164 source (qemu is very easy to build from source), with a 'qemu
 165 wrapper'.  Qemu wrappers are described in the guestfs(3) manpage.
 166
 167
 168 Note on using KVM
 169 ----------------------------------------------------------------------
 170
 171 By default the configure script will look for qemu-kvm (KVM support).
 172 You will need a reasonably recent processor for this to work.  KVM is
 173 much faster than using plain Qemu.
 174
 175 You may also need to enable KVM support for non-root users, by following
 176 these instructions:
 177
 178   http://www.linux-kvm.org/page/FAQ#How_can_I_use_kvm_with_a_non-privileged_user.3F
 179
 180 On some systems, this will work too:
 181
 182   chmod o+rw /dev/kvm
 183
 184 On some systems, the chmod will not survive a reboot, and you will
 185 need to make edits to the udev configuration.
 186
 187
 188 vmchannel
 189 ----------------------------------------------------------------------
 190
 191 Previous versions of libguestfs required something called "vmchannel".
 192 Vmchannel is a special device given to virtual machines which allows
 193 them to communicate in some way with the host, often (but not always)
 194 without using a traditional network device.  In reality, there is no
 195 one thing called "vmchannel".  This idea has been reimplemented
 196 several times under the name vmchannel, and other hypervisors have
 197 their own incompatible implementation(s) too.
 198
 199 In libguestfs <= 1.0.71, we required a specific vmchannel which is
 200 properly known as "guestfwd" and has been upstream in qemu since here:
 201
 202   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
 203
 204 In libguestfs >= 1.0.71 we don't require any vmchannel implementation,
 205 as long as qemu has been compiled with support for SLIRP (user mode
 206 networking, or "-net user"), which is almost always the case.
 207
 208 However we still offer the ability to use vmchannel, and in future we
 209 may add support for other types of qemu, which is useful in a few
 210 cases, specifically where qemu packagers decide to compile out support
 211 for SLIRP (qemu packagers: please don't do this).
 212
 213
 214 Supermin appliance
 215 ----------------------------------------------------------------------
 216
 217 If you configure with --enable-supermin then we will build a supermin
 218 appliance (supermin = super-minimized).  This is a very specialized
 219 appliance which is built on-the-fly at runtime (specifically, when you
 220 call guestfs_launch).
 221
 222 The normal appliance is a self-contained Linux operating system, based
 223 on the Fedora/RHEL/CentOS Linux distro.  So it contains a complete
 224 copy of all the libraries and programs needed, like kernel, libc,
 225 bash, coreutils etc etc.
 226
 227 The supermin appliance removes the kernel and all the executable
 228 libraries and programs from the appliance.  That just leaves a
 229 skeleton of config files and some data files, which is obviously
 230 massively smaller than the normal appliance.  At runtime we rebuild
 231 the appliance on-the-fly from the libraries and programs on the host
 232 (eg. pulling in the real /lib/libc.so, the real /bin/bash etc.)
 233
 234 Although this process of rebuilding the appliance each time sounds
 235 slow, it turns out to be faster than using the prebuilt appliance.
 236 (Most of the saving comes from not compressing the appliance - it
 237 transpires that decompressing the appliance is the slowest part of the
 238 whole boot sequence).  On my machine, a new appliance can be built in
 239 under a fifth of a second, and the boot time is several seconds
 240 shorter.
 241
 242 The big advantage of the supermin appliance for distributions like
 243 Fedora is that it gets security fixes automatically from the host, so
 244 there is no need to rebuild the whole of libguestfs for a security
 245 update in some underlying library.
 246
 247 There are several DISADVANTAGES:
 248
 249 It won't work at all except in very narrow, controlled cases like the
 250 Fedora packaging case.  We control the dependencies of the libguestfs
 251 RPM tightly to ensure that the required binaries are actually present
 252 on the host.
 253
 254 Furthermore there are certain unlikely changes in the packages on the
 255 host which could break a supermin appliance, eg. an updated library
 256 which depends on an additional data file.
 257
 258 Also supermin appliances are subjected to changes in the host kernel
 259 which might break compatibility with qemu -- these are, of course,
 260 real bugs in any case.
 261
 262 Lastly, supermin appliances really can't be moved between branches of
 263 distributions (eg. built on Fedora 12 and moved to Fedora 10) because
 264 they are not self-contained and they rely on certain libraries being
 265 around.  You shouldn't do this anyway.
 266
 267 Use supermin appliances with caution.
 268
 269
 270 Notes on cross-architecture support
 271 ----------------------------------------------------------------------
 272
 273 At the moment we basically don't support cross-architecture or
 274 32-on-64.  This limits what is possible for some guests.  Filesystem
 275 operations and FTP export will work fine, but running commands in
 276 guests may not be possible.
 277
 278 To enable this requires work for cross-architecture and 32-on-64
 279 support in febootstrap, fakeroot and fakechroot.
 280
 281 The daemon/ directory contains its own configure script.  This is so
 282 that in future we will be able to cross-compile the daemon.
 283
 284
 285 Mirroring tip
 286 ----------------------------------------------------------------------
 287
 288 On my machines I can usually rebuild the appliance in around 3
 289 minutes.  If it takes much longer for you, use a local Fedora mirror
 290 or squid.
 291
 292 To use squid to cache yum downloads, read this first:
 293 https://lists.dulug.duke.edu/pipermail/yum/2006-August/009041.html
 294 (In brief, because yum chooses random mirrors each time, squid doesn't
 295 work very well with default yum configuration.  To get around this,
 296 choose a Fedora mirror which is close to you, set this with
 297 './configure --with-mirror=[...]', and then proxy the whole lot
 298 through squid by setting http_proxy environment variable).
 299
 300 You will also need to substantially increase the squid configuration
 301 limits:
 302 http://fedoraproject.org/wiki/Using_Mock_to_test_package_builds#Using_Squid_to_Speed_Up_Mock_package_downloads
 303
 304
 305 Porting to other Linux distros / non-Linux
 306 ----------------------------------------------------------------------
 307
 308 libguestfs itself should be fairly portable to other Linux
 309 distributions.  Non-Linux ports are trickier, but we will accept
 310 patches if they aren't too invasive.
 311
 312 The main porting issues are with the dependencies needed to build the
 313 appliance.  You will need to find or port the following packages
 314 first:
 315
 316  - fakeroot
 317  - fakechroot
 318  - python
 319  - rpm-python    http://www.rpm.org/
 320  - yum           http://yum.baseurl.org/
 321  - febootstrap   http://et.redhat.com/~rjones/febootstrap/
 322
 323
 324 Copyright and license information
 325 ----------------------------------------------------------------------
 326
 327 Copyright (C) 2009 Red Hat Inc.
 328
 329 The library is distributed under the LGPLv2+.  The programs are
 330 distributed under the GPLv2+.  Please see the files COPYING and
 331 COPYING.LIB for full license information.