README

   1 Libguestfs is a library for accessing and modifying guest disk images.
   2 Amongst the things this is good for: making batch configuration
   3 changes to guests, getting disk used/free statistics (see also:
   4 virt-df), migrating between virtualization systems (see also:
   5 virt-p2v), performing partial backups, performing partial guest
   6 clones, cloning guests and changing registry/UUID/hostname info, and
   7 much else besides.
   8
   9 Libguestfs uses Linux kernel and qemu code, and can access any type of
  10 guest filesystem that Linux and qemu can, including but not limited
  11 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
  12 schemes, qcow, qcow2, vmdk.
  13
  14 Libguestfs provides ways to enumerate guest storage (eg. partitions,
  15 LVs, what filesystem is in each LV, etc.).  It can also run commands
  16 in the context of the guest.  Also you can access filesystems over
  17 FUSE.
  18
  19 Libguestfs is a library that can be linked with C and C++ management
  20 programs (or management programs written in OCaml, Perl, Python, Ruby,
  21 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
  22 command line.
  23
  24 Libguestfs was written by Richard W.M. Jones (rjones@redhat.com) and
  25 hacked on by lots of other people.  For discussion, development,
  26 patches, etc. please use the mailing list:
  27
  28   http://www.redhat.com/mailman/listinfo/libguestfs
  29
  30
  31 Home page
  32 ----------------------------------------------------------------------
  33
  34   http://libguestfs.org/
  35
  36
  37 Requirements
  38 ----------------------------------------------------------------------
  39
  40 - recent QEMU >= 0.12 with virtio-serial support
  41
  42 - febootstrap >= 2.10
  43
  44 - fakeroot
  45
  46 - fakechroot >= 2.9
  47
  48 - XDR, rpcgen (on Linux these are provided by glibc)
  49
  50 - pcre (Perl Compatible Regular Expressions C library) (optional)
  51
  52 - libmagic (the library that corresponds to the 'file' command) (optional)
  53
  54 - libvirt (optional)
  55
  56 - libxml2 (optional)
  57
  58 - Augeas (http://augeas.net/) (optional)
  59
  60 - gperf
  61
  62 - squashfs-tools (mksquashfs only)
  63
  64 - genisoimage / mkisofs
  65
  66 - hivex >= 1.2.1 (http://libguestfs.org/download)
  67
  68 - (Optional) Berkeley DB 'db_dump' and 'db_load' utilities
  69   (db4-utils or db4.X-util or similar)
  70
  71 - (Optional) FUSE to build the FUSE module
  72
  73 - perldoc (pod2man, pod2text, pod2html) to generate the manual pages
  74   and other documentation.
  75
  76 - (Optional) Readline to have nicer command-line editing in guestfish.
  77
  78 - (Optional) xmllint to validate virt-inspector RELAX NG schema
  79
  80 - (Optional) OCaml if you want to rebuild the generated files, and
  81   also to build the OCaml bindings
  82
  83 - (Optional) local Fedora mirror
  84
  85 - (Optional) Perl if you want to build the perl bindings
  86
  87 - (Optional) Python if you want to build the python bindings
  88
  89 - (Optional) Ruby, rake if you want to build the ruby bindings
  90
  91 - (Optional) Java, JNI, jpackage-utils if you want to build the java
  92 bindings
  93
  94 - (Optional) GHC if you want to build the Haskell bindings
  95
  96 - (Optional) Perl Sys::Virt module.
  97
  98 - (Optional) Perl Win::Hivex module.
  99
 100 - (Optional) Perl Pod::Usage module.
 101
 102 - (Optional) Perl Test::More module (from perl Test::Simple).
 103
 104 - (Optional) Perl String::ShellQuote module.
 105
 106 - (Optional, but highly recommended) perl-libintl for translating perl code.
 107
 108 - (Optional) po4a for translating manpages and POD files.
 109
 110 - (Optional) PHP, phpize if you want to build the PHP bindings
 111
 112 Running ./configure will check you have all the requirements installed
 113 on your machine.
 114
 115
 116 Building
 117 ----------------------------------------------------------------------
 118
 119 Then make the daemon, library and root filesystem:
 120
 121   ./configure [--with-mirror=URI]
 122   make
 123
 124 Use the optional --with-mirror parameter to specify the URI of a local
 125 Fedora mirror.  See the discussion of the MIRROR parameter in the
 126 febootstrap(8) manpage.
 127
 128 Finally run the tests:
 129
 130   make check
 131
 132 If everything works, you can install the library and tools by running
 133 this command as root:
 134
 135   make install
 136
 137
 138 Fedora
 139 ----------------------------------------------------------------------
 140
 141 We provide packages for Fedora >= 11 in Fedora.  Use those, or build
 142 from our source RPMs - it's far simpler that way.
 143
 144 You can compile libguestfs on Fedora 10 but you cannot use it with the
 145 version of qemu in Fedora 10.  You need to compile your own qemu, see
 146 section 'qemu' below.
 147
 148
 149 RHEL / EPEL / CentOS etc
 150 ----------------------------------------------------------------------
 151
 152 We provide packages in EPEL which cover RHEL/CentOS >= 5.  Use those
 153 or build from our source RPMs.
 154
 155
 156 Debian
 157 ----------------------------------------------------------------------
 158
 159 libguestfs is now built as a package in Debian by Guido Gunther and
 160 the other Debian libvirt maintainers.  See:
 161
 162 http://wiki.debian.org/Teams/DebianLibvirtTeam#Packages
 163
 164 You can build for Debian in two different ways, either building a
 165 Fedora-based appliance using febootstrap, yum, rpm, fakeroot,
 166 fakechroot (all packaged in Debian).  However the recommended way is
 167 to build a Debian-based appliance using debootstrap and debirf.
 168
 169 Both ways are supported by the configure script.
 170
 171
 172 qemu
 173 ----------------------------------------------------------------------
 174
 175 By far the most common problem is with broken or incompatible
 176 qemu releases.
 177
 178 Different versions of qemu have problems booting the appliance for
 179 different reasons.  This varies between versions of qemu, and Linux
 180 distributions which add their own patches.
 181
 182 If you find a problem, you could try using your own qemu built from
 183 source (qemu is very easy to build from source), with a 'qemu
 184 wrapper'.  Qemu wrappers are described in the guestfs(3) manpage.
 185
 186
 187 Note on using KVM
 188 ----------------------------------------------------------------------
 189
 190 By default the configure script will look for qemu-kvm (KVM support).
 191 You will need a reasonably recent processor for this to work.  KVM is
 192 much faster than using plain Qemu.
 193
 194 You may also need to enable KVM support for non-root users, by following
 195 these instructions:
 196
 197   http://www.linux-kvm.org/page/FAQ#How_can_I_use_kvm_with_a_non-privileged_user.3F
 198
 199 On some systems, this will work too:
 200
 201   chmod o+rw /dev/kvm
 202
 203 On some systems, the chmod will not survive a reboot, and you will
 204 need to make edits to the udev configuration.
 205
 206
 207 vmchannel
 208 ----------------------------------------------------------------------
 209
 210 Previous versions of libguestfs required something called "vmchannel".
 211 Vmchannel is a special device given to virtual machines which allows
 212 them to communicate in some way with the host, often (but not always)
 213 without using a traditional network device.  In reality, there is no
 214 one thing called "vmchannel".  This idea has been reimplemented
 215 several times under the name vmchannel, and other hypervisors have
 216 their own incompatible implementation(s) too.
 217
 218 In libguestfs <= 1.0.71, we required a specific vmchannel which is
 219 properly known as "guestfwd" and has been upstream in qemu since here:
 220
 221   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
 222
 223 In libguestfs >= 1.0.71 we don't require any vmchannel implementation,
 224 as long as qemu has been compiled with support for SLIRP (user mode
 225 networking, or "-net user"), which is almost always the case.
 226
 227 In libguestfs >= 1.5.4 we switched again to using qemu's virtio-serial
 228 and removed all the other vmchannels and the SLIRP channel.
 229
 230
 231 Supermin appliance
 232 ----------------------------------------------------------------------
 233
 234 If you configure with --enable-supermin then we will build a supermin
 235 appliance (supermin = super-minimized).  This is a very specialized
 236 appliance which is built on-the-fly at runtime (specifically, when you
 237 call guestfs_launch).
 238
 239 The normal appliance is a self-contained Linux operating system, based
 240 on the Fedora/RHEL/CentOS Linux distro.  So it contains a complete
 241 copy of all the libraries and programs needed, like kernel, libc,
 242 bash, coreutils etc etc.
 243
 244 The supermin appliance removes the kernel and all the executable
 245 libraries and programs from the appliance.  That just leaves a
 246 skeleton of config files and some data files, which is obviously
 247 massively smaller than the normal appliance.  At runtime we rebuild
 248 the appliance on-the-fly from the libraries and programs on the host
 249 (eg. pulling in the real /lib/libc.so, the real /bin/bash etc.)
 250
 251 Although this process of rebuilding the appliance each time sounds
 252 slow, it turns out to be faster than using the prebuilt appliance.
 253 (Most of the saving comes from not compressing the appliance - it
 254 transpires that decompressing the appliance is the slowest part of the
 255 whole boot sequence).  On my machine, a new appliance can be built in
 256 under a fifth of a second, and the boot time is several seconds
 257 shorter.
 258
 259 The big advantage of the supermin appliance for distributions like
 260 Fedora is that it gets security fixes automatically from the host, so
 261 there is no need to rebuild the whole of libguestfs for a security
 262 update in some underlying library.
 263
 264 There are several DISADVANTAGES:
 265
 266 It won't work at all except in very narrow, controlled cases like the
 267 Fedora packaging case.  We control the dependencies of the libguestfs
 268 RPM tightly to ensure that the required binaries are actually present
 269 on the host.
 270
 271 Furthermore there are certain unlikely changes in the packages on the
 272 host which could break a supermin appliance, eg. an updated library
 273 which depends on an additional data file.
 274
 275 Also supermin appliances are subjected to changes in the host kernel
 276 which might break compatibility with qemu -- these are, of course,
 277 real bugs in any case.
 278
 279 Lastly, supermin appliances really can't be moved between branches of
 280 distributions (eg. built on Fedora 12 and moved to Fedora 10) because
 281 they are not self-contained and they rely on certain libraries being
 282 around.  You shouldn't do this anyway.
 283
 284 Use supermin appliances with caution.
 285
 286
 287 Notes on cross-architecture support
 288 ----------------------------------------------------------------------
 289
 290 At the moment we basically don't support cross-architecture or
 291 32-on-64.  This limits what is possible for some guests.  Filesystem
 292 operations and FUSE will work fine, but running commands in guests may
 293 not be possible.
 294
 295 To enable this requires work for cross-architecture and 32-on-64
 296 support in febootstrap, fakeroot and fakechroot.
 297
 298 The daemon/ directory contains its own configure script.  This is so
 299 that in future we will be able to cross-compile the daemon.
 300
 301
 302 Mirroring tip
 303 ----------------------------------------------------------------------
 304
 305 On my machines I can usually rebuild the appliance in around 3
 306 minutes.  If it takes much longer for you, use a local Fedora mirror
 307 or squid.
 308
 309 To use squid to cache yum downloads, read this first:
 310 https://lists.dulug.duke.edu/pipermail/yum/2006-August/009041.html
 311 (In brief, because yum chooses random mirrors each time, squid doesn't
 312 work very well with default yum configuration.  To get around this,
 313 choose a Fedora mirror which is close to you, set this with
 314 './configure --with-mirror=[...]', and then proxy the whole lot
 315 through squid by setting http_proxy environment variable).
 316
 317 You will also need to substantially increase the squid configuration
 318 limits:
 319 http://fedoraproject.org/wiki/Using_Mock_to_test_package_builds#Using_Squid_to_Speed_Up_Mock_package_downloads
 320
 321
 322 Porting to other Linux distros / non-Linux
 323 ----------------------------------------------------------------------
 324
 325 libguestfs itself should be fairly portable to other Linux
 326 distributions.  Non-Linux ports are trickier, but we will accept
 327 patches if they aren't too invasive.
 328
 329 The main porting issues are with the dependencies needed to build the
 330 appliance.  You will need to find or port the following packages
 331 first:
 332
 333  - fakeroot
 334  - fakechroot
 335  - python
 336  - rpm-python    http://www.rpm.org/
 337  - yum           http://yum.baseurl.org/
 338  - febootstrap   http://people.redhat.com/~rjones/febootstrap/
 339
 340
 341 Copyright and license information
 342 ----------------------------------------------------------------------
 343
 344 Copyright (C) 2009-2010 Red Hat Inc.
 345
 346 The library is distributed under the LGPLv2+.  The programs are
 347 distributed under the GPLv2+.  Please see the files COPYING and
 348 COPYING.LIB for full license information.