todo: Add note about using blktrace.
[libguestfs.git] / README
1 Libguestfs is a library for accessing and modifying guest disk images.
2 Amongst the things this is good for: making batch configuration
3 changes to guests, getting disk used/free statistics (see also:
4 virt-df), migrating between virtualization systems (see also:
5 virt-p2v), performing partial backups, performing partial guest
6 clones, cloning guests and changing registry/UUID/hostname info, and
7 much else besides.
8
9 Libguestfs uses Linux kernel and qemu code, and can access any type of
10 guest filesystem that Linux and qemu can, including but not limited
11 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
12 schemes, qcow, qcow2, vmdk.
13
14 Libguestfs provides ways to enumerate guest storage (eg. partitions,
15 LVs, what filesystem is in each LV, etc.).  It can also run commands
16 in the context of the guest.  Also you can access filesystems over
17 FUSE.
18
19 Libguestfs is a library that can be linked with C and C++ management
20 programs (or management programs written in OCaml, Perl, Python, Ruby,
21 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
22 command line.
23
24 Libguestfs was written by Richard W.M. Jones (rjones@redhat.com) and
25 hacked on by lots of other people.  For discussion, development,
26 patches, etc. please use the mailing list:
27
28   http://www.redhat.com/mailman/listinfo/libguestfs
29
30
31 Home page
32 ----------------------------------------------------------------------
33
34   http://libguestfs.org/
35
36
37 Requirements
38 ----------------------------------------------------------------------
39
40 - recent QEMU >= 0.12 with virtio-serial support
41
42 - febootstrap >= 2.9
43
44 - fakeroot
45
46 - fakechroot >= 2.9
47
48 - XDR, rpcgen (on Linux these are provided by glibc)
49
50 - pcre (Perl Compatible Regular Expressions C library)
51
52 - libmagic (the library that corresponds to the 'file' command)
53
54 - libvirt
55
56 - libxml2
57
58 - Augeas (http://augeas.net/)
59
60 - squashfs-tools (mksquashfs only)
61
62 - genisoimage / mkisofs
63
64 - hivex >= 1.2.1 (http://libguestfs.org/download)
65
66 - (Optional) FUSE to build the FUSE module
67
68 - perldoc (pod2man, pod2text) to generate the manual pages and
69   other documentation.
70
71 - (Optional) Readline to have nicer command-line editing in guestfish.
72
73 - (Optional) xmllint to validate virt-inspector RELAX NG schema
74
75 - (Optional) OCaml + OCaml library xml-light if you want to rebuild
76   the generated files, and also to build the OCaml bindings
77   (http://tech.motion-twin.com/xmllight.html)
78
79 - (Optional) local Fedora mirror
80
81 - (Optional) Perl if you want to build the perl bindings
82
83 - (Optional) Python if you want to build the python bindings
84
85 - (Optional) Ruby, rake if you want to build the ruby bindings
86
87 - (Optional) Java, JNI, jpackage-utils if you want to build the java
88 bindings
89
90 - (Optional) GHC if you want to build the Haskell bindings
91
92 - (Optional) Perl XML::XPath, Sys::Virt modules (for libvirt support
93 in virt-inspector).
94
95 - (Optional, but highly recommended) perl-libintl for translating perl code.
96
97 - (Optional) po4a for translating manpages and POD files.
98
99 - (Optional) PHP, phpize if you want to build the PHP bindings
100
101 Running ./configure will check you have all the requirements installed
102 on your machine.
103
104
105 Building
106 ----------------------------------------------------------------------
107
108 Then make the daemon, library and root filesystem:
109
110   ./configure [--with-mirror=URI]
111   make
112
113 Use the optional --with-mirror parameter to specify the URI of a local
114 Fedora mirror.  See the discussion of the MIRROR parameter in the
115 febootstrap(8) manpage.
116
117 Finally run the tests:
118
119   make check
120
121 If everything works, you can install the library and tools by running
122 this command as root:
123
124   make install
125
126
127 Fedora
128 ----------------------------------------------------------------------
129
130 We provide packages for Fedora >= 11 in Fedora.  Use those, or build
131 from our source RPMs - it's far simpler that way.
132
133 You can compile libguestfs on Fedora 10 but you cannot use it with the
134 version of qemu in Fedora 10.  You need to compile your own qemu, see
135 section 'qemu' below.
136
137
138 RHEL / EPEL / CentOS etc
139 ----------------------------------------------------------------------
140
141 We provide packages in EPEL which cover RHEL/CentOS >= 5.  Use those
142 or build from our source RPMs.
143
144
145 Debian
146 ----------------------------------------------------------------------
147
148 libguestfs is now built as a package in Debian by Guido Gunther and
149 the other Debian libvirt maintainers.  See:
150
151 http://wiki.debian.org/Teams/DebianLibvirtTeam#Packages
152
153 You can build for Debian in two different ways, either building a
154 Fedora-based appliance using febootstrap, yum, rpm, fakeroot,
155 fakechroot (all packaged in Debian).  However the recommended way is
156 to build a Debian-based appliance using debootstrap and debirf.
157
158 Both ways are supported by the configure script.
159
160
161 qemu
162 ----------------------------------------------------------------------
163
164 By far the most common problem is with broken or incompatible
165 qemu releases.
166
167 Different versions of qemu have problems booting the appliance for
168 different reasons.  This varies between versions of qemu, and Linux
169 distributions which add their own patches.
170
171 If you find a problem, you could try using your own qemu built from
172 source (qemu is very easy to build from source), with a 'qemu
173 wrapper'.  Qemu wrappers are described in the guestfs(3) manpage.
174
175
176 Note on using KVM
177 ----------------------------------------------------------------------
178
179 By default the configure script will look for qemu-kvm (KVM support).
180 You will need a reasonably recent processor for this to work.  KVM is
181 much faster than using plain Qemu.
182
183 You may also need to enable KVM support for non-root users, by following
184 these instructions:
185
186   http://www.linux-kvm.org/page/FAQ#How_can_I_use_kvm_with_a_non-privileged_user.3F
187
188 On some systems, this will work too:
189
190   chmod o+rw /dev/kvm
191
192 On some systems, the chmod will not survive a reboot, and you will
193 need to make edits to the udev configuration.
194
195
196 vmchannel
197 ----------------------------------------------------------------------
198
199 Previous versions of libguestfs required something called "vmchannel".
200 Vmchannel is a special device given to virtual machines which allows
201 them to communicate in some way with the host, often (but not always)
202 without using a traditional network device.  In reality, there is no
203 one thing called "vmchannel".  This idea has been reimplemented
204 several times under the name vmchannel, and other hypervisors have
205 their own incompatible implementation(s) too.
206
207 In libguestfs <= 1.0.71, we required a specific vmchannel which is
208 properly known as "guestfwd" and has been upstream in qemu since here:
209
210   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
211
212 In libguestfs >= 1.0.71 we don't require any vmchannel implementation,
213 as long as qemu has been compiled with support for SLIRP (user mode
214 networking, or "-net user"), which is almost always the case.
215
216 In libguestfs >= 1.5.4 we switched again to using qemu's virtio-serial
217 and removed all the other vmchannels and the SLIRP channel.
218
219
220 Supermin appliance
221 ----------------------------------------------------------------------
222
223 If you configure with --enable-supermin then we will build a supermin
224 appliance (supermin = super-minimized).  This is a very specialized
225 appliance which is built on-the-fly at runtime (specifically, when you
226 call guestfs_launch).
227
228 The normal appliance is a self-contained Linux operating system, based
229 on the Fedora/RHEL/CentOS Linux distro.  So it contains a complete
230 copy of all the libraries and programs needed, like kernel, libc,
231 bash, coreutils etc etc.
232
233 The supermin appliance removes the kernel and all the executable
234 libraries and programs from the appliance.  That just leaves a
235 skeleton of config files and some data files, which is obviously
236 massively smaller than the normal appliance.  At runtime we rebuild
237 the appliance on-the-fly from the libraries and programs on the host
238 (eg. pulling in the real /lib/libc.so, the real /bin/bash etc.)
239
240 Although this process of rebuilding the appliance each time sounds
241 slow, it turns out to be faster than using the prebuilt appliance.
242 (Most of the saving comes from not compressing the appliance - it
243 transpires that decompressing the appliance is the slowest part of the
244 whole boot sequence).  On my machine, a new appliance can be built in
245 under a fifth of a second, and the boot time is several seconds
246 shorter.
247
248 The big advantage of the supermin appliance for distributions like
249 Fedora is that it gets security fixes automatically from the host, so
250 there is no need to rebuild the whole of libguestfs for a security
251 update in some underlying library.
252
253 There are several DISADVANTAGES:
254
255 It won't work at all except in very narrow, controlled cases like the
256 Fedora packaging case.  We control the dependencies of the libguestfs
257 RPM tightly to ensure that the required binaries are actually present
258 on the host.
259
260 Furthermore there are certain unlikely changes in the packages on the
261 host which could break a supermin appliance, eg. an updated library
262 which depends on an additional data file.
263
264 Also supermin appliances are subjected to changes in the host kernel
265 which might break compatibility with qemu -- these are, of course,
266 real bugs in any case.
267
268 Lastly, supermin appliances really can't be moved between branches of
269 distributions (eg. built on Fedora 12 and moved to Fedora 10) because
270 they are not self-contained and they rely on certain libraries being
271 around.  You shouldn't do this anyway.
272
273 Use supermin appliances with caution.
274
275
276 Notes on cross-architecture support
277 ----------------------------------------------------------------------
278
279 At the moment we basically don't support cross-architecture or
280 32-on-64.  This limits what is possible for some guests.  Filesystem
281 operations and FUSE will work fine, but running commands in guests may
282 not be possible.
283
284 To enable this requires work for cross-architecture and 32-on-64
285 support in febootstrap, fakeroot and fakechroot.
286
287 The daemon/ directory contains its own configure script.  This is so
288 that in future we will be able to cross-compile the daemon.
289
290
291 Mirroring tip
292 ----------------------------------------------------------------------
293
294 On my machines I can usually rebuild the appliance in around 3
295 minutes.  If it takes much longer for you, use a local Fedora mirror
296 or squid.
297
298 To use squid to cache yum downloads, read this first:
299 https://lists.dulug.duke.edu/pipermail/yum/2006-August/009041.html
300 (In brief, because yum chooses random mirrors each time, squid doesn't
301 work very well with default yum configuration.  To get around this,
302 choose a Fedora mirror which is close to you, set this with
303 './configure --with-mirror=[...]', and then proxy the whole lot
304 through squid by setting http_proxy environment variable).
305
306 You will also need to substantially increase the squid configuration
307 limits:
308 http://fedoraproject.org/wiki/Using_Mock_to_test_package_builds#Using_Squid_to_Speed_Up_Mock_package_downloads
309
310
311 Porting to other Linux distros / non-Linux
312 ----------------------------------------------------------------------
313
314 libguestfs itself should be fairly portable to other Linux
315 distributions.  Non-Linux ports are trickier, but we will accept
316 patches if they aren't too invasive.
317
318 The main porting issues are with the dependencies needed to build the
319 appliance.  You will need to find or port the following packages
320 first:
321
322  - fakeroot
323  - fakechroot
324  - python
325  - rpm-python    http://www.rpm.org/
326  - yum           http://yum.baseurl.org/
327  - febootstrap   http://people.redhat.com/~rjones/febootstrap/
328
329
330 Copyright and license information
331 ----------------------------------------------------------------------
332
333 Copyright (C) 2009-2010 Red Hat Inc.
334
335 The library is distributed under the LGPLv2+.  The programs are
336 distributed under the GPLv2+.  Please see the files COPYING and
337 COPYING.LIB for full license information.