inspect: Refuse to parse /etc/fstab if it is huge.
[libguestfs.git] / README
1 Libguestfs is a library for accessing and modifying guest disk images.
2 Amongst the things this is good for: making batch configuration
3 changes to guests, getting disk used/free statistics (see also:
4 virt-df), migrating between virtualization systems (see also:
5 virt-p2v), performing partial backups, performing partial guest
6 clones, cloning guests and changing registry/UUID/hostname info, and
7 much else besides.
8
9 Libguestfs uses Linux kernel and qemu code, and can access any type of
10 guest filesystem that Linux and qemu can, including but not limited
11 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
12 schemes, qcow, qcow2, vmdk.
13
14 Libguestfs provides ways to enumerate guest storage (eg. partitions,
15 LVs, what filesystem is in each LV, etc.).  It can also run commands
16 in the context of the guest.  Also you can access filesystems over
17 FUSE.
18
19 Libguestfs is a library that can be linked with C and C++ management
20 programs (or management programs written in OCaml, Perl, Python, Ruby,
21 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
22 command line.
23
24 Libguestfs was written by Richard W.M. Jones (rjones@redhat.com) and
25 hacked on by lots of other people.  For discussion, development,
26 patches, etc. please use the mailing list:
27
28   http://www.redhat.com/mailman/listinfo/libguestfs
29
30
31 Home page
32 ----------------------------------------------------------------------
33
34   http://libguestfs.org/
35
36
37 Requirements
38 ----------------------------------------------------------------------
39
40 - recent QEMU >= 0.12 with virtio-serial support
41
42 - febootstrap >= 2.10
43
44 - fakeroot
45
46 - fakechroot >= 2.9
47
48 - XDR, rpcgen (on Linux these are provided by glibc)
49
50 - pcre (Perl Compatible Regular Expressions C library) (optional)
51
52 - libmagic (the library that corresponds to the 'file' command) (optional)
53
54 - libvirt (optional)
55
56 - libxml2 (optional)
57
58 - Augeas (http://augeas.net/) (optional)
59
60 - gperf
61
62 - squashfs-tools (mksquashfs only)
63
64 - genisoimage / mkisofs
65
66 - hivex >= 1.2.1 (http://libguestfs.org/download)
67
68 - (Optional) FUSE to build the FUSE module
69
70 - perldoc (pod2man, pod2text) to generate the manual pages and
71   other documentation.
72
73 - (Optional) Readline to have nicer command-line editing in guestfish.
74
75 - (Optional) xmllint to validate virt-inspector RELAX NG schema
76
77 - (Optional) OCaml if you want to rebuild the generated files, and
78   also to build the OCaml bindings
79
80 - (Optional) local Fedora mirror
81
82 - (Optional) Perl if you want to build the perl bindings
83
84 - (Optional) Python if you want to build the python bindings
85
86 - (Optional) Ruby, rake if you want to build the ruby bindings
87
88 - (Optional) Java, JNI, jpackage-utils if you want to build the java
89 bindings
90
91 - (Optional) GHC if you want to build the Haskell bindings
92
93 - (Optional) Perl XML::XPath, Sys::Virt modules (for libvirt support
94 in virt-inspector).
95
96 - (Optional, but highly recommended) perl-libintl for translating perl code.
97
98 - (Optional) po4a for translating manpages and POD files.
99
100 - (Optional) PHP, phpize if you want to build the PHP bindings
101
102 Running ./configure will check you have all the requirements installed
103 on your machine.
104
105
106 Building
107 ----------------------------------------------------------------------
108
109 Then make the daemon, library and root filesystem:
110
111   ./configure [--with-mirror=URI]
112   make
113
114 Use the optional --with-mirror parameter to specify the URI of a local
115 Fedora mirror.  See the discussion of the MIRROR parameter in the
116 febootstrap(8) manpage.
117
118 Finally run the tests:
119
120   make check
121
122 If everything works, you can install the library and tools by running
123 this command as root:
124
125   make install
126
127
128 Fedora
129 ----------------------------------------------------------------------
130
131 We provide packages for Fedora >= 11 in Fedora.  Use those, or build
132 from our source RPMs - it's far simpler that way.
133
134 You can compile libguestfs on Fedora 10 but you cannot use it with the
135 version of qemu in Fedora 10.  You need to compile your own qemu, see
136 section 'qemu' below.
137
138
139 RHEL / EPEL / CentOS etc
140 ----------------------------------------------------------------------
141
142 We provide packages in EPEL which cover RHEL/CentOS >= 5.  Use those
143 or build from our source RPMs.
144
145
146 Debian
147 ----------------------------------------------------------------------
148
149 libguestfs is now built as a package in Debian by Guido Gunther and
150 the other Debian libvirt maintainers.  See:
151
152 http://wiki.debian.org/Teams/DebianLibvirtTeam#Packages
153
154 You can build for Debian in two different ways, either building a
155 Fedora-based appliance using febootstrap, yum, rpm, fakeroot,
156 fakechroot (all packaged in Debian).  However the recommended way is
157 to build a Debian-based appliance using debootstrap and debirf.
158
159 Both ways are supported by the configure script.
160
161
162 qemu
163 ----------------------------------------------------------------------
164
165 By far the most common problem is with broken or incompatible
166 qemu releases.
167
168 Different versions of qemu have problems booting the appliance for
169 different reasons.  This varies between versions of qemu, and Linux
170 distributions which add their own patches.
171
172 If you find a problem, you could try using your own qemu built from
173 source (qemu is very easy to build from source), with a 'qemu
174 wrapper'.  Qemu wrappers are described in the guestfs(3) manpage.
175
176
177 Note on using KVM
178 ----------------------------------------------------------------------
179
180 By default the configure script will look for qemu-kvm (KVM support).
181 You will need a reasonably recent processor for this to work.  KVM is
182 much faster than using plain Qemu.
183
184 You may also need to enable KVM support for non-root users, by following
185 these instructions:
186
187   http://www.linux-kvm.org/page/FAQ#How_can_I_use_kvm_with_a_non-privileged_user.3F
188
189 On some systems, this will work too:
190
191   chmod o+rw /dev/kvm
192
193 On some systems, the chmod will not survive a reboot, and you will
194 need to make edits to the udev configuration.
195
196
197 vmchannel
198 ----------------------------------------------------------------------
199
200 Previous versions of libguestfs required something called "vmchannel".
201 Vmchannel is a special device given to virtual machines which allows
202 them to communicate in some way with the host, often (but not always)
203 without using a traditional network device.  In reality, there is no
204 one thing called "vmchannel".  This idea has been reimplemented
205 several times under the name vmchannel, and other hypervisors have
206 their own incompatible implementation(s) too.
207
208 In libguestfs <= 1.0.71, we required a specific vmchannel which is
209 properly known as "guestfwd" and has been upstream in qemu since here:
210
211   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
212
213 In libguestfs >= 1.0.71 we don't require any vmchannel implementation,
214 as long as qemu has been compiled with support for SLIRP (user mode
215 networking, or "-net user"), which is almost always the case.
216
217 In libguestfs >= 1.5.4 we switched again to using qemu's virtio-serial
218 and removed all the other vmchannels and the SLIRP channel.
219
220
221 Supermin appliance
222 ----------------------------------------------------------------------
223
224 If you configure with --enable-supermin then we will build a supermin
225 appliance (supermin = super-minimized).  This is a very specialized
226 appliance which is built on-the-fly at runtime (specifically, when you
227 call guestfs_launch).
228
229 The normal appliance is a self-contained Linux operating system, based
230 on the Fedora/RHEL/CentOS Linux distro.  So it contains a complete
231 copy of all the libraries and programs needed, like kernel, libc,
232 bash, coreutils etc etc.
233
234 The supermin appliance removes the kernel and all the executable
235 libraries and programs from the appliance.  That just leaves a
236 skeleton of config files and some data files, which is obviously
237 massively smaller than the normal appliance.  At runtime we rebuild
238 the appliance on-the-fly from the libraries and programs on the host
239 (eg. pulling in the real /lib/libc.so, the real /bin/bash etc.)
240
241 Although this process of rebuilding the appliance each time sounds
242 slow, it turns out to be faster than using the prebuilt appliance.
243 (Most of the saving comes from not compressing the appliance - it
244 transpires that decompressing the appliance is the slowest part of the
245 whole boot sequence).  On my machine, a new appliance can be built in
246 under a fifth of a second, and the boot time is several seconds
247 shorter.
248
249 The big advantage of the supermin appliance for distributions like
250 Fedora is that it gets security fixes automatically from the host, so
251 there is no need to rebuild the whole of libguestfs for a security
252 update in some underlying library.
253
254 There are several DISADVANTAGES:
255
256 It won't work at all except in very narrow, controlled cases like the
257 Fedora packaging case.  We control the dependencies of the libguestfs
258 RPM tightly to ensure that the required binaries are actually present
259 on the host.
260
261 Furthermore there are certain unlikely changes in the packages on the
262 host which could break a supermin appliance, eg. an updated library
263 which depends on an additional data file.
264
265 Also supermin appliances are subjected to changes in the host kernel
266 which might break compatibility with qemu -- these are, of course,
267 real bugs in any case.
268
269 Lastly, supermin appliances really can't be moved between branches of
270 distributions (eg. built on Fedora 12 and moved to Fedora 10) because
271 they are not self-contained and they rely on certain libraries being
272 around.  You shouldn't do this anyway.
273
274 Use supermin appliances with caution.
275
276
277 Notes on cross-architecture support
278 ----------------------------------------------------------------------
279
280 At the moment we basically don't support cross-architecture or
281 32-on-64.  This limits what is possible for some guests.  Filesystem
282 operations and FUSE will work fine, but running commands in guests may
283 not be possible.
284
285 To enable this requires work for cross-architecture and 32-on-64
286 support in febootstrap, fakeroot and fakechroot.
287
288 The daemon/ directory contains its own configure script.  This is so
289 that in future we will be able to cross-compile the daemon.
290
291
292 Mirroring tip
293 ----------------------------------------------------------------------
294
295 On my machines I can usually rebuild the appliance in around 3
296 minutes.  If it takes much longer for you, use a local Fedora mirror
297 or squid.
298
299 To use squid to cache yum downloads, read this first:
300 https://lists.dulug.duke.edu/pipermail/yum/2006-August/009041.html
301 (In brief, because yum chooses random mirrors each time, squid doesn't
302 work very well with default yum configuration.  To get around this,
303 choose a Fedora mirror which is close to you, set this with
304 './configure --with-mirror=[...]', and then proxy the whole lot
305 through squid by setting http_proxy environment variable).
306
307 You will also need to substantially increase the squid configuration
308 limits:
309 http://fedoraproject.org/wiki/Using_Mock_to_test_package_builds#Using_Squid_to_Speed_Up_Mock_package_downloads
310
311
312 Porting to other Linux distros / non-Linux
313 ----------------------------------------------------------------------
314
315 libguestfs itself should be fairly portable to other Linux
316 distributions.  Non-Linux ports are trickier, but we will accept
317 patches if they aren't too invasive.
318
319 The main porting issues are with the dependencies needed to build the
320 appliance.  You will need to find or port the following packages
321 first:
322
323  - fakeroot
324  - fakechroot
325  - python
326  - rpm-python    http://www.rpm.org/
327  - yum           http://yum.baseurl.org/
328  - febootstrap   http://people.redhat.com/~rjones/febootstrap/
329
330
331 Copyright and license information
332 ----------------------------------------------------------------------
333
334 Copyright (C) 2009-2010 Red Hat Inc.
335
336 The library is distributed under the LGPLv2+.  The programs are
337 distributed under the GPLv2+.  Please see the files COPYING and
338 COPYING.LIB for full license information.