Todo: ntfsclone.
[libguestfs.git] / README
1 Libguestfs is a library for accessing and modifying guest disk images.
2 Amongst the things this is good for: making batch configuration
3 changes to guests, getting disk used/free statistics (see also:
4 virt-df), migrating between virtualization systems (see also:
5 virt-p2v), performing partial backups, performing partial guest
6 clones, cloning guests and changing registry/UUID/hostname info, and
7 much else besides.
8
9 Libguestfs uses Linux kernel and qemu code, and can access any type of
10 guest filesystem that Linux and qemu can, including but not limited
11 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
12 schemes, qcow, qcow2, vmdk.
13
14 Libguestfs provides ways to enumerate guest storage (eg. partitions,
15 LVs, what filesystem is in each LV, etc.).  It can also run commands
16 in the context of the guest.  Also you can access filesystems over FTP.
17
18 Libguestfs is a library that can be linked with C and C++ management
19 programs (or management programs written in OCaml, Perl, Python, Ruby, Java
20 or Haskell).  You can also use it from shell scripts or the command line.
21
22 Libguestfs was written by Richard W.M. Jones (rjones@redhat.com) and
23 hacked on by lots of other people.  For discussion, development,
24 patches, etc. please use the mailing list:
25
26   http://www.redhat.com/mailman/listinfo/libguestfs
27
28
29 Home page
30 ----------------------------------------------------------------------
31
32   http://libguestfs.org/
33
34
35 Requirements
36 ----------------------------------------------------------------------
37
38 - recent QEMU >= 0.10 with vmchannel support
39   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
40
41 - febootstrap >= 2.3
42
43 - fakeroot
44
45 - fakechroot >= 2.9
46
47 - XDR, rpcgen (on Linux these are provided by glibc)
48
49 - squashfs-tools (mksquashfs only)
50
51 - genisoimage / mkisofs
52
53 - (Optional) Augeas (http://augeas.net/)
54
55 - perldoc (pod2man, pod2text) to generate the manual pages and
56   other documentation.
57
58 - (Optional) Readline to have nicer command-line editing in guestfish.
59
60 - (Optional) 'reged' program from chntpw to decode Windows registry
61   entries (http://home.eunet.no/~pnordahl/ntpasswd/)
62
63 - (Optional) OCaml if you want to rebuild the generated files, and
64   also to build the OCaml bindings
65
66 - (Optional) local Fedora mirror
67
68 - (Optional) Perl if you want to build the perl bindings
69
70 - (Optional) Python if you want to build the python bindings
71
72 - (Optional) Ruby, rake if you want to build the ruby bindings
73
74 - (Optional) Java, JNI, jpackage-utils if you want to build the java
75 bindings
76
77 - (Optional) GHC if you want to build the Haskell bindings
78
79 - (Optional) Perl XML::XPath, Sys::Virt modules (for libvirt support
80 in virt-inspector).
81
82 - (Optional, but highly recommended) perl-libintl for translating perl code.
83
84 Running ./configure will check you have all the requirements installed
85 on your machine.
86
87
88 Building
89 ----------------------------------------------------------------------
90
91 Then make the daemon, library and root filesystem:
92
93   ./configure [--with-mirror=URI]
94   make
95
96 Use the optional --with-mirror parameter to specify the URI of a local
97 Fedora mirror.  See the discussion of the MIRROR parameter in the
98 febootstrap(8) manpage.
99
100 Finally run the tests:
101
102   make check
103
104 If everything works, you can install the library and tools by running
105 this command as root:
106
107   make install
108
109
110 Fedora
111 ----------------------------------------------------------------------
112
113 We provide packages for Fedora >= 11 in Fedora.  Use those, or build
114 from our source RPMs - it's far simpler that way.
115
116 You can compile libguestfs on Fedora 10 but you cannot use it with the
117 version of qemu in Fedora 10.  You need to compile your own qemu, see
118 section 'qemu' below.
119
120
121 RHEL / EPEL / CentOS etc
122 ----------------------------------------------------------------------
123
124 We provide packages in EPEL which cover RHEL/CentOS >= 5.  Use those
125 or build from our source RPMs.
126
127
128 Debian
129 ----------------------------------------------------------------------
130
131 libguestfs is now built as a package in Debian by Guido Gunther and
132 the other Debian libvirt maintainers.  See:
133
134 http://wiki.debian.org/Teams/DebianLibvirtTeam#Packages
135
136 You can build for Debian in two different ways, either building a
137 Fedora-based appliance using febootstrap, yum, rpm, fakeroot,
138 fakechroot (all packaged in Debian).  However the recommended way is
139 to build a Debian-based appliance using debootstrap and debirf.
140
141 Both ways are supported by the configure script.
142
143
144 qemu
145 ----------------------------------------------------------------------
146
147 By far the most common problem is with broken or incompatible
148 qemu releases.
149
150 First of all, you need qemu >= 0.10.4, which contains a vmchannel
151 implementation.  There are several, conflicting, incompatible things
152 called 'vmchannel' which at one time or another have been added or
153 proposed for qemu/KVM.  The _only_ one we support is this one:
154
155   http://lists.gnu.org/archive/html/qemu-devel/2009-02/msg01042.html
156
157 Secondly, different versions of qemu have problems booting the
158 appliance for different reasons.  This varies between versions of
159 qemu, and Linux distributions which add their own patches.
160
161 If you find a problem, you could try using your own qemu built from
162 source (qemu is very easy to build from source), with a 'qemu
163 wrapper'.  Qemu wrappers are described in the guestfs(3) manpage.
164
165
166 Note on using KVM
167 ----------------------------------------------------------------------
168
169 By default the configure script will look for qemu-kvm (KVM support).
170 You will need a reasonably recent processor for this to work.  KVM is
171 much faster than using plain Qemu.
172
173 You may also need to enable KVM support for non-root users, by following
174 these instructions:
175
176   http://www.linux-kvm.org/page/FAQ#How_can_I_use_kvm_with_a_non-privileged_user.3F
177
178 On some systems, this will work too:
179
180   chmod o+rw /dev/kvm
181
182 On some systems, the chmod will not survive a reboot, and you will
183 need to make edits to the udev configuration.
184
185
186 Supermin appliance
187 ----------------------------------------------------------------------
188
189 If you configure with --enable-supermin then we will build a supermin
190 appliance (supermin = super-minimized).  This is a very specialized
191 appliance which is built on-the-fly at runtime (specifically, when you
192 call guestfs_launch).
193
194 The normal appliance is a self-contained Linux operating system, based
195 on the Fedora/RHEL/CentOS Linux distro.  So it contains a complete
196 copy of all the libraries and programs needed, like kernel, libc,
197 bash, coreutils etc etc.
198
199 The supermin appliance removes the kernel and all the executable
200 libraries and programs from the appliance.  That just leaves a
201 skeleton of config files and some data files, which is obviously
202 massively smaller than the normal appliance.  At runtime we rebuild
203 the appliance on-the-fly from the libraries and programs on the host
204 (eg. pulling in the real /lib/libc.so, the real /bin/bash etc.)
205
206 Although this process of rebuilding the appliance each time sounds
207 slow, it turns out to be faster than using the prebuilt appliance.
208 (Most of the saving comes from not compressing the appliance - it
209 transpires that decompressing the appliance is the slowest part of the
210 whole boot sequence).  On my machine, a new appliance can be built in
211 under a fifth of a second, and the boot time is several seconds
212 shorter.
213
214 The big advantage of the supermin appliance for distributions like
215 Fedora is that it gets security fixes automatically from the host, so
216 there is no need to rebuild the whole of libguestfs for a security
217 update in some underlying library.
218
219 There are several DISADVANTAGES:
220
221 It won't work at all except in very narrow, controlled cases like the
222 Fedora packaging case.  We control the dependencies of the libguestfs
223 RPM tightly to ensure that the required binaries are actually present
224 on the host.
225
226 Furthermore there are certain unlikely changes in the packages on the
227 host which could break a supermin appliance, eg. an updated library
228 which depends on an additional data file.
229
230 Also supermin appliances are subjected to changes in the host kernel
231 which might break compatibility with qemu -- these are, of course,
232 real bugs in any case.
233
234 Lastly, supermin appliances really can't be moved between branches of
235 distributions (eg. built on Fedora 12 and moved to Fedora 10) because
236 they are not self-contained and they rely on certain libraries being
237 around.  You shouldn't do this anyway.
238
239 Use supermin appliances with caution.
240
241
242 Notes on cross-architecture support
243 ----------------------------------------------------------------------
244
245 At the moment we basically don't support cross-architecture or
246 32-on-64.  This limits what is possible for some guests.  Filesystem
247 operations and FTP export will work fine, but running commands in
248 guests may not be possible.
249
250 To enable this requires work for cross-architecture and 32-on-64
251 support in febootstrap, fakeroot and fakechroot.
252
253 The daemon/ directory contains its own configure script.  This is so
254 that in future we will be able to cross-compile the daemon.
255
256
257 Mirroring tip
258 ----------------------------------------------------------------------
259
260 On my machines I can usually rebuild the appliance in around 3
261 minutes.  If it takes much longer for you, use a local Fedora mirror
262 or squid.
263
264 To use squid to cache yum downloads, read this first:
265 https://lists.dulug.duke.edu/pipermail/yum/2006-August/009041.html
266 (In brief, because yum chooses random mirrors each time, squid doesn't
267 work very well with default yum configuration.  To get around this,
268 choose a Fedora mirror which is close to you, set this with
269 './configure --with-mirror=[...]', and then proxy the whole lot
270 through squid by setting http_proxy environment variable).
271
272 You will also need to substantially increase the squid configuration
273 limits:
274 http://fedoraproject.org/wiki/Using_Mock_to_test_package_builds#Using_Squid_to_Speed_Up_Mock_package_downloads
275
276
277 Porting to other Linux distros / non-Linux
278 ----------------------------------------------------------------------
279
280 libguestfs itself should be fairly portable to other Linux
281 distributions.  Non-Linux ports are trickier, but we will accept
282 patches if they aren't too invasive.
283
284 The main porting issues are with the dependencies needed to build the
285 appliance.  You will need to find or port the following packages
286 first:
287
288  - fakeroot
289  - fakechroot
290  - python
291  - rpm-python    http://www.rpm.org/
292  - yum           http://yum.baseurl.org/
293  - febootstrap   http://et.redhat.com/~rjones/febootstrap/
294
295
296 Copyright and license information
297 ----------------------------------------------------------------------
298
299 Copyright (C) 2009 Red Hat Inc.
300
301 The library is distributed under the LGPLv2+.  The programs are
302 distributed under the GPLv2+.  Please see the files COPYING and
303 COPYING.LIB for full license information.