guestfs-examples(3): Remove link to OCaml homepage.
[libguestfs.git] / TODO
1 TODO list for libguestfs
2 ======================================================================
3
4 This list contains random ideas and musings on features we could add
5 to libguestfs in future.
6
7    - RWMJ
8
9 FUSE API
10 --------
11
12 The API needs more test coverage, particularly lesser-used system
13 calls.
14
15 The big unresolved issue is UID/GID mapping between guest filesystem
16 IDs and the host.  It's not easy to automate this because you need
17 extra details about the guest itself in order to get to its
18 UID->username map (eg. /etc/passwd from the guest).
19
20 Haskell bindings
21 ----------------
22
23 Complete the Haskell bindings (see discussion on haskell-cafe).
24
25 PHP bindings
26 ------------
27
28 Add bindtests to PHP bindings.
29
30 Complete bind tests
31 -------------------
32
33 Complete the bind tests - must test the return values and error cases.
34
35 virt-inspector - make libvirt XML
36 ---------------------------------
37
38 It should be possible to generate libvirt XML from virt-inspector
39 data, at least partially.  This would be just another output type so:
40
41  virt-inspector --libvirt guest.img
42
43 Note that recent versions of libvirt/virt-install allow guests to be
44 imported, so this is not so useful any more.
45
46 "Standalone/local mode"
47 -----------------------
48
49 Instead of running guestfsd (the daemon) inside qemu, there should be
50 an option to just run guestfsd directly.
51
52 The architecture in this mode would look like:
53
54      +------------------+
55      | main program     |
56      |------------------|
57      | libguestfs       |
58      +--------^---------+
59           |   | reply
60       cmd |   |
61      +----v-------------+
62      | guestfsd         |
63      +------------------+
64
65 Notes:
66
67 (1) This only makes sense if we are running as root.
68
69 (2) There is no console / kernel messages in this configuration, but
70 we might consider capturing stderr from the daemon.
71
72 (3) guestfs_config and guestfs_add_drive become no-ops.
73
74 Obviously in this configuration, commands are run directly on the
75 local machine's disks.  You could just run the commands themselves
76 directly, but libguestfs provides a convenient API and language
77 bindings.  Also deals with tricky stuff like parsing the output of the
78 LVM commands.  Also we get to leverage other code such as
79 virt-inspector.
80
81 This is mainly useful from live CDs, ie. virt-p2v.
82
83 Should we bother having the daemon at all and just link the guestfsd
84 code directly into libguestfs?
85
86 Ideas for extra commands
87 ------------------------
88
89   General glibc / core programs:
90     chgrp
91     more mk*temp calls
92
93   ext2 properties:
94     chattr
95     lsattr
96     badblocks
97     blkid
98     debugfs
99     dumpe2fs
100     e2image
101     e2undo
102     filefrag
103     findfs
104     logsave
105     mklost+found
106     ext2undelete
107
108   SELinux:
109     chcat
110     restorecon
111     ch???
112
113   Oddball:
114     pivot_root
115     fts(3) / ftw(3)
116
117 Other initrd-* commands
118 -----------------------
119
120 Such as:
121
122 initrd-extract
123 initrd-replace
124
125 Simple editing of configuration files
126 -------------------------------------
127
128 Some easy non-Augeas methods to edit configuration files.
129 I'm thinking:
130
131   replace /etc/file key value
132
133 which would look in /etc/file for any instances of
134
135   key=...
136   key ...
137   key:...
138
139 and replace them with
140
141   key=value
142   key value
143   key:value
144
145 That would solve about 50% of reconfiguration needs, and for the
146 rest you'd use Augeas, 'download'+'upload' or 'edit'.
147
148 RWMJ: I had a go at implementing this, but it's quite error-prone to
149 do this sort of editing inside the C-based daemon code.  It's far
150 better to do it with Augeas, or else to use an external language like
151 Perl.
152
153 Quick Perl scripts
154 ------------------
155
156 Currently we can't do Perl "one-liners".  ie. The current syntax for
157 any short Perl one-liner would be:
158
159   perl -MSys::Guestfs -e '$g = Sys::Guestfs->new(); $g->add_drive ("foo"); $g->launch; $g->mount ("/dev/sda1", "/"); ....'
160
161 You can see we're well beyond a single line just getting to the point
162 of adding drives and mounting.
163
164 First suggestion:
165
166  $h = create ($filename, \"/dev/sda1\" => \"/\");
167
168  $h = create ([$file1, $file2], \"/dev/sda1\" => \"/\");
169
170 To mount read-only, add C<ro =E<gt> 1> like this:
171
172  $h = create ($filename, \"/dev/sda1\" => \"/\", ro => 1);
173
174 which is equivalent to the following sequence of calls:
175
176  $h = Sys::Guestfs->new ();
177  $h->add_drive_ro ($filename);
178  $h->launch ();
179  $h->mount_ro (\"/dev/sda1\", \"/\");
180
181 Command-line form would be:
182
183  perl -MSys::Guestfs=:all -e '$_=create("guest.img", "/dev/sda1" => "/"); $_->cat ("/etc/fstab");'
184
185 That's not brief enough for one-liners, so we could have an extra
186 autogenerated module which creates a Sys::Guestfs handle singleton
187 (the handle is an implicit global variable as in guestfish), eg:
188
189  perl -MSys::Guestfs::One -e 'inspect("guest.img"); cat ("/etc/fstab");'
190
191 How would editing files work?
192
193 ntfsclone
194 ---------
195
196 Useful imaging tool:
197 http://man.linux-ntfs.org/ntfsclone.8.html
198
199 virt-rescue pty
200 ---------------
201
202 See:
203 http://search.cpan.org/~rgiersig/IO-Tty-1.08/Pty.pm
204 http://www.perlmonks.org/index.pl?node_id=582185
205
206 Note that pty requires cooperation inside the C code too (there are
207 two sides to a pty, and one has to be handled after the fork).
208
209 [I tried to implement this in the new C virt-rescue, but it doesn't
210 work.  qemu is implementing its own ptys, and they are broken.  Need
211 to fix qemu.]
212
213 Windows-based daemon/appliance
214 ------------------------------
215
216 See discussion on list:
217 https://www.redhat.com/archives/libguestfs/2009-November/msg00165.html
218
219 qemu locking
220 ------------
221
222 Add -drive file=...,lock=exclusive and -drive file=...,lock=shared
223
224 Change libguestfs and libvirt to do the right thing, so that multiple
225 instances of qemu cannot stomp on each other.
226
227 virt-disk-explore
228 -----------------
229
230 For multi-level disk images such as live CDs:
231 http://rwmj.wordpress.com/2009/07/15/unpack-the-russian-doll-of-a-f11-live-cd/
232
233 It's possible with libguestfs to recursively look for anything that
234 might be a filesystem, mount-{,loop} it and look in those, revealing
235 anything in a disk image.
236
237 However this won't work easily for VM disk images in the disk image.
238 One would have to download those to the host and launch another
239 libguestfs instance.
240
241 [Not sure this is such a good idea.  See also live CD inspection idea below.]
242
243 Map filesystems to disk blocks
244 ------------------------------
245
246 Map files/filesystems/(any other object) to the actual disk
247 blocks they occupy.
248
249 And vice versa.
250
251 Is it even possible?
252
253 See also contribs/visualize-alignment/
254
255 Integration with host intrusion systems
256 ---------------------------------------
257
258 Perfect way to monitor VMs from outside the VM.  Look for file
259 hashes, log events, login/logout etc.
260
261 http://www.ossec.net/
262 http://la-samhna.de/samhain/
263 http://sourceforge.net/projects/aide/
264 http://osiris.shmoo.com/
265 http://sourceforge.net/projects/tripwire/
266
267 Fix 'file'
268 ----------
269
270 https://www.redhat.com/archives/libguestfs/2010-June/msg00053.html
271 https://www.redhat.com/archives/libguestfs/2010-June/msg00079.html
272
273 Freeze/thaw filesystems
274 -----------------------
275
276 Access to these ioctls:
277 http://git.kernel.org/linus/fcccf502540e3d7
278
279 Tips for new users in guestfish
280 -------------------------------
281
282 $ guestfish
283 Tip: You need to 'add disk.img' or 'alloc disk.img nn' to make a new image.
284 Type 'notips' to disable tips permanently.
285 ><fs> add mydisk
286 Tip: You need to type 'run' before you can see into the disk image.
287 ><fs> run
288 Tip: Use 'list-filesystems' to see what filesystems are available.
289 ><fs> list-filesystems
290 /dev/vda1
291 Tip: Use 'mount fs /' to mount a filesystem.
292 ><fs> mount /dev/vda1 /
293 Tip: Use 'll /' to view the filesystem or ...
294 ><fs> ll /
295
296 Could we make guestfish interactive if commands are used without params?
297 ------------------------------------------------------------------------
298
299 ><fs> sparse
300 [[Prints man page]]
301 Image name? disk.img
302 Size of image? 10M
303
304 Common problems
305 ---------------
306
307 How can we solve these common user problems?
308
309 [space for common problems here]
310
311 Better support for encrypted devices
312 ------------------------------------
313
314 Currently LUKS support only works if the device contains volume
315 groups.  If it contains, eg., partitions, you cannot access them.
316 We would like to add:
317
318   - Direct access to the /dev/mapper device (eg. if it contains
319     anything apart from VGs).
320
321 Display image as PS
322 -------------------
323
324 Display the structure of an image file as a PS.
325
326 Greater use of blkid / libblkid
327 -------------------------------
328
329 guestfs_zero should use wipefs.  See wipefs(8).
330
331 There are various useful functions in libblkid for listing partitions,
332 devices etc which we are essentially duplicating in the daemon.  It
333 would make more sense to just use libblkid for this.
334
335 There are some places where we call out to the 'blkid' program.  This
336 might be replaced by direct use of the library (if this is easier).
337
338 Visualization
339 -------------
340
341 Eric Sandeen pointed out the blktrace tool which is a better way of
342 capturing traces than using patched qemu (see
343 contrib/visualize-alignment).  We would still use the same
344 visualization tools in conjunction with blktrace traces.
345
346 guestfish parsing
347 -----------------
348
349 At the moment guestfish uses an ad hoc parser which has many
350 shortcomings.  We should change to using a lex/yacc-based scanner and
351 parser (there are better parsers out there, but yacc is sufficient and
352 very widely available).
353
354 The scanner must deal with the case of parsing a whole command string,
355 eg. for a command that the user types in:
356
357  ><fs> add-drive-opts "/tmp/foo" readonly:true
358
359 and also with parsing single words from the command line:
360
361  guestfish add-drive-opts /tmp/foo readonly:true
362
363 Note the quotes are for scanning and don't indicate types.
364
365 We should also allow variables and expressions as part of this new
366 parsing code, eg:
367
368  set roots inspect-os
369  set product inspect-get-product-name %{roots[0]}
370
371 % is better than $ because of shell escaping and confusion with shell
372 variables.
373
374 live CD inspection
375 ------------------
376
377 guestfish -i livecd.iso
378
379 Could this be done through the core API and existing calls?