Version 1.7.6.
[libguestfs.git] / fish / fish.c
index e66880f..5d7aac6 100644 (file)
@@ -1,5 +1,5 @@
 /* guestfish - the filesystem interactive shell
- * Copyright (C) 2009 Red Hat Inc. 
+ * Copyright (C) 2009-2010 Red Hat Inc.
  *
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
 
 #include <config.h>
 
-#define _GNU_SOURCE // for strchrnul
-
 #include <stdio.h>
 #include <stdlib.h>
+#include <inttypes.h>
 #include <string.h>
 #include <unistd.h>
 #include <fcntl.h>
 #include <getopt.h>
 #include <signal.h>
-#include <assert.h>
-#include <ctype.h>
+#include <sys/types.h>
+#include <sys/wait.h>
+#include <locale.h>
+#include <langinfo.h>
 
 #ifdef HAVE_LIBREADLINE
 #include <readline/readline.h>
 #include <guestfs.h>
 
 #include "fish.h"
+#include "options.h"
 
-struct mp {
-  struct mp *next;
-  char *device;
-  char *mountpoint;
-};
-
-struct drv {
-  struct drv *next;
-  char *filename;
-};
+#include "c-ctype.h"
+#include "closeout.h"
+#include "progname.h"
 
-static void add_drives (struct drv *drv);
-static void mount_mps (struct mp *mp);
+static void set_up_terminal (void);
+static void prepare_drives (struct drv *drv);
+static int launch (void);
 static void interactive (void);
 static void shell_script (void);
 static void script (int prompt);
 static void cmdline (char *argv[], int optind, int argc);
-static int issue_command (const char *cmd, char *argv[]);
 static void initialize_readline (void);
 static void cleanup_readline (void);
+#ifdef HAVE_LIBREADLINE
 static void add_history_line (const char *);
+#endif
+
+static int override_progress_bars = -1;
 
 /* Currently open libguestfs handle. */
 guestfs_h *g;
@@ -67,62 +66,114 @@ guestfs_h *g;
 int read_only = 0;
 int quit = 0;
 int verbose = 0;
-
-int
-launch (guestfs_h *_g)
+int remote_control_listen = 0;
+int remote_control_csh = 0;
+int remote_control = 0;
+int exit_on_error = 1;
+int command_num = 0;
+int keys_from_stdin = 0;
+int echo_keys = 0;
+const char *libvirt_uri = NULL;
+int inspector = 0;
+int utf8_mode = 0;
+int have_terminfo = 0;
+int progress_bars = 0;
+
+static void __attribute__((noreturn))
+usage (int status)
 {
-  assert (_g == g);
-
-  if (guestfs_is_config (g)) {
-    if (guestfs_launch (g) == -1)
-      return -1;
-    if (guestfs_wait_ready (g) == -1)
-      return -1;
+  if (status != EXIT_SUCCESS)
+    fprintf (stderr, _("Try `%s --help' for more information.\n"),
+             program_name);
+  else {
+    fprintf (stdout,
+           _("%s: guest filesystem shell\n"
+             "%s lets you edit virtual machine filesystems\n"
+             "Copyright (C) 2009-2010 Red Hat Inc.\n"
+             "Usage:\n"
+             "  %s [--options] cmd [: cmd : cmd ...]\n"
+             "  %s [--ro] -i -a disk-image\n"
+             "  %s [--ro] -i -d libvirt-domain\n"
+             "or for interactive use:\n"
+             "  %s\n"
+             "or from a shell script:\n"
+             "  %s <<EOF\n"
+             "  cmd\n"
+             "  ...\n"
+             "  EOF\n"
+             "Options:\n"
+             "  -h|--cmd-help        List available commands\n"
+             "  -h|--cmd-help cmd    Display detailed help on 'cmd'\n"
+             "  -a|--add image       Add image\n"
+             "  -c|--connect uri     Specify libvirt URI for -d option\n"
+             "  --csh                Make --listen csh-compatible\n"
+             "  -d|--domain guest    Add disks from libvirt guest\n"
+             "  -D|--no-dest-paths   Don't tab-complete paths from guest fs\n"
+             "  --echo-keys          Don't turn off echo for passphrases\n"
+             "  -f|--file file       Read commands from file\n"
+             "  --format[=raw|..]    Force disk format for -a option\n"
+             "  -i|--inspector       Automatically mount filesystems\n"
+             "  --keys-from-stdin    Read passphrases from stdin\n"
+             "  --listen             Listen for remote commands\n"
+             "  -m|--mount dev[:mnt] Mount dev on mnt (if omitted, /)\n"
+             "  -n|--no-sync         Don't autosync\n"
+             "  -N|--new type        Create prepared disk (test1.img, ...)\n"
+             "  --progress-bars      Enable progress bars even when not interactive\n"
+             "  --no-progress-bars   Disable progress bars\n"
+             "  --remote[=pid]       Send commands to remote %s\n"
+             "  -r|--ro              Mount read-only\n"
+             "  --selinux            Enable SELinux support\n"
+             "  -v|--verbose         Verbose messages\n"
+             "  -V|--version         Display version and exit\n"
+             "  -x                   Echo each command before executing it\n"
+             "For more information, see the manpage %s(1).\n"),
+             program_name, program_name, program_name,
+             program_name, program_name, program_name,
+             program_name, program_name, program_name);
   }
-  return 0;
-}
-
-static void
-usage (void)
-{
-  fprintf (stderr,
-          _("guestfish: guest filesystem shell\n"
-            "guestfish lets you edit virtual machine filesystems\n"
-            "Copyright (C) 2009 Red Hat Inc.\n"
-            "Usage:\n"
-            "  guestfish [--options] cmd [: cmd : cmd ...]\n"
-            "or for interactive use:\n"
-            "  guestfish\n"
-            "or from a shell script:\n"
-            "  guestfish <<EOF\n"
-            "  cmd\n"
-            "  ...\n"
-            "  EOF\n"
-            "Options:\n"
-            "  -h|--cmd-help        List available commands\n"
-            "  -h|--cmd-help cmd    Display detailed help on 'cmd'\n"
-            "  -a|--add image       Add image\n"
-            "  -D|--no-dest-paths   Don't tab-complete paths from guest fs\n"
-            "  -m|--mount dev[:mnt] Mount dev on mnt (if omitted, /)\n"
-            "  -n|--no-sync         Don't autosync\n"
-            "  -r|--ro              Mount read-only\n"
-            "  -v|--verbose         Verbose messages\n"
-            "  -V|--version         Display version and exit\n"
-            "For more information,  see the manpage guestfish(1).\n"));
+  exit (status);
 }
 
 int
 main (int argc, char *argv[])
 {
-  static const char *options = "a:h::m:nrv?V";
-  static struct option long_options[] = {
+  /* Set global program name that is not polluted with libtool artifacts.  */
+  set_program_name (argv[0]);
+
+  atexit (close_stdout);
+
+  setlocale (LC_ALL, "");
+  bindtextdomain (PACKAGE, LOCALEBASEDIR);
+  textdomain (PACKAGE);
+
+  set_up_terminal ();
+
+  enum { HELP_OPTION = CHAR_MAX + 1 };
+
+  static const char *options = "a:c:d:Df:h::im:nN:rv?Vwx";
+  static const struct option long_options[] = {
     { "add", 1, 0, 'a' },
     { "cmd-help", 2, 0, 'h' },
-    { "help", 0, 0, '?' },
+    { "connect", 1, 0, 'c' },
+    { "csh", 0, 0, 0 },
+    { "domain", 1, 0, 'd' },
+    { "echo-keys", 0, 0, 0 },
+    { "file", 1, 0, 'f' },
+    { "format", 2, 0, 0 },
+    { "help", 0, 0, HELP_OPTION },
+    { "inspector", 0, 0, 'i' },
+    { "keys-from-stdin", 0, 0, 0 },
+    { "listen", 0, 0, 0 },
     { "mount", 1, 0, 'm' },
+    { "new", 1, 0, 'N' },
     { "no-dest-paths", 0, 0, 'D' },
     { "no-sync", 0, 0, 'n' },
+    { "progress-bars", 0, 0, 0 },
+    { "no-progress-bars", 0, 0, 0 },
+    { "remote", 2, 0, 0 },
     { "ro", 0, 0, 'r' },
+    { "rw", 0, 0, 'w' },
+    { "selinux", 0, 0, 0 },
     { "verbose", 0, 0, 'v' },
     { "version", 0, 0, 'V' },
     { 0, 0, 0, 0 }
@@ -131,22 +182,29 @@ main (int argc, char *argv[])
   struct drv *drv;
   struct mp *mps = NULL;
   struct mp *mp;
-  char *p;
+  char *p, *file = NULL;
+  const char *format = NULL;
   int c;
+  int option_index;
+  struct sigaction sa;
+  int next_prepared_drive = 1;
 
   initialize_readline ();
 
+  memset (&sa, 0, sizeof sa);
+  sa.sa_handler = SIG_IGN;
+  sa.sa_flags = SA_RESTART;
+  sigaction (SIGPIPE, &sa, NULL);
+
   /* guestfs_create is meant to be a lightweight operation, so
    * it's OK to do it early here.
    */
   g = guestfs_create ();
   if (g == NULL) {
     fprintf (stderr, _("guestfs_create: failed to create handle\n"));
-    exit (1);
+    exit (EXIT_FAILURE);
   }
 
-  guestfs_set_autosync (g, 1);
-
   /* If developing, add ./appliance to the path.  Note that libtools
    * interferes with this because uninstalled guestfish is a shell
    * script that runs the real program with an absolute path.  Detect
@@ -160,93 +218,274 @@ main (int argc, char *argv[])
       (argv[0][0] != '/' || strstr (argv[0], "/.libs/lt-") != NULL))
     guestfs_set_path (g, "appliance:" GUESTFS_DEFAULT_PATH);
 
+  /* CAUTION: we are careful to modify argv[0] here, only after
+   * using it just above.
+   *
+   * getopt_long uses argv[0], so give it the sanitized name.  Save a copy
+   * of the original, in case it's needed below.
+   */
+  char *real_argv0 = argv[0];
+  argv[0] = bad_cast (program_name);
+
   for (;;) {
-    c = getopt_long (argc, argv, options, long_options, NULL);
+    c = getopt_long (argc, argv, options, long_options, &option_index);
     if (c == -1) break;
 
     switch (c) {
-    case 'a':
-      if (access (optarg, R_OK) != 0) {
-       perror (optarg);
-       exit (1);
-      }
-      drv = malloc (sizeof (struct drv));
-      if (!drv) {
-        perror ("malloc");
-        exit (1);
+    case 0:                    /* options which are long only */
+      if (STREQ (long_options[option_index].name, "listen"))
+        remote_control_listen = 1;
+      else if (STREQ (long_options[option_index].name, "remote")) {
+        if (optarg) {
+          if (sscanf (optarg, "%d", &remote_control) != 1) {
+            fprintf (stderr, _("%s: --listen=PID: PID was not a number: %s\n"),
+                     program_name, optarg);
+            exit (EXIT_FAILURE);
+          }
+        } else {
+          p = getenv ("GUESTFISH_PID");
+          if (!p || sscanf (p, "%d", &remote_control) != 1) {
+            fprintf (stderr, _("%s: remote: $GUESTFISH_PID must be set"
+                               " to the PID of the remote process\n"),
+                     program_name);
+            exit (EXIT_FAILURE);
+          }
+        }
+      } else if (STREQ (long_options[option_index].name, "selinux")) {
+        guestfs_set_selinux (g, 1);
+      } else if (STREQ (long_options[option_index].name, "keys-from-stdin")) {
+        keys_from_stdin = 1;
+      } else if (STREQ (long_options[option_index].name, "progress-bars")) {
+        override_progress_bars = 1;
+      } else if (STREQ (long_options[option_index].name, "no-progress-bars")) {
+        override_progress_bars = 0;
+      } else if (STREQ (long_options[option_index].name, "echo-keys")) {
+        echo_keys = 1;
+      } else if (STREQ (long_options[option_index].name, "format")) {
+        if (!optarg || STREQ (optarg, ""))
+          format = NULL;
+        else
+          format = optarg;
+      } else if (STREQ (long_options[option_index].name, "csh")) {
+        remote_control_csh = 1;
+      } else {
+        fprintf (stderr, _("%s: unknown long option: %s (%d)\n"),
+                 program_name, long_options[option_index].name, option_index);
+        exit (EXIT_FAILURE);
       }
-      drv->filename = optarg;
-      drv->next = drvs;
-      drvs = drv;
+      break;
+
+    case 'a':
+      OPTION_a;
+      break;
+
+    case 'c':
+      OPTION_c;
+      break;
+
+    case 'd':
+      OPTION_d;
       break;
 
     case 'D':
       complete_dest_paths = 0;
       break;
 
-    case 'h':
+    case 'f':
+      if (file) {
+        fprintf (stderr, _("%s: only one -f parameter can be given\n"),
+                 program_name);
+        exit (EXIT_FAILURE);
+      }
+      file = optarg;
+      break;
+
+    case 'h': {
+      int r = 0;
+
       if (optarg)
-       display_command (optarg);
+        r = display_command (optarg);
       else if (argv[optind] && argv[optind][0] != '-')
-       display_command (argv[optind++]);
+        r = display_command (argv[optind++]);
       else
-       list_commands ();
-      exit (0);
+        list_commands ();
+
+      exit (r == 0 ? EXIT_SUCCESS : EXIT_FAILURE);
+    }
+
+    case 'i':
+      OPTION_i;
+      break;
 
     case 'm':
-      mp = malloc (sizeof (struct mp));
-      if (!mp) {
-       perror ("malloc");
-       exit (1);
-      }
-      p = strchr (optarg, ':');
-      if (p) {
-       *p = '\0';
-       mp->mountpoint = p+1;
-      } else
-       mp->mountpoint = "/";
-      mp->device = optarg;
-      mp->next = mps;
-      mps = mp;
+      OPTION_m;
       break;
 
     case 'n':
-      guestfs_set_autosync (g, 0);
+      OPTION_n;
+      break;
+
+    case 'N':
+      if (STRCASEEQ (optarg, "list") ||
+          STRCASEEQ (optarg, "help") ||
+          STRCASEEQ (optarg, "h") ||
+          STRCASEEQ (optarg, "?")) {
+        list_prepared_drives ();
+        exit (EXIT_SUCCESS);
+      }
+      drv = malloc (sizeof (struct drv));
+      if (!drv) {
+        perror ("malloc");
+        exit (EXIT_FAILURE);
+      }
+      drv->type = drv_N;
+      if (asprintf (&drv->N.filename, "test%d.img",
+                    next_prepared_drive++) == -1) {
+        perror ("asprintf");
+        exit (EXIT_FAILURE);
+      }
+      drv->N.data = create_prepared_file (optarg, drv->N.filename);
+      drv->N.data_free = free_prep_data;
+      drv->N.device = NULL;     /* filled in by add_drives */
+      drv->next = drvs;
+      drvs = drv;
       break;
 
     case 'r':
-      read_only = 1;
+      OPTION_r;
       break;
 
     case 'v':
-      verbose++;
-      guestfs_set_verbose (g, verbose);
+      OPTION_v;
       break;
 
     case 'V':
-      printf ("guestfish %s\n", PACKAGE_VERSION);
-      exit (0);
+      OPTION_V;
+      break;
+
+    case 'w':
+      OPTION_w;
+      break;
+
+    case 'x':
+      OPTION_x;
+      break;
 
-    case '?':
-      usage ();
-      exit (0);
+    case HELP_OPTION:
+      usage (EXIT_SUCCESS);
 
     default:
-      fprintf (stderr, _("guestfish: unexpected command line option 0x%x\n"),
-              c);
-      exit (1);
+      usage (EXIT_FAILURE);
+    }
+  }
+
+  /* Old-style -i syntax?  Since -a/-d/-N and -i was disallowed
+   * previously, if we have -i without any drives but with something
+   * on the command line, it must be old-style syntax.
+   */
+  if (inspector && drvs == NULL && optind < argc) {
+    while (optind < argc) {
+      if (strchr (argv[optind], '/') ||
+          access (argv[optind], F_OK) == 0) { /* simulate -a option */
+        drv = malloc (sizeof (struct drv));
+        if (!drv) {
+          perror ("malloc");
+          exit (EXIT_FAILURE);
+        }
+        drv->type = drv_a;
+        drv->a.filename = argv[optind];
+        drv->a.format = NULL;
+        drv->next = drvs;
+        drvs = drv;
+      } else {                  /* simulate -d option */
+        drv = malloc (sizeof (struct drv));
+        if (!drv) {
+          perror ("malloc");
+          exit (EXIT_FAILURE);
+        }
+        drv->type = drv_d;
+        drv->d.guest = argv[optind];
+        drv->next = drvs;
+        drvs = drv;
+      }
+
+      optind++;
     }
   }
 
   /* If we've got drives to add, add them now. */
-  add_drives (drvs);
+  add_drives (drvs, 'a');
+
+  /* If we've got mountpoints or prepared drives or -i option, we must
+   * launch the guest and mount them.
+   */
+  if (next_prepared_drive > 1 || mps != NULL || inspector) {
+    /* RHBZ#612178: If --listen flag is given, then we will fork into
+     * the background in rc_listen().  However you can't do this while
+     * holding a libguestfs handle open because the recovery process
+     * will think the main program has died and kill qemu.  Therefore
+     * don't use the recovery process for this case.  (A better
+     * solution would be to call launch () etc after the fork, but
+     * that greatly complicates the code here).
+     */
+    if (remote_control_listen)
+      guestfs_set_recovery_proc (g, 0);
 
-  /* If we've got mountpoints, we must launch the guest and mount them. */
-  if (mps != NULL) {
-    if (launch (g) == -1) exit (1);
+    if (launch () == -1) exit (EXIT_FAILURE);
+
+    if (inspector)
+      inspect_mount ();
+
+    prepare_drives (drvs);
     mount_mps (mps);
   }
 
+  /* Free up data structures, no longer needed after this point. */
+  free_drives (drvs);
+  free_mps (mps);
+
+  /* Remote control? */
+  if (remote_control_listen && remote_control) {
+    fprintf (stderr,
+             _("%s: cannot use --listen and --remote options at the same time\n"),
+             program_name);
+    exit (EXIT_FAILURE);
+  }
+
+  if (remote_control_listen) {
+    if (optind < argc) {
+      fprintf (stderr,
+               _("%s: extra parameters on the command line with --listen flag\n"),
+               program_name);
+      exit (EXIT_FAILURE);
+    }
+    if (file) {
+      fprintf (stderr,
+               _("%s: cannot use --listen and --file options at the same time\n"),
+               program_name);
+      exit (EXIT_FAILURE);
+    }
+    rc_listen ();
+  }
+
+  /* -f (file) parameter? */
+  if (file) {
+    close (0);
+    if (open (file, O_RDONLY) == -1) {
+      perror (file);
+      exit (EXIT_FAILURE);
+    }
+  }
+
+  /* Decide if we display progress bars. */
+  progress_bars =
+    override_progress_bars >= 0
+    ? override_progress_bars
+    : (optind >= argc && isatty (0));
+
+  if (progress_bars)
+    guestfs_set_progress_callback (g, progress_callback, NULL);
+
   /* Interactive, shell script, or command(s) on the command line? */
   if (optind >= argc) {
     if (isatty (0))
@@ -259,11 +498,40 @@ main (int argc, char *argv[])
 
   cleanup_readline ();
 
-  exit (0);
+  exit (EXIT_SUCCESS);
+}
+
+/* The <term.h> header file which defines this has "issues". */
+extern int tgetent (char *, const char *);
+
+static void
+set_up_terminal (void)
+{
+  /* http://www.cl.cam.ac.uk/~mgk25/unicode.html#activate */
+  utf8_mode = STREQ (nl_langinfo (CODESET), "UTF-8");
+
+  char *term = getenv ("TERM");
+  if (term == NULL) {
+    //fprintf (stderr, _("guestfish: TERM (terminal type) not defined.\n"));
+    return;
+  }
+
+  int r = tgetent (NULL, term);
+  if (r == -1) {
+    fprintf (stderr, _("guestfish: could not access termcap or terminfo database.\n"));
+    return;
+  }
+  if (r == 0) {
+    fprintf (stderr, _("guestfish: terminal type \"%s\" not defined.\n"),
+             term);
+    return;
+  }
+
+  have_terminfo = 1;
 }
 
 void
-pod2text (const char *heading, const char *str)
+pod2text (const char *name, const char *shortdesc, const char *str)
 {
   FILE *fp;
 
@@ -272,47 +540,32 @@ pod2text (const char *heading, const char *str)
     /* pod2text failed, maybe not found, so let's just print the
      * source instead, since that's better than doing nothing.
      */
-    printf ("%s\n\n%s\n", heading, str);
+    printf ("%s - %s\n\n%s\n", name, shortdesc, str);
     return;
   }
-  fputs ("=head1 ", fp);
-  fputs (heading, fp);
-  fputs ("\n\n", fp);
+  fprintf (fp, "=head1 NAME\n\n%s - %s\n\n", name, shortdesc);
   fputs (str, fp);
   pclose (fp);
 }
 
-/* List is built in reverse order, so mount them in reverse order. */
 static void
-mount_mps (struct mp *mp)
+prepare_drives (struct drv *drv)
 {
-  int r;
-
-  if (mp) {
-    mount_mps (mp->next);
-    if (!read_only)
-      r = guestfs_mount (g, mp->device, mp->mountpoint);
-    else
-      r = guestfs_mount_ro (g, mp->device, mp->mountpoint);
-    if (r == -1)
-      exit (1);
+  if (drv) {
+    prepare_drives (drv->next);
+    if (drv->type == drv_N)
+      prepare_drive (drv->N.filename, drv->N.data, drv->N.device);
   }
 }
 
-static void
-add_drives (struct drv *drv)
+static int
+launch (void)
 {
-  int r;
-
-  if (drv) {
-    add_drives (drv->next);
-    if (!read_only)
-      r = guestfs_add_drive (g, drv->filename);
-    else
-      r = guestfs_add_drive_ro (g, drv->filename);
-    if (r == -1)
-      exit (1);
+  if (guestfs_is_config (g)) {
+    if (guestfs_launch (g) == -1)
+      return -1;
   }
+  return 0;
 }
 
 static void
@@ -373,20 +626,29 @@ script (int prompt)
   char *cmd;
   char *p, *pend;
   char *argv[64];
-  int i, len;
+  int len;
   int global_exit_on_error = !prompt;
-  int exit_on_error;
+  int tilde_candidate;
 
-  if (prompt)
+  if (prompt) {
     printf (_("\n"
-             "Welcome to guestfish, the libguestfs filesystem interactive shell for\n"
-             "editing virtual machine filesystems.\n"
-             "\n"
-             "Type: 'help' for help with commands\n"
-             "      'quit' to quit the shell\n"
-             "\n"));
+              "Welcome to guestfish, the libguestfs filesystem interactive shell for\n"
+              "editing virtual machine filesystems.\n"
+              "\n"
+              "Type: 'help' for help on commands\n"
+              "      'man' to read the manual\n"
+              "      'quit' to quit the shell\n"
+              "\n"));
+
+    if (inspector) {
+      print_inspect_prompt ();
+      printf ("\n");
+    }
+  }
 
   while (!quit) {
+    char *pipe = NULL;
+
     exit_on_error = global_exit_on_error;
 
     buf = rl_gets (prompt);
@@ -397,7 +659,7 @@ script (int prompt)
 
     /* Skip any initial whitespace before the command. */
   again:
-    while (*buf && isspace (*buf))
+    while (*buf && c_isspace (*buf))
       buf++;
 
     if (!*buf) continue;
@@ -411,11 +673,11 @@ script (int prompt)
 
       r = system (buf+1);
       if (exit_on_error) {
-       if (r == -1 ||
-           (WIFSIGNALED (r) &&
-            (WTERMSIG (r) == SIGINT || WTERMSIG (r) == SIGQUIT)) ||
-           WEXITSTATUS (r) != 0)
-         exit (1);
+        if (r == -1 ||
+            (WIFSIGNALED (r) &&
+             (WTERMSIG (r) == SIGINT || WTERMSIG (r) == SIGQUIT)) ||
+            WEXITSTATUS (r) != 0)
+          exit (EXIT_FAILURE);
       }
       continue;
     }
@@ -435,7 +697,7 @@ script (int prompt)
     if (len == 0) continue;
 
     cmd = buf;
-    i = 0;
+    unsigned int i = 0;
     if (buf[len] == '\0') {
       argv[0] = NULL;
       goto got_command;
@@ -447,93 +709,114 @@ script (int prompt)
 
     /* Get the parameters. */
     while (*p && i < sizeof argv / sizeof argv[0]) {
-      /* Parameters which start with quotes or square brackets
-       * are treated specially.  Bare parameters are delimited
-       * by whitespace.
+      tilde_candidate = 0;
+
+      /* Parameters which start with quotes or pipes are treated
+       * specially.  Bare parameters are delimited by whitespace.
        */
       if (*p == '"') {
-       p++;
-       len = strcspn (p, "\"");
-       if (p[len] == '\0') {
-         fprintf (stderr, _("guestfish: unterminated double quote\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       if (p[len+1] && (p[len+1] != ' ' && p[len+1] != '\t')) {
-         fprintf (stderr, _("guestfish: command arguments not separated by whitespace\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       p[len] = '\0';
-       pend = p[len+1] ? &p[len+2] : &p[len+1];
+        p++;
+        len = strcspn (p, "\"");
+        if (p[len] == '\0') {
+          fprintf (stderr, _("%s: unterminated double quote\n"), program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        if (p[len+1] && (p[len+1] != ' ' && p[len+1] != '\t')) {
+          fprintf (stderr,
+                   _("%s: command arguments not separated by whitespace\n"),
+                   program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        p[len] = '\0';
+        pend = p[len+1] ? &p[len+2] : &p[len+1];
       } else if (*p == '\'') {
-       p++;
-       len = strcspn (p, "'");
-       if (p[len] == '\0') {
-         fprintf (stderr, _("guestfish: unterminated single quote\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       if (p[len+1] && (p[len+1] != ' ' && p[len+1] != '\t')) {
-         fprintf (stderr, _("guestfish: command arguments not separated by whitespace\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       p[len] = '\0';
-       pend = p[len+1] ? &p[len+2] : &p[len+1];
-       /*
+        p++;
+        len = strcspn (p, "'");
+        if (p[len] == '\0') {
+          fprintf (stderr, _("%s: unterminated single quote\n"), program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        if (p[len+1] && (p[len+1] != ' ' && p[len+1] != '\t')) {
+          fprintf (stderr,
+                   _("%s: command arguments not separated by whitespace\n"),
+                   program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        p[len] = '\0';
+        pend = p[len+1] ? &p[len+2] : &p[len+1];
+      } else if (*p == '|') {
+        *p = '\0';
+        pipe = p+1;
+        continue;
+        /*
       } else if (*p == '[') {
-       int c = 1;
-       p++;
-       pend = p;
-       while (*pend && c != 0) {
-         if (*pend == '[') c++;
-         else if (*pend == ']') c--;
-         pend++;
-       }
-       if (c != 0) {
-         fprintf (stderr, _("guestfish: unterminated \"[...]\" sequence\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       if (*pend && (*pend != ' ' && *pend != '\t')) {
-         fprintf (stderr, _("guestfish: command arguments not separated by whitespace\n"));
-         if (exit_on_error) exit (1);
-         goto next_command;
-       }
-       *(pend-1) = '\0';
-       */
+        int c = 1;
+        p++;
+        pend = p;
+        while (*pend && c != 0) {
+          if (*pend == '[') c++;
+          else if (*pend == ']') c--;
+          pend++;
+        }
+        if (c != 0) {
+          fprintf (stderr,
+                   _("%s: unterminated \"[...]\" sequence\n"), program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        if (*pend && (*pend != ' ' && *pend != '\t')) {
+          fprintf (stderr,
+                   _("%s: command arguments not separated by whitespace\n"),
+                   program_name);
+          if (exit_on_error) exit (EXIT_FAILURE);
+          goto next_command;
+        }
+        *(pend-1) = '\0';
+        */
       } else if (*p != ' ' && *p != '\t') {
-       len = strcspn (p, " \t");
-       if (p[len]) {
-         p[len] = '\0';
-         pend = &p[len+1];
-       } else
-         pend = &p[len];
+        /* If the first character is a ~ then note that this parameter
+         * is a candidate for ~username expansion.  NB this does not
+         * apply to quoted parameters.
+         */
+        tilde_candidate = *p == '~';
+        len = strcspn (p, " \t");
+        if (p[len]) {
+          p[len] = '\0';
+          pend = &p[len+1];
+        } else
+          pend = &p[len];
       } else {
-       fprintf (stderr, _("guestfish: internal error parsing string at '%s'\n"),
-                p);
-       abort ();
+        fprintf (stderr, _("%s: internal error parsing string at '%s'\n"),
+                 program_name, p);
+        abort ();
       }
 
-      argv[i++] = p;
+      if (!tilde_candidate)
+        argv[i] = p;
+      else
+        argv[i] = try_tilde_expansion (p);
+      i++;
       p = pend;
 
       if (*p)
-       p += strspn (p, " \t");
+        p += strspn (p, " \t");
     }
 
     if (i == sizeof argv / sizeof argv[0]) {
-      fprintf (stderr, _("guestfish: too many arguments\n"));
-      if (exit_on_error) exit (1);
+      fprintf (stderr, _("%s: too many arguments\n"), program_name);
+      if (exit_on_error) exit (EXIT_FAILURE);
       goto next_command;
     }
 
     argv[i] = NULL;
 
   got_command:
-    if (issue_command (cmd, argv) == -1) {
-      if (exit_on_error) exit (1);
+    if (issue_command (cmd, argv, pipe) == -1) {
+      if (exit_on_error) exit (EXIT_FAILURE);
     }
 
   next_command:;
@@ -547,62 +830,146 @@ cmdline (char *argv[], int optind, int argc)
   const char *cmd;
   char **params;
 
+  exit_on_error = 1;
+
   if (optind >= argc) return;
 
   cmd = argv[optind++];
-  if (strcmp (cmd, ":") == 0) {
-    fprintf (stderr, _("guestfish: empty command on command line\n"));
-    exit (1);
+  if (STREQ (cmd, ":")) {
+    fprintf (stderr, _("%s: empty command on command line\n"), program_name);
+    exit (EXIT_FAILURE);
+  }
+
+  /* Allow -cmd on the command line to mean (temporarily) override
+   * the normal exit on error (RHBZ#578407).
+   */
+  if (cmd[0] == '-') {
+    exit_on_error = 0;
+    cmd++;
   }
+
   params = &argv[optind];
 
   /* Search for end of command list or ":" ... */
-  while (optind < argc && strcmp (argv[optind], ":") != 0)
+  while (optind < argc && STRNEQ (argv[optind], ":"))
     optind++;
 
   if (optind == argc) {
-    if (issue_command (cmd, params) == -1) exit (1);
+    if (issue_command (cmd, params, NULL) == -1 && exit_on_error)
+        exit (EXIT_FAILURE);
   } else {
     argv[optind] = NULL;
-    if (issue_command (cmd, params) == -1) exit (1);
+    if (issue_command (cmd, params, NULL) == -1 && exit_on_error)
+      exit (EXIT_FAILURE);
     cmdline (argv, optind+1, argc);
   }
 }
 
-static int
-issue_command (const char *cmd, char *argv[])
+int
+issue_command (const char *cmd, char *argv[], const char *pipecmd)
 {
   int argc;
+  int stdout_saved_fd = -1;
+  int pid = 0;
+  int i, r;
+
+  reset_progress_bar ();
+
+  /* This counts the commands issued, starting at 1. */
+  command_num++;
+
+  /* For | ... commands.  Annoyingly we can't use popen(3) here. */
+  if (pipecmd) {
+    int fd[2];
+
+    if (fflush (stdout) == EOF) {
+      perror ("failed to flush standard output");
+      return -1;
+    }
+    if (pipe (fd) < 0) {
+      perror ("pipe failed");
+      return -1;
+    }
+    pid = fork ();
+    if (pid == -1) {
+      perror ("fork");
+      return -1;
+    }
+
+    if (pid == 0) {            /* Child process. */
+      close (fd[1]);
+      if (dup2 (fd[0], 0) < 0) {
+        perror ("dup2 of stdin failed");
+        _exit (1);
+      }
+
+      r = system (pipecmd);
+      if (r == -1) {
+        perror (pipecmd);
+        _exit (1);
+      }
+      _exit (WEXITSTATUS (r));
+    }
+
+    if ((stdout_saved_fd = dup (1)) < 0) {
+      perror ("failed to dup stdout");
+      return -1;
+    }
+    close (fd[0]);
+    if (dup2 (fd[1], 1) < 0) {
+      perror ("failed to dup stdout");
+      close (stdout_saved_fd);
+      return -1;
+    }
+    close (fd[1]);
+  }
 
   for (argc = 0; argv[argc] != NULL; ++argc)
     ;
 
-  if (strcasecmp (cmd, "help") == 0) {
-    if (argc == 0)
-      list_commands ();
-    else
-      display_command (argv[0]);
-    return 0;
+  /* If --remote was set, then send this command to a remote process. */
+  if (remote_control)
+    r = rc_remote (remote_control, cmd, argc, argv, exit_on_error);
+
+  /* Otherwise execute it locally. */
+  else if (STRCASEEQ (cmd, "help")) {
+    if (argc == 0) {
+      display_help ();
+      r = 0;
+    } else
+      r = display_command (argv[0]);
   }
-  else if (strcasecmp (cmd, "quit") == 0 ||
-          strcasecmp (cmd, "exit") == 0 ||
-          strcasecmp (cmd, "q") == 0) {
+  else if (STRCASEEQ (cmd, "quit") ||
+           STRCASEEQ (cmd, "exit") ||
+           STRCASEEQ (cmd, "q")) {
     quit = 1;
-    return 0;
+    r = 0;
   }
-  else if (strcasecmp (cmd, "alloc") == 0 ||
-          strcasecmp (cmd, "allocate") == 0)
-    return do_alloc (cmd, argc, argv);
-  else if (strcasecmp (cmd, "echo") == 0)
-    return do_echo (cmd, argc, argv);
-  else if (strcasecmp (cmd, "edit") == 0 ||
-          strcasecmp (cmd, "vi") == 0 ||
-          strcasecmp (cmd, "emacs") == 0)
-    return do_edit (cmd, argc, argv);
-  else if (strcasecmp (cmd, "lcd") == 0)
-    return do_lcd (cmd, argc, argv);
   else
-    return run_action (cmd, argc, argv);
+    r = run_action (cmd, argc, argv);
+
+  /* Always flush stdout after every command, so that messages, results
+   * etc appear immediately.
+   */
+  if (fflush (stdout) == EOF) {
+    perror ("failed to flush standard output");
+    return -1;
+  }
+
+  if (pipecmd) {
+    close (1);
+    if (dup2 (stdout_saved_fd, 1) < 0) {
+      perror ("failed to dup2 standard output");
+      r = -1;
+    }
+    close (stdout_saved_fd);
+    if (waitpid (pid, NULL, 0) < 0) {
+      perror ("waiting for command to complete");
+      r = -1;
+    }
+  }
+
+  return r;
 }
 
 void
@@ -610,84 +977,51 @@ list_builtin_commands (void)
 {
   /* help and quit should appear at the top */
   printf ("%-20s %s\n",
-         "help", _("display a list of commands or help on a command"));
+          "help", _("display a list of commands or help on a command"));
   printf ("%-20s %s\n",
-         "quit", _("quit guestfish"));
-
-  printf ("%-20s %s\n",
-         "alloc", _("allocate an image"));
-  printf ("%-20s %s\n",
-         "echo", _("display a line of text"));
-  printf ("%-20s %s\n",
-         "edit", _("edit a file in the image"));
-  printf ("%-20s %s\n",
-         "lcd", _("local change directory"));
+          "quit", _("quit guestfish"));
 
   /* actions are printed after this (see list_commands) */
 }
 
-void
+int
 display_builtin_command (const char *cmd)
 {
   /* help for actions is auto-generated, see display_command */
 
-  if (strcasecmp (cmd, "alloc") == 0 ||
-      strcasecmp (cmd, "allocate") == 0)
-    printf (_("alloc - allocate an image\n"
-             "     alloc <filename> <size>\n"
-             "\n"
-             "    This creates an empty (zeroed) file of the given size,\n"
-             "    and then adds so it can be further examined.\n"
-             "\n"
-             "    For more advanced image creation, see qemu-img utility.\n"
-             "\n"
-             "    Size can be specified (where <nn> means a number):\n"
-             "    <nn>             number of kilobytes\n"
-             "      eg: 1440       standard 3.5\" floppy\n"
-             "    <nn>K or <nn>KB  number of kilobytes\n"
-             "    <nn>M or <nn>MB  number of megabytes\n"
-             "    <nn>G or <nn>GB  number of gigabytes\n"
-             "    <nn>sects        number of 512 byte sectors\n"));
-  else if (strcasecmp (cmd, "echo") == 0)
-    printf (_("echo - display a line of text\n"
-             "     echo [<params> ...]\n"
-             "\n"
-             "    This echos the parameters to the terminal.\n"));
-  else if (strcasecmp (cmd, "edit") == 0 ||
-          strcasecmp (cmd, "vi") == 0 ||
-          strcasecmp (cmd, "emacs") == 0)
-    printf (_("edit - edit a file in the image\n"
-             "     edit <filename>\n"
-             "\n"
-             "    This is used to edit a file.\n"
-             "\n"
-             "    It is the equivalent of (and is implemented by)\n"
-             "    running \"cat\", editing locally, and then \"write-file\".\n"
-             "\n"
-             "    Normally it uses $EDITOR, but if you use the aliases\n"
-             "    \"vi\" or \"emacs\" you will get those editors.\n"
-             "\n"
-             "    NOTE: This will not work reliably for large files\n"
-             "    (> 2 MB) or binary files containing \\0 bytes.\n"));
-  else if (strcasecmp (cmd, "lcd") == 0)
-    printf (_("lcd - local change directory\n"
-             "    lcd <directory>\n"
-             "\n"
-             "    Change guestfish's current directory. This command is\n"
-             "    useful if you want to download files to a particular\n"
-             "    place.\n"));
-  else if (strcasecmp (cmd, "help") == 0)
+  if (STRCASEEQ (cmd, "help")) {
     printf (_("help - display a list of commands or help on a command\n"
-             "     help cmd\n"
-             "     help\n"));
-  else if (strcasecmp (cmd, "quit") == 0 ||
-          strcasecmp (cmd, "exit") == 0 ||
-          strcasecmp (cmd, "q") == 0)
+              "     help cmd\n"
+              "     help\n"));
+    return 0;
+  }
+  else if (STRCASEEQ (cmd, "quit") ||
+           STRCASEEQ (cmd, "exit") ||
+           STRCASEEQ (cmd, "q")) {
     printf (_("quit - quit guestfish\n"
-             "     quit\n"));
-  else
+              "     quit\n"));
+    return 0;
+  }
+  else {
     fprintf (stderr, _("%s: command not known, use -h to list all commands\n"),
-            cmd);
+             cmd);
+    return -1;
+  }
+}
+
+/* This is printed when the user types in an unknown command for the
+ * first command issued.  A common case is the user doing:
+ *   guestfish disk.img
+ * expecting guestfish to open 'disk.img' (in fact, this tried to
+ * run a command 'disk.img').
+ */
+void
+extended_help_message (void)
+{
+  fprintf (stderr,
+           _("Did you mean to open a disk image?  guestfish -a disk.img\n"
+             "For a list of commands:             guestfish -h\n"
+             "For complete documentation:         man guestfish\n"));
 }
 
 void
@@ -701,7 +1035,7 @@ free_strings (char **argv)
 }
 
 int
-count_strings (char * const * const argv)
+count_strings (char *const *argv)
 {
   int c;
 
@@ -711,7 +1045,7 @@ count_strings (char * const * const argv)
 }
 
 void
-print_strings (char * const * const argv)
+print_strings (char *const *argv)
 {
   int argc;
 
@@ -720,7 +1054,7 @@ print_strings (char * const * const argv)
 }
 
 void
-print_table (char * const * const argv)
+print_table (char *const *argv)
 {
   int i;
 
@@ -732,37 +1066,155 @@ int
 is_true (const char *str)
 {
   return
-    strcasecmp (str, "0") != 0 &&
-    strcasecmp (str, "f") != 0 &&
-    strcasecmp (str, "false") != 0 &&
-    strcasecmp (str, "n") != 0 &&
-    strcasecmp (str, "no") != 0;
+    STRCASENEQ (str, "0") &&
+    STRCASENEQ (str, "f") &&
+    STRCASENEQ (str, "false") &&
+    STRCASENEQ (str, "n") &&
+    STRCASENEQ (str, "no");
+}
+
+/* Free strings from a non-NULL terminated char** */
+static void
+free_n_strings (char **str, size_t len)
+{
+  size_t i;
+
+  for (i = 0; i < len; i++) {
+    free (str[i]);
+  }
+  free (str);
 }
 
-/* XXX We could improve list parsing. */
 char **
 parse_string_list (const char *str)
 {
-  char **argv;
-  const char *p, *pend;
-  int argc, i;
+  char **argv = NULL;
+  size_t argv_len = 0;
+
+  /* Current position pointer */
+  const char *p = str;
+
+  /* Token might be simple:
+   *  Token
+   * or be quoted:
+   *  'This is a single token'
+   * or contain embedded single-quoted sections:
+   *  This' is a sing'l'e to'ken
+   *
+   * The latter may seem over-complicated, but it's what a normal shell does.
+   * Not doing it risks surprising somebody.
+   *
+   * This outer loop is over complete tokens.
+   */
+  while (*p) {
+    char *tok = NULL;
+    size_t tok_len = 0;
+
+    /* Skip leading whitespace */
+    p += strspn (p, " \t");
 
-  argc = 1;
-  for (i = 0; str[i]; ++i)
-    if (str[i] == ' ') argc++;
+    char in_quote = 0;
 
-  argv = malloc (sizeof (char *) * (argc+1));
-  if (argv == NULL) { perror ("malloc"); exit (1); }
+    /* This loop is over token 'fragments'. A token can be in multiple bits if
+     * it contains single quotes. We also treat both sides of an escaped quote
+     * as separate fragments because we can't just copy it: we have to remove
+     * the \.
+     */
+    while (*p && (!c_isblank (*p) || in_quote)) {
+      const char *end = p;
 
-  p = str;
-  i = 0;
-  while (*p) {
-    pend = strchrnul (p, ' ');
-    argv[i] = strndup (p, pend-p);
-    i++;
-    p = *pend == ' ' ? pend+1 : pend;
+      /* Check if the fragment starts with a quote */
+      if ('\'' == *p) {
+        /* Toggle in_quote */
+        in_quote = !in_quote;
+
+        /* Skip the quote */
+        p++; end++;
+      }
+
+      /* If we're in a quote, look for an end quote */
+      if (in_quote) {
+        end += strcspn (end, "'");
+      }
+
+      /* Otherwise, look for whitespace or a quote */
+      else {
+        end += strcspn (end, " \t'");
+      }
+
+      /* Grow the token to accommodate the fragment */
+      size_t tok_end = tok_len;
+      tok_len += end - p;
+      char *tok_new = realloc (tok, tok_len + 1);
+      if (NULL == tok_new) {
+        perror ("realloc");
+        free_n_strings (argv, argv_len);
+        free (tok);
+        exit (EXIT_FAILURE);
+      }
+      tok = tok_new;
+
+      /* Check if we stopped on an escaped quote */
+      if ('\'' == *end && end != p && *(end-1) == '\\') {
+        /* Add everything before \' to the token */
+        memcpy (&tok[tok_end], p, end - p - 1);
+
+        /* Add the quote */
+        tok[tok_len-1] = '\'';
+
+        /* Already processed the quote */
+        p = end + 1;
+      }
+
+      else {
+        /* Add the whole fragment */
+        memcpy (&tok[tok_end], p, end - p);
+
+        p = end;
+      }
+    }
+
+    /* We've reached the end of a token. We shouldn't still be in quotes. */
+    if (in_quote) {
+      fprintf (stderr, _("Runaway quote in string \"%s\"\n"), str);
+
+      free_n_strings (argv, argv_len);
+
+      return NULL;
+    }
+
+    /* Add this token if there is one. There might not be if there was
+     * whitespace at the end of the input string */
+    if (tok) {
+      /* Add the NULL terminator */
+      tok[tok_len] = '\0';
+
+      /* Add the argument to the argument list */
+      argv_len++;
+      char **argv_new = realloc (argv, sizeof (*argv) * argv_len);
+      if (NULL == argv_new) {
+        perror ("realloc");
+        free_n_strings (argv, argv_len-1);
+        free (tok);
+        exit (EXIT_FAILURE);
+      }
+      argv = argv_new;
+
+      argv[argv_len-1] = tok;
+    }
+  }
+
+  /* NULL terminate the argument list */
+  argv_len++;
+  char **argv_new = realloc (argv, sizeof (*argv) * argv_len);
+  if (NULL == argv_new) {
+    perror ("realloc");
+    free_n_strings (argv, argv_len-1);
+    exit (EXIT_FAILURE);
   }
-  argv[i] = NULL;
+  argv = argv_new;
+
+  argv[argv_len-1] = NULL;
 
   return argv;
 }
@@ -787,6 +1239,13 @@ initialize_readline (void)
 
   rl_readline_name = "guestfish";
   rl_attempted_completion_function = do_completion;
+
+  /* Note that .inputrc (or /etc/inputrc) is not read until the first
+   * call the readline(), which happens later.  Therefore, these
+   * provide default values which can be overridden by the user if
+   * they wish.
+   */
+  (void) rl_variable_bind ("completion-ignore-case", "on");
 #endif
 }
 
@@ -804,16 +1263,229 @@ cleanup_readline (void)
     }
     close (fd);
 
+#ifdef HAVE_APPEND_HISTORY
     (void) append_history (nr_history_lines, histfile);
+#else
+    (void) write_history (histfile);
+#endif
+    clear_history ();
   }
 #endif
 }
 
+#ifdef HAVE_LIBREADLINE
 static void
 add_history_line (const char *line)
 {
-#ifdef HAVE_LIBREADLINE
   add_history (line);
   nr_history_lines++;
+}
 #endif
+
+int
+xwrite (int fd, const void *v_buf, size_t len)
+{
+  int r;
+  const char *buf = v_buf;
+
+  while (len > 0) {
+    r = write (fd, buf, len);
+    if (r == -1) {
+      perror ("write");
+      return -1;
+    }
+    buf += r;
+    len -= r;
+  }
+
+  return 0;
+}
+
+/* Resolve the special "win:..." form for Windows-specific paths.
+ * This always returns a newly allocated string which is freed by the
+ * caller function in "cmds.c".
+ */
+char *
+resolve_win_path (const char *path)
+{
+  char *ret;
+  size_t i;
+
+  if (STRCASENEQLEN (path, "win:", 4)) {
+    ret = strdup (path);
+    if (ret == NULL)
+      perror ("strdup");
+    return ret;
+  }
+
+  path += 4;
+
+  /* Drop drive letter, if it's "C:". */
+  if (STRCASEEQLEN (path, "c:", 2))
+    path += 2;
+
+  if (!*path) {
+    ret = strdup ("/");
+    if (ret == NULL)
+      perror ("strdup");
+    return ret;
+  }
+
+  ret = strdup (path);
+  if (ret == NULL) {
+    perror ("strdup");
+    return NULL;
+  }
+
+  /* Blindly convert any backslashes into forward slashes.  Is this good? */
+  for (i = 0; i < strlen (ret); ++i)
+    if (ret[i] == '\\')
+      ret[i] = '/';
+
+  char *t = guestfs_case_sensitive_path (g, ret);
+  free (ret);
+  ret = t;
+
+  return ret;
+}
+
+/* Resolve the special FileIn paths ("-" or "-<<END" or filename).
+ * The caller (cmds.c) will call free_file_in after the command has
+ * run which should clean up resources.
+ */
+static char *file_in_heredoc (const char *endmarker);
+static char *file_in_tmpfile = NULL;
+
+char *
+file_in (const char *arg)
+{
+  char *ret;
+
+  if (STREQ (arg, "-")) {
+    ret = strdup ("/dev/stdin");
+    if (!ret) {
+      perror ("strdup");
+      return NULL;
+    }
+  }
+  else if (STRPREFIX (arg, "-<<")) {
+    const char *endmarker = &arg[3];
+    if (*endmarker == '\0') {
+      fprintf (stderr, "%s: missing end marker in -<< expression\n",
+               program_name);
+      return NULL;
+    }
+    ret = file_in_heredoc (endmarker);
+    if (ret == NULL)
+      return NULL;
+  }
+  else {
+    ret = strdup (arg);
+    if (!ret) {
+      perror ("strdup");
+      return NULL;
+    }
+  }
+
+  return ret;
+}
+
+static char *
+file_in_heredoc (const char *endmarker)
+{
+  TMP_TEMPLATE_ON_STACK (template);
+  file_in_tmpfile = strdup (template);
+  if (file_in_tmpfile == NULL) {
+    perror ("strdup");
+    return NULL;
+  }
+
+  int fd = mkstemp (file_in_tmpfile);
+  if (fd == -1) {
+    perror ("mkstemp");
+    goto error1;
+  }
+
+  size_t markerlen = strlen (endmarker);
+
+  char buffer[BUFSIZ];
+  int write_error = 0;
+  while (fgets (buffer, sizeof buffer, stdin) != NULL) {
+    /* Look for "END"<EOF> or "END\n" in input. */
+    size_t blen = strlen (buffer);
+    if (STREQLEN (buffer, endmarker, markerlen) &&
+        (blen == markerlen ||
+         (blen == markerlen+1 && buffer[markerlen] == '\n')))
+      goto found_end;
+
+    if (xwrite (fd, buffer, blen) == -1) {
+      if (!write_error) perror ("write");
+      write_error = 1;
+      /* continue reading up to the end marker */
+    }
+  }
+
+  /* Reached EOF of stdin without finding the end marker, which
+   * is likely to be an error.
+   */
+  fprintf (stderr, "%s: end of input reached without finding '%s'\n",
+           program_name, endmarker);
+  goto error2;
+
+ found_end:
+  if (write_error) {
+    close (fd);
+    goto error2;
+  }
+
+  if (close (fd) == -1) {
+    perror ("close");
+    goto error2;
+  }
+
+  return file_in_tmpfile;
+
+ error2:
+  unlink (file_in_tmpfile);
+
+ error1:
+  free (file_in_tmpfile);
+  file_in_tmpfile = NULL;
+  return NULL;
+}
+
+void
+free_file_in (char *s)
+{
+  if (file_in_tmpfile) {
+    if (unlink (file_in_tmpfile) == -1)
+      perror (file_in_tmpfile);
+    file_in_tmpfile = NULL;
+  }
+
+  /* Free the device or file name which was strdup'd in file_in().
+   * Note it's not immediately clear, but for -<< heredocs,
+   * s == file_in_tmpfile, so this frees up that buffer.
+   */
+  free (s);
+}
+
+/* Resolve the special FileOut paths ("-" or filename).
+ * The caller (cmds.c) will call free (str) after the command has run.
+ */
+char *
+file_out (const char *arg)
+{
+  char *ret;
+
+  if (STREQ (arg, "-"))
+    ret = strdup ("/dev/stdout");
+  else
+    ret = strdup (arg);
+
+  if (!ret) {
+    perror ("strdup");
+    return NULL;
+  }
+  return ret;
 }