Fix search highlighting.
[cocanwiki.git] / scripts / page.ml
1 (* COCANWIKI - a wiki written in Objective CAML.
2  * Written by Richard W.M. Jones <rich@merjis.com>.
3  * Copyright (C) 2004 Merjis Ltd.
4  * $Id: page.ml,v 1.24 2004/09/27 18:08:02 rich Exp $
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; see the file COPYING.  If not, write to
18  * the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
19  * Boston, MA 02111-1307, USA.
20  *)
21
22 open Apache
23 open Registry
24 open Cgi
25 open Printf
26
27 open ExtString
28
29 open Cocanwiki
30 open Cocanwiki_template
31 open Cocanwiki_ok
32 open Cocanwiki_date
33 open Cocanwiki_server_settings
34
35 (* Maximum level of redirection. *)
36 let max_redirect = 4
37
38 type fp_status = FPOK of int * string * string * Dbi.datetime * bool
39                | FPRedirect of string
40                | FPNotFound
41
42 (* Referer strings which help us decide if the user came from
43  * a search engine and highlight terms in the page appropriately.
44  *)
45 let search_engines = [
46   Pcre.regexp "^http://.*google\\.", [ "q"; "as_q"; "as_epq"; "as_oq" ];
47   Pcre.regexp "^http://.*yahoo\\.", [ "p" ];
48   Pcre.regexp "^http://.*msn\\.", [ "q"; "MT" ]
49 ]
50 let split_words = Pcre.regexp "\\W+"
51
52 let split_qs_re = Pcre.regexp "\\?"
53
54 let xhtml_re = Pcre.regexp "<.*?>|[^<>]+"
55
56 let run r (q : cgi) (dbh : Dbi.connection) hostid {edit_anon=edit_anon} user =
57   let template_page = get_template dbh hostid "page.html" in
58   let template_404  = get_template dbh hostid "page_404.html" in
59
60   let page = q#param "page" in
61   let page = if page = "" then "index" else page in
62
63   (* Host-specific fields. *)
64   let sth = dbh#prepare_cached "select css is not null,
65                                        feedback_email is not null,
66                                        mailing_list, search_box
67                                   from hosts where id = ?" in
68   sth#execute [`Int hostid];
69   let has_host_css, has_feedback_email, mailing_list, search_box =
70     match sth#fetch1 () with
71       | [ `Bool has_host_css; `Bool has_feedback_email; `Bool mailing_list;
72           `Bool search_box ] ->
73           has_host_css, has_feedback_email, mailing_list, search_box
74       | _ -> assert false in
75
76   (* Can the user edit?  Manage users?  etc. *)
77   let can_edit = can_edit edit_anon user in
78   let can_manage_users = can_manage_users user in
79   let can_manage_contacts = can_manage_contacts user in
80   let can_manage_site = can_manage_site user in
81   let can_edit_global_css = can_edit_global_css user in
82
83   (* Do we have a stats page set up? *)
84   let has_stats = server_settings_stats_page dbh <> None in
85
86   (* Given the referer string, return the list of search terms.  If none
87    * can be found, then throws Not_found.
88    *)
89   let search_terms_from_referer referer =
90     let _, argnames =
91       List.find (fun (rex, _) -> Pcre.pmatch ~rex referer) search_engines in
92     let url, qs =
93       match Pcre.split ~rex:split_qs_re ~max:2 referer with
94         | [url] | [url;""] -> url, ""
95         | [url;qs] -> url, qs
96         | _ -> assert false in
97     let args = Cgi_args.parse qs in
98     let argname =
99       List.find (fun argname -> List.mem_assoc argname args) argnames in
100     let search_string = List.assoc argname args in
101     Pcre.split ~rex:split_words search_string
102   in
103
104   (* Given a full page of XHTML, highlight search terms found in the
105    * <body> part of the page.
106    *)
107   let highlight_search_terms xhtml search_terms span_class =
108     (* Split the original XHTML into strings and tags.  For example if
109      * the original string is: "This is some <b>bold</b> text.<br/>", then
110      * after this step we will have the following list:
111      * [ "This is some "; "<b>"; "bold"; "</b>"; " text."; "<br/>" ]
112      *)
113     let xhtml = Pcre.extract_all ~rex:xhtml_re xhtml in
114     let xhtml = Array.to_list xhtml in
115     let xhtml = List.map (fun matches -> matches.(0)) xhtml in
116
117     (* Find the <body> ... </body> tags.  We only want to apply
118      * highlighting to tags within this area.
119      *)
120     let rec list_split f acc = function
121       | [] -> List.rev acc, []
122       | ((x :: _) as xs) when f x -> List.rev acc, xs
123       | x :: xs ->
124           let acc = x :: acc in
125           list_split f acc xs
126     in
127     let head, body =
128       list_split (fun str -> String.starts_with str "<body") [] xhtml in
129     let body, tail =
130       list_split ((=) "</body>") [] body in
131     (* NB: Hopefully, xhtml = head @ body @ tail. *)
132
133     (* The search terms are a list of simple words.  Turn into a big
134      * regular expression, because we want to substitute for each.  We
135      * end up with a regexp like '(word1|word2|word3)'.
136      *)
137     let rex =
138       Pcre.regexp ~flags:[`CASELESS]
139         ("(" ^ String.concat "|" search_terms ^ ")") in
140
141     (* Do the substitution, but only on text, not elements! *)
142     let body =
143       let subst text =
144         "<span class=\"" ^ span_class ^ "\">" ^ text ^ "</span>"
145       in
146       List.map (fun str ->
147                   if String.length str > 0 && str.[0] != '<' then
148                     Pcre.substitute ~rex ~subst str
149                   else
150                     str) body in
151
152     (* Join the XHTML fragments back together again. *)
153     String.concat "" (List.concat [ head ; body ; tail ])
154   in
155
156   (* This code generates ordinary pages. *)
157   let make_page title description pageid last_modified_date has_page_css
158       version page page' =
159     let t = template_page in
160     t#set "title" title;
161     t#set "description" description;
162     t#set "pageid" (string_of_int pageid);
163     t#set "last_modified_date" (printable_date last_modified_date);
164
165     if page <> page' then (* redirection *) (
166       t#set "page" page';
167       t#set "original_page" page; (* XXX title - get it from database *)
168       t#conditional "redirected" true
169     ) else (
170       t#set "page" page;
171       t#conditional "redirected" false
172     );
173
174     t#conditional "has_host_css" has_host_css;
175     t#conditional "has_page_css" has_page_css;
176
177     t#conditional "has_feedback_email" has_feedback_email;
178     t#conditional "mailing_list" mailing_list;
179     t#conditional "search_box" search_box;
180
181     t#conditional "can_edit" can_edit;
182     t#conditional "can_manage_users" can_manage_users;
183     t#conditional "can_manage_contacts" can_manage_contacts;
184     t#conditional "can_manage_site" can_manage_site;
185     t#conditional "can_edit_global_css" can_edit_global_css;
186
187     t#conditional "has_stats" has_stats;
188
189     (* Pull out the sections in this page. *)
190     let sth = dbh#prepare_cached
191                 "select ordering, sectionname, content, divname
192                    from contents
193                   where pageid = ?
194                   order by ordering" in
195     sth#execute [`Int pageid];
196
197     let sections =
198       sth#map
199         (function [`Int ordering;
200                    (`Null | `String _) as sectionname;
201                    `String content;
202                    (`Null | `String _) as divname] ->
203            let divname, has_divname =
204              match divname with
205                  `Null -> "", false
206                | `String divname -> divname, true in
207            let sectionname, has_sectionname =
208              match sectionname with
209                  `Null -> "", false
210                | `String sectionname -> sectionname, true in
211            let linkname = linkname_of_sectionname sectionname in
212            [ "ordering", Template.VarString (string_of_int ordering);
213              "has_sectionname", Template.VarConditional has_sectionname;
214              "sectionname", Template.VarString sectionname;
215              "linkname", Template.VarString linkname;
216              "content",
217                Template.VarString
218                  (Wikilib.xhtml_of_content dbh hostid content);
219              "has_divname", Template.VarConditional has_divname;
220              "divname", Template.VarString divname ]
221            | _ -> assert false) in
222
223     t#table "sections" sections;
224
225     (* Are we showing an old version of the page?  If so, warn. *)
226     (match version with
227          None ->
228            t#conditional "is_old_version" false
229        | Some pageid ->
230            t#conditional "is_old_version" true;
231            t#set "old_version" (string_of_int pageid));
232
233     (* Login status. *)
234     (match user with
235          Anonymous ->
236            t#conditional "user_logged_in" false
237        | User (_, username, _) ->
238            t#conditional "user_logged_in" true;
239            t#set "username" username);
240
241     (* If we are coming from a search engine then we want to highlight
242      * search terms throughout the whole page ...
243      *)
244     try
245       let referer = Table.get (Request.headers_in r) "Referer" in
246       let search_terms = search_terms_from_referer referer in
247
248       (* Highlight the search terms. *)
249       let xhtml = t#to_string in
250       let xhtml = highlight_search_terms xhtml search_terms "search_term" in
251
252       (* Deliver the page. *)
253       q#header ();
254       print_string r xhtml
255     with
256         Not_found ->
257           (* No referer / no search terms / not a search engine referer. *)
258           q#template t
259   in
260
261   (* This code generates 404 pages. *)
262   let make_404 () =
263     Request.set_status r 404;           (* Return a 404 error code. *)
264
265     let t = template_404 in
266     t#set "page" page;
267
268     let search_terms =
269       String.map
270         (function
271              ('a'..'z' | 'A'..'Z' | '0'..'9') as c -> c
272            | _ -> ' ') page in
273
274     t#set "search_terms" search_terms;
275
276     t#conditional "has_host_css" has_host_css;
277
278     t#conditional "can_edit" can_edit;
279     t#conditional "can_manage_users" can_manage_users;
280     t#conditional "can_manage_contacts" can_manage_contacts;
281     t#conditional "can_manage_site" can_manage_site;
282     t#conditional "can_edit_global_css" can_edit_global_css;
283
284     t#conditional "has_stats" has_stats;
285
286     q#template t
287   in
288
289   (* Fetch a page by name.  This function can give three answers:
290    * (1) Page fetched OK (fetches some details of the page).
291    * (2) Page is a redirect (fetches the name of the redirect page).
292    * (3) Page not found in database, ie. 404 error.
293    *)
294   (* XXX Should do a case-insensitive matching of URLs, and if the URL differs
295    * in case only should redirect to the lowercase version.
296    *)
297   let fetch_page page version allow_redirect =
298     match version with
299       | None ->
300           if allow_redirect then (
301             let sth =
302               dbh#prepare_cached
303                 "select redirect, id, title, description, last_modified_date,
304                         css is not null
305                    from pages where hostid = ? and url = ?" in
306             sth#execute [`Int hostid; `String page];
307             (try
308                (match sth#fetch1 () with
309                   | [ `Null; `Int id; `String title; `String description;
310                       `Timestamp last_modified_date; `Bool has_page_css ] ->
311                       FPOK (id, title, description, last_modified_date,
312                             has_page_css)
313                   | `String redirect :: _ ->
314                       FPRedirect redirect
315                   | _ -> assert false)
316              with
317                  Not_found -> FPNotFound)
318           ) else (* redirects not allowed ... *) (
319             let sth =
320               dbh#prepare_cached
321                 "select id, title, description, last_modified_date,
322                         css is not null
323                    from pages where hostid = ? and url = ?" in
324             sth#execute [`Int hostid; `String page];
325             (try
326                (match sth#fetch1 () with
327                   | [ `Int id; `String title; `String description;
328                       `Timestamp last_modified_date; `Bool has_page_css ] ->
329                       FPOK (id, title, description, last_modified_date,
330                             has_page_css)
331                   | _ -> assert false)
332              with
333                  Not_found -> FPNotFound)
334           )
335       | Some version ->
336             let sth =
337               dbh#prepare_cached
338                 "select id, title, description, last_modified_date,
339                         css is not null
340                    from pages
341                   where hostid = ? and id = ? and
342                         (url = ? or url_deleted = ?)" in
343             sth#execute [`Int hostid; `Int version;
344                          `String page; `String page];
345             (try
346                (match sth#fetch1 () with
347                   | [ `Int id; `String title; `String description;
348                       `Timestamp last_modified_date; `Bool has_page_css ] ->
349                       FPOK (id, title, description, last_modified_date,
350                             has_page_css)
351                   | _ -> assert false)
352              with
353                  Not_found -> FPNotFound)
354   in
355
356   (* Here we deal with the complex business of redirects and versions. *)
357   (* Only allow the no_redirect and version syntax for editors. *)
358   let allow_redirect, version =
359     if can_edit then (
360       not (q#param_true "no_redirect"),
361       try Some (int_of_string (q#param "version")) with Not_found -> None
362     ) else
363       (true, None) in
364
365   let rec loop page' i =
366     if i > max_redirect then (
367       error ~title:"Too many redirections" ~back_button:true
368         q ("Too many redirects between pages.  This may happen because " ^
369            "of a cycle of redirections.");
370       return ()
371     ) else
372       match fetch_page page' version allow_redirect with
373         | FPOK (pageid, title, description, last_modified_date, has_page_css)->
374             make_page title description pageid last_modified_date has_page_css
375               version page page'
376         | FPRedirect page' ->
377             loop page' (i+1)
378         | FPNotFound ->
379             make_404 ()
380   in
381   loop page 0
382
383 let () =
384   register_script run