tweeper.php

   1 <?php
   2 /*
   3  * tweeper - a Twitter to RSS web scraper
   4  *
   5  * Copyright (C) 2013  Antonio Ospite <ospite@studenti.unina.it>
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation, either version 3 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19  */
  20
  21 date_default_timezone_set('UTC');
  22
  23 function str_to_gmdate($date)
  24 {
  25   $timestamp = strtotime($date);
  26   return epoch_to_gmdate($timestamp);
  27 }
  28
  29 function epoch_to_gmdate($timestamp)
  30 {
  31   return gmdate('D, d M Y H:i:s', $timestamp) . ' GMT';
  32 }
  33
  34 function get_url_info($url)
  35 {
  36   $ch = curl_init($url);
  37   curl_setopt_array($ch, array(
  38       CURLOPT_HEADER => TRUE,          // get the header
  39       CURLOPT_NOBODY => TRUE,          // don't donwload body
  40       CURLOPT_FOLLOWLOCATION => TRUE,  // the magic sauce
  41       CURLOPT_RETURNTRANSFER => TRUE,
  42       CURLOPT_SSL_VERIFYHOST => FALSE, // suppress certain SSL errors
  43       CURLOPT_SSL_VERIFYPEER => FALSE,
  44   ));
  45   curl_exec($ch);
  46   $url_info = curl_getinfo($ch);;
  47   curl_close($ch);
  48
  49   return $url_info;
  50 }
  51
  52 function generate_enclosure($url) {
  53   $url_info = get_url_info($url);
  54
  55   $dom = new DomDocument();
  56   $enc = $dom->createElement('enclosure');
  57   $enc->setAttribute( 'url', $url_info['url']);
  58   $enc->setAttribute( 'length', $url_info['download_content_length']);
  59   $enc->setAttribute( 'type', $url_info['content_type']);
  60
  61   $dom->appendChild($enc);
  62
  63   return $dom->saveXML($enc);
  64 }
  65
  66
  67 class Tweeper {
  68
  69   private $USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0";
  70
  71   public function __construct($stylesheet) {
  72     $stylesheet_contents = $this->get_contents($stylesheet);
  73
  74     $xslDoc = new DOMDocument();
  75     $xslDoc->loadXML($stylesheet_contents);
  76
  77     $this->xsltProcessor = new XSLTProcessor();
  78     $this->xsltProcessor->registerPHPFunctions();
  79     $this->xsltProcessor->importStylesheet($xslDoc);
  80   }
  81
  82   private function get_contents($uri) {
  83     # https://www.wjsams.com/c/docs/Wiki/Php-HowToSetUserAgentOnFileGetContents
  84     $opts = array(
  85       'http' => array(
  86         'method' => "GET",
  87         'header' => join(array(
  88           "Accept-language: en\r\n",
  89           "User-Agent: {$this->USER_AGENT}\r\n"
  90         ))
  91       )
  92     );
  93
  94     $context = stream_context_create($opts);
  95     $contents = file_get_contents($uri, false, $context);
  96     return $contents;
  97   }
  98
  99   public function tweep($uri) {
 100     $html = $this->get_contents($uri);
 101
 102     $xmlDoc = new DOMDocument();
 103     $xmlDoc->loadHTML($html);
 104
 105     $output = $this->xsltProcessor->transformToXML($xmlDoc);
 106
 107     if (FALSE === $output) {
 108       trigger_error('XSL transformation failed.', E_USER_ERROR);
 109       return NULL;
 110     }
 111     return $output;
 112   }
 113 }
 114
 115 function usage($argv)
 116 {
 117   if (php_sapi_name() != 'cli')
 118     $usage = htmlentities("{$_SERVER['SCRIPT_NAME']}?src_url=<src_url>");
 119   else
 120     $usage = "{$argv[0]} <src_url>\n";
 121
 122   return "usage: $usage";
 123 }
 124
 125 if (isset($_GET['src_url'])) {
 126   $src_url = $_GET['src_url'];
 127 } else if (isset($argv[1])) {
 128   if ($argv[1] == "-h" || $argv[1] == "--help") {
 129     echo usage($argv);
 130     return 0;
 131   }
 132   $src_url = $argv[1];
 133 } else {
 134   die(usage($argv));
 135 }
 136
 137 $url = parse_url($src_url);
 138 if (FALSE === $url || empty($url["host"]))
 139   die("Invalid url: $src_url\n");
 140
 141 $stylesheet = __DIR__ . "/rss_converter_" . $url["host"] . ".xsl";
 142 if (FALSE === file_exists($stylesheet))
 143   die("Conversion to RSS not supported: {$url["host"]}\n");
 144
 145 $tweeper = new Tweeper($stylesheet);
 146 echo $tweeper->tweep($src_url);