TODO: remove item about duplicated RSS items
[tweeper.git] / tweeper.php
index 178176d..5e9d242 100644 (file)
@@ -213,6 +213,12 @@ class Tweeper {
     return $this->json_to_xml($html, '/window._sharedData = (.*);/', 'instagram');
   }
 
+  private function preprocess_html_facebook_com($html) {
+    $html = str_replace('<!--', '', $html);
+    $html = str_replace('-->', '', $html);
+    return $html;
+  }
+
   private function html_to_xml($html, $host) {
     $xmlDoc = new DOMDocument();
 
@@ -244,7 +250,10 @@ class Tweeper {
       return NULL;
     }
 
-    $xsltProcessor = $this->load_stylesheet($url["host"]);
+    // Strip the leading www. to be more forgiving on input URLs
+    $host = preg_replace('/^www\./', '', $url["host"]);
+
+    $xsltProcessor = $this->load_stylesheet($host);
     if (NULL === $xsltProcessor) {
       return NULL;
     }
@@ -254,7 +263,12 @@ class Tweeper {
       return NULL;
     }
 
-    $xmlDoc = $this->html_to_xml($html, $url["host"]);
+    $preprocess_html_host_method = 'preprocess_html_' . str_replace(".", "_", $host);
+    if (method_exists($this, $preprocess_html_host_method)) {
+      $html = call_user_func_array(array($this, $preprocess_html_host_method), array($html));
+    }
+
+    $xmlDoc = $this->html_to_xml($html, $host);
     if (NULL === $xmlDoc) {
       return NULL;
     }