rss_converter_twitter.com.xsl: add a mode attribute to the enclosure template

This is needed because another template with
match="a[@data-expanded-url]" will be added in a future commit.

rss_converter_twitter.com.xsl: cleanup titles

Prepend a white space in front of some URLs (those not preceded by an
open parenthesis) because otherwise they get rendered attached to the
preceding text.

Also strip non-breaking spaces and horizontal ellipses, they are not
needed because the RSS feed show the full URLs.

tweeper.php: add "image/png" to the supported types for <enclosure/>

tweeper.php: rename DomDocument() to DOMDocument()

DOMDocument() is the more used form, it is also already used in some
other parts of the file.

Return a DOMElement instead of a string in Tweeper::generateEnclosure()

This make the generated XML have proper indentation in case the
<enclosure/> element gets added.

tweeper.php: move the loadStylesheet() method more down in the file

This way all static methods are grouped together before non-static
methods.

tweeper.php: write XML in upper case inside comments

tweeper.php: make jsonToXml() a static method

tweeper.php: make logXmlError() a static method

tweeper.php: make it clearer that getUrlContents is a static method

tweeper.php: fix naming conventions for the get_xml_ and preprocess_html_ funcs

tweeper.php: rename the ERROR_STREAM variable to error_stream

Variables should be in lower case.

Use more accurate names for the date conversion functions

The new names are epochToRssDate and strToRssDate.

Don't refer to gmdate() in the function names, this is just an
implementation detail which should not have leaked into the external
interface, instead mention RssDate in the function names to communicate
something about the output they produce.

Also, while at it, user the DATE_RSS format when calling gmdate().

Rename epoch_to_gmdate to epochToGmdate, and str_to_gmdate to strToGmdate

tweeper.php: rename getContents to getUrlContents and getInfo to getUrlInfo

The new names should be more explicative.

tweeper.php: use lowerCamel case for methods names

Fix naming conventions for the generate_enclosure functon

Use lowerCamel case for the function name, keep snake_case for the local
variable in the php code, and use a dash-separated case for the xsl
variable.

tweeper.php: user lowerCamel case for class variables

tweeper.php: fix a typo s/Apparenty/Apparently/

tweeper.php: write the word "URL" in upper case

tweeper.php: fix style issues pointed out by PHP_CodeSniffer

These issues were fixed automatically by phpcbf with some minor manual
touches.

tweeper.php: use the same parenthesis style for all functions

tweeper: fix style issues found by Coder Sniffer

----------------------------------------------------------------------
FOUND 3 ERRORS AFFECTING 2 LINES
----------------------------------------------------------------------
 1 | ERROR | [x] Missing file doc comment
 4 | ERROR | [x] "require" is a statement not a function; no
   |       |     parentheses are required
 4 | ERROR | [x] Language constructs must be followed by a single
   |       |     space; expected "require (" but found "require("

tweeper.php: rename $rootName to $root_node_name

tweeper.php: make json_to_xml() do strictly what its name says

Extracting the json data from the HTML does not really belong to the
json_to_xml() function.

Use https in URLs for Twitter.com and ao2.it

rss_converter_twitter.com.xsl: fix getting the profile picture URL

rss_converter_dilbert.com.xsl: put the full text in the alt attribute

rss_converter_dilbert.com.xsl: ellipsize long titles

rss_converter_facebook.com.xsl: fix getting the item description

Hopefully this is a more stable way to get just the useful content of
a story skipping the header and the footer.

rss_converter_facebook.com.xsl: fix the permalink

Use the page id and the story id to build a more robust permalink URL.

NEWS: add release notes for the v0.5 release

INSTALL: mention php-symfony-serializer instead of php-xml-serializer

Use the Symfony Serializer component instead of the PEAR XML_Serializer

XML_Serializer is old and unmaintained, and it is going to be removed
from Debian, so use a more robust and supported alternative.

rss_converter_twitter.com.xsl: restrict tweet selection some more

Only select elements which have the 'data-item-id' attribute, this way
we avoid picking up the image gallery at the top of hashtag pages which
does not have an RSS item structure.

JFTR the gallery is inside an element like this:

  <li class="AdaptiveStreamImageGallery AdaptiveSearchTimeline-separationModule js-stream-item"
      data-item-type="tweet">

with no 'data-item-id'.

rss_converter_twitter.com.xsl: set a fall-back channel title

When there is no screen-name, like for hashtag ans searches pages, use
the main page title as the RSS channel title.

rss_converter_twitter.com.xsl: restrict the criterion to match actual tweets

By only using li[@data-item-type='tweet'] sometimes void entries where
selected, and in particular the ones under <ol class="activity-popup-users">.

So just pick the items under <ol id="stream-items-id"> as the actual tweets
with valid contents in them.

NEWS: add release notes for the v0.4 release

rss_converter_instagram.com.xsl: use the username when there is no full name

rss_converter_instagram.com.xsl: improve channel description

Some users have a biography, some users only have an external URL, some
users have both and some have neither.

Make the channel description a little smarter trying to handle these
case.

rss_converter_facebook.com.xsl: fix channel title, link and description

It looks like using the meta elements does not work anymore.

TODO: support for images on Twitter.com can be improved

tweeper.1.asciidoc: update the copyright years

tweeper.1.asciidoc: document how to use the PHP built-in web server

README: improve wording in a paragraph

tweeper.1.asciidoc: describe what tweeper is in a more generic way

README: describe what tweeper is in a more generic way

Since tweeper does not support only Twitter.com but also other social
websites, give a more general idea of what it can be used for.

rss_converter_instagram.com.xsl: show the user name in the titles

This makes it easier to see who created the item when different
Instagram feeds are grouped into a directory.

tweeper: avoid a reference to $argv in non-cli mode

$argv is not defined in non-cli mode, so protect its usage behind an
is_cli() check.

For instance, this avoids a message in the PHP built-in web server, when
usage() gets called:

  PHP Notice:  Undefined variable: argv in .../tweeper.php on line 357

tweeper: make is_cli() stricter

Assume that tweeper is running from an actual command line only when
php_sapi_name() matches _exactly_ the string "cli".

This makes it possible to use tweeper in a browser using the PHP
built-in web server, for which php_sapi_name() returns "cli-server".

TODO: remove item about duplicated RSS items

Now all the generated feeds use the <guid/> element to uniquely identify
items.

TODO: remove item about Instagram videos

Even if tweeper does not show the video itself in the RSS item content
it at least tells the user that the content is a video, so consider this
done.

rss_converter_instagram.com.xsl: add a label if the content is a video

rss_converter_instagram.com.xsl: fix enclosure generation

rss_converter_instagram.com.xsl: ellipsize titles

rss_converter_instagram.com.xsl: use the image caption as the item content

Instagram has reintroduced serving the image caption in the json data,
so use it; it is way nicer than the stats tweeper was showing before.

rss_converter_instagram.com.xsl: use better name for the image variable

Add support for Facebook.com public pages

tweeper.php: support host-specific methods for preprocessing the HTML data

Some sites serve mangled HTML code, so a mechanism to clean it up before
loading it as XML is needed.

For instance, facebook.com puts come content inside HTML comments, and
these must be stripped in order to make the content available to the
HTML parser when loading the data into a DOMDocument.

tweeper.php: strip the leading "www." from hosts

This makes tweeper more forgiving when it is passed URLs either with or
without the "www" subdomain for the same host.

tweeper.php: make error about missing stylesheet more explicit

rss_converter_instagram.com.xsl: update to new json format

The new Instagram homepage provides json data in a format different than
before, update the xsl to support it.

Unfortunately the data in the new format does not provide the
descriptions of the items, so use some placeholder values (URL, comments
count, likes count) to present at least something.

rss_converter_twitter.com.xsl: update XPath of tweet content

Using the role attribute to differentiate between original tweets and
quoted tweet, as introduced in commit 4c2e986, does not work anymore,
but the fact that original tweets are <li></li> elements while quoted
tweets are <div></div> elements can be used instead.

rss_converter_twitter.com.xsl: improve matching the permalink

Extract the permalink using the @data-permalink-path attribute, this
works for withheld tweets too preventing them from having all the same
guid.

rss_converter_twitter.com.xsl: restrict tweet matching

With new style retweets the quoted text is also matched by
[@data-item-type='tweet'] but then the content is not handled, resulting
in empty items in the RSS feed.

Checking also for @role='listitem' allows to pick up only top-level
tweets.

tweeper.php: make date handling functions a little more robust

Provide at least _some_ error checking and a fall-back value for invalid
dates.

tweeper.php: factor out an is_cli() function

README: mention the supported sites in the README file

tweeper.1.asciidoc: mention the supported sites in the man page

TODO: update some entries

The new Dilbert.com site does not have a different /fast version, so no
point in mentioning it.

Mention possible support for Instagram videos.

Add support for converting Instagram user timelines to RSS

tweeper.php: add infrastructure for sites using json data

Some websites provide the timelines as json data and convert that to
html in the client.

Supporting these sites will be done by defining host specific methods to
extract the json data to pass to json_to_xml().

tweeper.php: fix validation when generating enclosure elements

The RSS specification says that the enclosure element url must be http.
See http://sourceforge.net/p/feedvalidator/bugs/72/

So follow the specification, for now. If feedvalidator decides to relax
this requirement this hack will be removed.

tweeper.php: factor out an html_to_xml() function from the tweep() method

Split the operation to get some xml out of the web page, this in
preparation for adding some more flexibility about what can be converted
to xml for a subsequent transformation.

tweeper.php: move loading the stylesheet into the Tweeper class

Let the Tweeper class load the stylesheet, specifically when the tweep()
method is called.

This way the same Tweeper object can be reused to convert different URLs
from different websites.

rss_converter_twitter.com.xsl: use ProfileHeaderCard as channel description

Strip trailing newlines

rss_converter_pump.io.xsl: make the feed validate with feedvalidator.org

Make the pump.io feed validate with http://feedvalidator.org and also
improve compatibility by providing a guid and by excluding the weird
xmlns:php namespace in the output.

rss_converter_dilbert.com.xsl: make the feed validate with feedvalidator.org

Make the Dilbert.com feed validate with http://feedvalidator.org and also
improve compatibility by providing a guid and by excluding the weird
xmlns:php namespace in the output.

rss_converter_dilbert.com.xsl: fixes for the new dilbert.com

Make the stylesheet work again with the new dilbert.com website.

rss_converter_howtoons.com.xsl: make the feed validate with feedvalidator.org

Make the Howtoons.com feed validate with http://feedvalidator.org and
also improve compatibility by providing a guid and by excluding the
weird xmlns:php namespace in the output.

rss_converter_twitter.com.xsl: improve the naming of some variables

Use item-content and item-permalink instead of tweet-text and
tweet-link, this way other stylesheets can use the same names resulting
in more consistency.

rss_converter_twitter.com.xsl: rename twitterBaseURL to BaseURL

This way the same notation is used in all the stylesheets.

rss_converter_twitter.com.xsl: make the feed validate with feedvalidator.org

Make the Twitter feed validate with http://feedvalidator.org and also
improve compatibility by providing a guid and by excluding the weird
xmlns:php namespace in the output.

NEWS: add release notes for the v0.3 release

Update email address and copyright years

Add a stylesheet for Howtoons.com

rss_converter_twitter.com.xsl: fix getting the profile picture

Some more values are added tot he class attribute so the old equality
check does not work anymore.

Use a contains() check, this is more future proof and allows also to
support both the classic and the new profile pages.

rss_converter_twitter.com.xsl: support the new Twitter profile page

Adjust the XPath expressions to support both the classic and the new
profile pages.

rss_converter_*.xsl: specify xml:base

Some feed readers expand relative URLs in items by extracting the base
URL from the enclosing <link/> element, however this is not a globally
accepted practice.

Specifying xml:base is useful to cover other ways in which relative URLs
are expanded, see:
  https://cyber.law.harvard.edu/rss/relativeURI.html
  http://www.w3.org/TR/xmlbase/#resolution

tweeper.php: support generating enclosure for "audio/ogg"

tweeper.1.asciidoc: reword some list items

Remove the unneeded "as", it is in the list preamble already.

Remove the auto-generated ChangeLog

It is not that useful once we have a nice NEWS file; and the latter can
even be used as upstream changelog in packages.

tweeper.1.asciidoc: mention a way to use tweeper from a web server

Makefile: fix typo s/INTALLATION/INSTALLATION/

Thanks-to: gregor herrmann <gregoa@debian.org>

Changelog, NEWS: prepare for the v0.2 release

tweeper.1.asciidoc: small fixes to the man page

tweeper.1.asciidoc: add a missing semicolon

Add a ChangeLog file

Add a NEWS file