Merge tag 'v1.0.0' into debian

Release v1.0.0

NEWS: add release notes for the v1.0.0 release

The release numbering scheme has been changed to match what composer
expects.

composer.json: make the dependencies on symfony components more relaxed

Makefile: mention DESTDIR in the "INSTALLATION COMPLETE" message

Makefile: make the symlink in BIN_DIR refer to the executable in DESTDIR

Also make the symlink relative, this way it is always valid whether
DESTDIR is specified or not.

Makefile: fix installation after the code restructuring

tweeper: allow running tweeper from vendor/bin also when it's not a symlink

autoload.php: improve the comment about the system-wide dependencies

TODO: add a note about the version of the dependencies in composer.json

Update copyright years in recently modified files

tweeper: allow to run tweeper either with or without composer

Add a composer.json file

rss_converters_*.xsl: prefix the namespace when calling Tweeper class methods

The Tweeper class is now in a namespace, without this change the XSLT
processor would give errors like this:

PHP Warning:  XSLTProcessor::transformToXml(): Unable to call handler Tweeper::epochToRssDate() in .../src/Tweeper.php on line 356

tweeper: move the main Tweeper class to its own file under src/

This matches more closely the project structure expected by composer
packages.

TODO: improve wording and remove fullstops at the end of items

Fix information leakage by validating the URL scheme

Validate the scheme to prevent leaking information by abusing the
file:// scheme.

Before this change it was possible to see what files are available on
the system running tweeper.

The script in tests/test_information_leakage.sh shows the problem on
earlier versions.

Here is an execution with tweeper-0.6:

-----------------------------------------------------------------------
URL file://twitter.com//etc/passwd
--> /etc/passwd
    exists

URL file://twitter.com//etc/file_with_an_unlikely_name
... /etc/file_with_an_unlikely_name
    does not exist

Staring a test server

URL file://twitter.com//etc/passwd
--> /etc/passwd on http://localhost:8000
    exists

URL file://twitter.com//etc/file_with_an_unlikely_name
... /etc/file_with_an_unlikely_name on http://localhost:8000
    does not exist

Shutting down the test server
-----------------------------------------------------------------------

Here is an execution after this fix:

-----------------------------------------------------------------------
PHP Fatal error:  unsupported scheme: file in /home/ao2/Proj/Tweeper/tweeper/tweeper.php on line 323
URL file://twitter.com//etc/passwd
... /etc/passwd
    does not exist

PHP Fatal error:  unsupported scheme: file in /home/ao2/Proj/Tweeper/tweeper/tweeper.php on line 323
URL file://twitter.com//etc/file_with_an_unlikely_name
... /etc/file_with_an_unlikely_name
    does not exist

Staring a test server

URL file://twitter.com//etc/passwd
... /etc/passwd on http://localhost:8000
    does not exist

URL file://twitter.com//etc/file_with_an_unlikely_name
... /etc/file_with_an_unlikely_name on http://localhost:8000
    does not exist

Shutting down the test server
-----------------------------------------------------------------------

tweeper.php: check the return value of Tweeper::tweep()

If the tweep() method fails return 1 to the calling process so that it
can know that something failed.

tweeper.php: check curl_exec() return value

Also show the message of curl_error() when curl_exec() fails, this way
it's easier to diagnose problems.

tweeper.php: support "application/pdf" as an enclosure content type

tweeper.php: support "application/octet-stream" as an enclosure content type

This allows binary attachment without a more specific content type to be
supported for the enclosure element.

Adding "application/octet-stream" also covers the weird case of servers
sending multiple Content-Type headers, e.g.:

< HTTP/1.1 200 OK
< Server: Apache
< ETag: "a46d495ba00c35580f83344dd523ece2:1473631283"
< Last-Modified: Sun, 11 Sep 2016 22:01:22 GMT
< Accept-Ranges: bytes
< Content-Length: 14346711
< Content-Type: audio/mpeg
< Content-Type: application/octet-stream
< content-disposition: attachment
< Date: Mon, 26 Sep 2016 23:36:11 GMT
< Connection: keep-alive
< Content-Type: application/octet-stream
< content-disposition: attachment

In this case the ideal solution would be to use the more _specific_
content type, but CURL just remembers the _last_ one ad it's not really
worth parsing the HTTP headers in tweeper just for this rare scenario.

Reported-by: Torsten Grote

debian/changelog: release package version 0.6-1

Gbp-Dch: ignore

debian/watch: use https in the repository URL

Thanks: gregor herrmann <gregoa@debian.org>

debian/copyright: use https URLs as suggested by duck

Thanks: gregor herrmann <gregoa@debian.org>

debian/control: depend on php-xml instead of php-xsl

Don't depend on php-xsl which is a virtual package, nowadays depending
on php-xml is the right thing to do.

This also fixes a warning from cme:

  Warning in 'control binary:tweeper Depends:3' value 'php-xsl': \
  package php-xsl is unknown. Check for typos if not a virtual package.

debian/control: depend on php-symfony-property-access

The upstream code uses the ObjectNormalizer class, and the Serializer
manual explicitly says that in this case the PropertyAccess component
must also be installed, see
https://symfony.com/doc/current/components/serializer.html#installation

Ensure that by depending explicitly on php-symfony-property-access, as
suggested in https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=824175

Merge tag 'v0.6' into debian

Release v0.6

NEWS: add release notes for the v0.6 release

rss_converter_instagram.com.xsl: strip unneeded trailing space

Add a HACKING file to describe the coding style used in the project

INSTALL: mention php-symfony-property-access as a dependency

tweeper.php: fix a problem with https URLs ending up in the enclosure element

When the remote host forces every URLs to be redirected to https, the
info returned by Tweeper::getUrlInfo() would contain an https URL, which
will end up being used in the "url" attribute of the enclosure element,
and this is invalid according to the RSS specification.

So make sure that an http URL is actually used for the "url" attribute.

Use php:functionString() in the stylesheets where appropriate

Instead of converting to string in XSL and then calling php:function(),
use directly php:functionString() when calling PHP functions which
actually expect a string argument.

Besides possible performance improvements, this is done mainly for
readability.

Don't convert the timestamp to a number when calling php:functionString()

It's not needed to convert the $timestamp variable to a number before
passing it as an argument to php:functionString() as the latter will
convert it to a string anyways.

TODO: remove entry about using enclosure for pump.io images

rss_converter_pump.io.xsl: add enclosure element for images

TODO: remove the item about enclosures for dilbert.com, now they are supported

rss_converter_instagram.com.xsl: don't use a template for the enclosure

Each post has exactly one image, it is enough to copy the generated
element in-place without applying templates.

rss_converter_dilbert.com.xsl: add support for the <enclosure/> element

TODO: add an entry about adding direct links to Instagram videos

rss_converter_instagram.com.xsl: make images adapt to the viewer width

This way the user does not have to scroll horizontally to see the whole
picture.

rss_converter_instagram.com.xsl: use a stricter match for some elements

rss_converter_instagram.com.xsl: fix the channel link

TODO: update the entry about twitter images and cards, images are now supported

rss_converter_twitter.com.xsl: generate enclosure for images

rss_converter_twitter.com.xsl: show explicitly if the item has a video

Tweeper does not provide direct links to videos, so it's useful to tell
users that the content has a video so they can follow the link and view
it on the twitter.com page.

rss_converter_twitter.com.xsl: don't repeat background in embedded media

Tweeper doesn't provide direct links to videos and vines from twitter
but it still shows the preview picture provided by the original HTML
code; unfortunately the picture repeats itself, so avoid that.

rss_converter_twitter.com.xsl: present images in a more convenient way

Make images clickable and pointing to the original full-size picture.

rss_converter_twitter.com.xsl: show media content in the feed item description

rss_converter_twitter.com.xsl: use direct URLs for links, when possible

Replace the t.co URLs with the actual location the link was originally
meant to point to.

rss_converter_twitter.com.xsl: add a mode attribute to the enclosure template

This is needed because another template with
match="a[@data-expanded-url]" will be added in a future commit.

rss_converter_twitter.com.xsl: cleanup titles

Prepend a white space in front of some URLs (those not preceded by an
open parenthesis) because otherwise they get rendered attached to the
preceding text.

Also strip non-breaking spaces and horizontal ellipses, they are not
needed because the RSS feed show the full URLs.

tweeper.php: add "image/png" to the supported types for <enclosure/>

tweeper.php: rename DomDocument() to DOMDocument()

DOMDocument() is the more used form, it is also already used in some
other parts of the file.

Return a DOMElement instead of a string in Tweeper::generateEnclosure()

This make the generated XML have proper indentation in case the
<enclosure/> element gets added.

tweeper.php: move the loadStylesheet() method more down in the file

This way all static methods are grouped together before non-static
methods.

tweeper.php: write XML in upper case inside comments

tweeper.php: make jsonToXml() a static method

tweeper.php: make logXmlError() a static method

tweeper.php: make it clearer that getUrlContents is a static method

tweeper.php: fix naming conventions for the get_xml_ and preprocess_html_ funcs

tweeper.php: rename the ERROR_STREAM variable to error_stream

Variables should be in lower case.

Use more accurate names for the date conversion functions

The new names are epochToRssDate and strToRssDate.

Don't refer to gmdate() in the function names, this is just an
implementation detail which should not have leaked into the external
interface, instead mention RssDate in the function names to communicate
something about the output they produce.

Also, while at it, user the DATE_RSS format when calling gmdate().

Rename epoch_to_gmdate to epochToGmdate, and str_to_gmdate to strToGmdate

tweeper.php: rename getContents to getUrlContents and getInfo to getUrlInfo

The new names should be more explicative.

tweeper.php: use lowerCamel case for methods names

Fix naming conventions for the generate_enclosure functon

Use lowerCamel case for the function name, keep snake_case for the local
variable in the php code, and use a dash-separated case for the xsl
variable.

tweeper.php: user lowerCamel case for class variables

tweeper.php: fix a typo s/Apparenty/Apparently/

tweeper.php: write the word "URL" in upper case

tweeper.php: fix style issues pointed out by PHP_CodeSniffer

These issues were fixed automatically by phpcbf with some minor manual
touches.

tweeper.php: use the same parenthesis style for all functions

tweeper: fix style issues found by Coder Sniffer

----------------------------------------------------------------------
FOUND 3 ERRORS AFFECTING 2 LINES
----------------------------------------------------------------------
 1 | ERROR | [x] Missing file doc comment
 4 | ERROR | [x] "require" is a statement not a function; no
   |       |     parentheses are required
 4 | ERROR | [x] Language constructs must be followed by a single
   |       |     space; expected "require (" but found "require("

tweeper.php: rename $rootName to $root_node_name

tweeper.php: make json_to_xml() do strictly what its name says

Extracting the json data from the HTML does not really belong to the
json_to_xml() function.

Use https in URLs for Twitter.com and ao2.it

rss_converter_twitter.com.xsl: fix getting the profile picture URL

rss_converter_dilbert.com.xsl: put the full text in the alt attribute

rss_converter_dilbert.com.xsl: ellipsize long titles

rss_converter_facebook.com.xsl: fix getting the item description

Hopefully this is a more stable way to get just the useful content of
a story skipping the header and the footer.

rss_converter_facebook.com.xsl: fix the permalink

Use the page id and the story id to build a more robust permalink URL.

debian/changelog: release package version 0.5-1

Gbp-Dch: ignore

debian/control: use the https transport for all URLs

debian/control: bump Standards-Version to 3.9.8

debian/control: depend on php-symfony-serializer

Tweeper now uses the Symfony Serializer component instead of the PEAR
XML_Serializer.

debian/control: fix the dependencies on php packages

Follow php-pkg-maint suggestion about dependencies regarding the php7.0
transition: depend php-* packages not on the ones with the language
version in the package name.

Closes: #821665

Merge tag 'v0.5' into debian

Release v0.5

NEWS: add release notes for the v0.5 release

INSTALL: mention php-symfony-serializer instead of php-xml-serializer

Use the Symfony Serializer component instead of the PEAR XML_Serializer

XML_Serializer is old and unmaintained, and it is going to be removed
from Debian, so use a more robust and supported alternative.

rss_converter_twitter.com.xsl: restrict tweet selection some more

Only select elements which have the 'data-item-id' attribute, this way
we avoid picking up the image gallery at the top of hashtag pages which
does not have an RSS item structure.

JFTR the gallery is inside an element like this:

  <li class="AdaptiveStreamImageGallery AdaptiveSearchTimeline-separationModule js-stream-item"
      data-item-type="tweet">

with no 'data-item-id'.

rss_converter_twitter.com.xsl: set a fall-back channel title

When there is no screen-name, like for hashtag ans searches pages, use
the main page title as the RSS channel title.

rss_converter_twitter.com.xsl: restrict the criterion to match actual tweets

By only using li[@data-item-type='tweet'] sometimes void entries where
selected, and in particular the ones under <ol class="activity-popup-users">.

So just pick the items under <ol id="stream-items-id"> as the actual tweets
with valid contents in them.

debian/changelog: release package version 0.4-1

Gbp-Dch: ignore

debian/control: bump Standards-Version to 3.9.6

debian/copyright: update copyright years

debian/control: depend on php-xml-serializer

tweeper now uses php-xml-serializer to convert JSON to XML for sites
that provide the information in JSON, like Instagram.com.

debian/control: update the package description

Use the more generic description used upstream.

Merge tag 'v0.4' into debian

Release v0.4

NEWS: add release notes for the v0.4 release

rss_converter_instagram.com.xsl: use the username when there is no full name