pkgs: update some packages
[winfreed.git] / winfreed.py
index 6a5e7b5..d520b1e 100755 (executable)
@@ -2,7 +2,7 @@
 #
 # winfreed - download a selection of Free Software for MS Windows.
 #
-# Copyright (C) 2011  Antonio Ospite <ospite@studenti.unina.it>
+# Copyright (C) 2011-2014  Antonio Ospite <ao2@ao2.it>
 #
 # This program is free software: you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -24,14 +24,12 @@ import ConfigParser
 import urllib2
 from progressbar import Bar, ETA, FileTransferSpeed, Percentage, ProgressBar
 
-# TODO:
-#   - support win64
-
-# TODO make OUTPUT_DIR and LANGCODE configurable from command line
 OUTPUT_DIR = 'downloads'
 LANGCODE = 'en-US'
 
-# TODO PKG_DIR in $(datadir) or something like that for python projects
+# One of i386 or x64
+ARCHITECTURE = 'x64'
+
 PKG_DIR = 'pkgs'
 CHUNK_SIZE = 8192
 
@@ -51,7 +49,7 @@ def get_pkg(pkg_file):
 
 
 def process_all(path, cb):
-    listing = glob.glob(os.path.join(path, '*.ini'))
+    listing = sorted(glob.glob(os.path.join(path, '*.ini')))
     for pkg_file in listing:
         pkg = get_pkg(pkg_file)
         if not pkg:
@@ -71,12 +69,13 @@ def show(pkg):
 
 def download_file(src_url, dest_dir):
     try:
-        response = urllib2.urlopen(src_url)
+        hdr = {
+            'User-Agent': 'Wget/1.13.4 (linux-gnu)',
+        }
+        request = urllib2.Request(src_url, headers=hdr)
+        response = urllib2.urlopen(request)
     except Exception, e:
-        if hasattr(e, 'reason'):
-            print 'Download failed. Reason: ', e.reason
-        elif hasattr(e, 'code'):
-            print 'Download failed. Error code: ', e.code
+        print 'Downloading from', src_url, 'failed.', e
         return
 
     # get the final URL after possible redirect have been followed
@@ -107,7 +106,9 @@ def download_file(src_url, dest_dir):
         sys.stderr.write("Warning: %s exists!\n" % destfile)
         return
 
-    outfile = open(destfile, mode='w')
+    if 'Content-Length' not in response.info():
+        sys.stderr.write("Cannot get the size of the file at %s\n" % src_url)
+        return
 
     total_size = response.info().getheader('Content-Length').strip()
     total_size = int(total_size)
@@ -117,6 +118,8 @@ def download_file(src_url, dest_dir):
                ' ', ETA(), ' ', FileTransferSpeed()]
     pbar = ProgressBar(widgets=widgets, maxval=total_size).start()
 
+    outfile = open(destfile, mode='w')
+
     bytes_so_far = 0
     while 1:
         chunk = response.read(CHUNK_SIZE)
@@ -132,7 +135,10 @@ def download_file(src_url, dest_dir):
 
 
 def download(pkg):
-    pkg_url = pkg['url']
+    try:
+        pkg_url = pkg['url_' + ARCHITECTURE]
+    except KeyError:
+        pkg_url = pkg['url']
     download_file(pkg_url, OUTPUT_DIR)
 
 
@@ -162,7 +168,11 @@ if __name__ == "__main__":
         sys.exit(1)
 
     if sys.argv[1] == 'download':
-        download_all()
+        if len(sys.argv) > 2:
+            pkg = get_pkg(sys.argv[2])
+            download(pkg)
+        else:
+            download_all()
     elif sys.argv[1] == 'show':
         show_all()
     else: