Update of my Amazon Glacier uploader

A couple of days ago I started to build a simple command-line upload client for the new Amazon Glacier archival service.
You can get the software from my github project “glacieruploader.

Now I can write the first update, and it’s going pretty well. I had some contributors opening issues with the first
releases – still very early with 0.0.3 currently – and one contributor really contributing a pull request.

I updated the command line options, added a few more actions and am uploading a fairly large archive from my home
computer to my own vault using my own client uploader. Eating your own dog food, and it’s tasting fine for me. 😉

There are a couple of other command line clients available now, so I want to compile a lit of tools that you can
use if you don’t have a full java environment on your system or if you simply don’t like my client. So, here we
go with a list of command-line tools for Amazon Glacier:

If you’re working on your own client or if you successfully used a client that’s not in this list, please add a comment.

Sanitize all files in a directory

Today I wanted to finally clean up several backup copies of my music.
Over the years I copied the files from device to device, moving through
multiple generations of computers. I put the music into a Jungledisk
backup
, uploaded them to Amazon S3, copied them to my
Drobo or just moved them from one harddisk to another, bigger
harddisk. I even switched from Linux, to MacOS X, to Windows and am
on a Debian machine once again. And my next plan is to use the new
service Amazon Glacier to back it up again…

All of this moving did affect the files. The filenames are all over the
place, prefixes and funny encodings, even some of the file extensions
are no longer what they used to be.

A couple of months ago I started to write a bash script that should
help with all the confusion. It should remove all funny characters from
filenames, replace all the whitespaces with underscores and finally make
it all lowercase. That is how I like my files! 😉

Today, I gave the script another try:

(If you don’t see the code, go to github.)

You can call the script like this:

cd /path/to/your/music
./sanitize.sh . /new/path/to/your/sanitized/music/

After the script worked for several hours your files should savely sit
in the new directory, leaving the old files untouched. Then you can
start going through all the directories and remove duplicate files
manually.

You can clone the gist and modify it to your own needs. Just don’t ask
me if something went wrong. 😀

Simple Upload for Amazon Glacier archiving

Update I uploaded a new version of the glacieruploader. I want
to move to a cleaner command line usage, so I introduced better options.
Check it out and tell me what you think. 🙂

Update You can now download the first version. Keep in mind
that this is my very first try on the uploader. 😉

Yesterday I read about the new Amazon Glacier services that allow
all customers of amazons webservice to store backups even cheaper
than Amazon S3. And because I am constantly searching for a better
backup, I was curious how that could be used from my home PC to backup
my music, pictures and documents.

As always Amazon provides the service without much client software, so
there is no way to upload something other than implementing your own
application. And that’s what I did:

https://github.com/MoriTanosuke/glacieruploader

This is a simple command line application that uploads one archive file
to your backup vault. At the moment you can’t download and run it, but
I’ll add a packaged and runnable version later.

If you take a look at the implementation, you’ll see a lot of hardcoded
stuff, but this is just a prototype to see how the Glacier works.
I took a fair amount of code from the official Java Amazon SDK
example
, so kudos to the AWS team for providing such a nice SDK. 🙂

I think I’ll play around with Glacier some more and try to think about
a nice way to integrate it into the last mile of my multi-step backups
at home.

Einige Autoren verstehen die Digitalisierung noch nicht

In den letzten Tagen konnte man in den USA wieder beobachten, dass manche Leute die Veränderungen, die durch Digitalisierung entstehen können, immer noch nicht verstehen. Und wahrscheinlich nicht verstehen wollen.

Diesmal geht es um das Verleihen von Ebooks über Amazon bzw Barnes&Noble. Amazon erlaubt das Verleihen von Büchern ebenso wie Barnes&Noble. Einige Autoren haben anscheinend bemerkt, dass die Seite lendink.com es ihren Nutzern ermöglicht hat, andere Benutzer zu finden, die Bücher verleihen wollen und selbst gern welche ausleihen möchten. Die Seite hat also den Kontakt zwischen Benutzer A und Benutzer B hergestellt und anschliessend auf die offiziellen Kanäle und Möglichkeiten der Ebook-Vertreiber Amazon bzw B&N verwiesen.

Und die Autoren (oder ihre Verlage) haben in ihren Verträgen mit den beiden Firmen zugestimmt, dass ein Verleih der Bücher möglich ist. Sonst könnte man diese Funktion gar nicht nutzen. Es ist also völlig legal und gewollt, dass man Ebooks tauschen kann. (In Deutschland gibt es diese Möglichkeit immer noch nicht. Weil gefährlich.)

Ich hab mal auf Twitter bei den beteiligten Autoren gesucht und folgende Tweets gefunden:

Die vollständige Konversation findet sich hier. Zum Schluss gibt es aber doch noch einen kleinen Hoffnungsschimmer von Susan Buchanan, aber gebracht hat das allem anscheinend nach nicht viel – sonst wäre das ganze Drama an dieser Stelle (nach dem Lesen der FAQ von lendink.com gestorben:

Anscheinend haben nach den ersten Schrecksekunden auch noch andere Autoren angefangen nachzudenken:

Was denkt sich jetzt ein Autor, der von Digitalisierung so überhaupt keine Ahnung zu haben scheint? “Da raubmordkopiert jemand meine Bücher! Piraterie!” und ruft seine ahnungslosen Kollegen dazu auf, DMCA-Takedown Notices an den Hoster zu schicken. Und der hält die Flut nicht lange aus und nimmt die komplett legale Seite vom Netz. Einfach so. Weil gefährlich.

Der Betreiber Dale Porter hat anschliessend noch einen traurigen Post bei Facebook geschrieben:

To all of the misguided and misinformed authors that have sucessfully had Lendink.com
suspended – Thank you. Your failure to investigate the site and actually learn what Lendink
does has resulted in numerous threats against me and my family and for what, your thinking
that your property rights were being violated. I can respect your efforts to defend your property
but I cannot respect the fact that none of you actually investigated for yourself or took the time
to actually read and understand your contract with Amazon or Barnes and Nobles before you
formed the lynch mob.

Hier noch ein paar Links mit mehr Details zum Vorgang:

Achja, und der Betreiber von lendink.com Dale Porter schreibt auf Facebook, dass er immer noch darüber nachdenkt, ob er die Seite zurückbringt oder nicht. Was soll man zu sowas noch sagen… mir fällt nichts ein. Ich hoffe jedenfalls, dass die Seite zurückkommt und das man auch in Deutschland bald Bücher verleihen kann.

Konfiguration eines externen Verzeichnisses in owncloud

Seit ein paar Tagen hab ich eine Instanz von owncloud für mich aufgesetzt, um die Ablösung von Dropbox zu testen. Generell find ich die Idee von Dropbox & Co super, und die Synchronisation gerade auf mein Android-Telefon ist mein Lieblingsfeature. Aber wenn man mal drüber nachdenkt, dass die Dateien irgendwo auf der Welt herumliegen, dann wird einem doch etwas unwohl. Vor allem nach den jüngsten Sicherheitsschwankungen bei den Cloud-Anbietern…

Ich hab jetzt also meine eigene kleine Cloud, kann die auf meine Rechner und auf mein Telefon synchronisieren und bin selbst für die Sicherheit verantwortlich. Es gibt natürlich noch ein paar Dinge, die nicht so samtweich laufen wie bei Dropbox:

  • Windows-Client versteht keinen Proxy
  • Android-Client synchronisiert manchmal nicht
  • Weboberfläche zeigt die Termine in meinem importierten Kalender nicht an, auf dem Android sind sie nach der Synchronisation aber zu sehen

Als nächstes stand der Import meiner Bild an. Ich hatte vor einiger Zeit schon mit Bulkr meine Flickr-Fotos gesichert und sie auf meinem Webspace abgelegt. Jetzt wollte ich die Bilder natürlich nicht nochmal hochladen, sondern direkt vom Server importieren. Dafür bietet owncloud schon eine Möglichkeit: external storage support.

Dazu legt man die Datei /config/mount.php an und schreibt folgenden Inhalt hinein:

<?php
return array(
  'user'=>array(
    'meinbenutzername'=>array(
      '/$user/files/meinedateien' => array('class'=>'OC_Filestorage_Local',
                                           'options'=>array('datadir' => '/pfad/zu/meinen/dateien'))
    )
  )
);
?>

Danach taucht der Ordner aber nicht automatisch in meinen Dateien auf, sondern ich musste noch einen Ordner mit dem gleichen Namen meinedateien anlegen – erst dann wurden die Bilder angezeigt.

I like being busy?

I like being busy.

Diesen Satz habe ich kürzlich gehört. Und sofort setze ein leichtes Schwindelgefühl ein. I like being busy. Wieso sagt man so etwas? Weil man das Gefühl mag, dass andere einen brauchen? Oder das Gefühl von getting work done? Oder weil man keine Langeweile verspüren möchte?

Ich weiß es nicht.

Ich meine, ich mag es auch nicht, wenn mir langweilig ist. Ich suche mir zuhause auch kleine Spielprojekte mit NodeJS wie einen Webchat, aber ich würde im Leben nicht so einen Satz im Büro anwenden.

I like being busy. Vielleicht liegt es auch an meinen mangelnden Übersetzerfertigkeiten, aber dieser Satz impliziert bei mir eher ein Gefühl von hauptsache was zu tun oder irgendwas machen. Oder es liegt an meiner Arbeitsweise, die eher auf dem Lösen von Problemen aufsetzt, als auf dem Abarbeiten von Aufgaben. Ich mag es generell nicht, wenn man mir Aufgaben gibt. Das hat etwas von Industriedenken, von Arbeitsanweisungen, von Checklisten, von Fliessbandarbeit.

In meiner Vorstellung sind Fliessbandarbeiter z.b. busy, nämlich damit beschäftigt, ihre Arbeitsschritte an den immer gleichen Automobilen fertigzubekommen, bevor das nächste Chassis in ihre Arbeitszone rollt. Ich denke, so eine Art von Arbeit wäre nichts für mich – gut, das beruht zum großen Teil auf Vorurteilen und einer begrenzten Menge von persönlichen Erfahrungen in einem größeren Industriebetrieb. Aber hier geht’s ja auch um eine Einstellung bzw ein erzeugtes Gefühl, hervorgerufen durch einen einfachen Halbsatz in einer Fremdsprache. Fakten gibt’s dann im nächsten Artikel über NodeJS. 😉

Aber irgendwie hab ich im Moment wieder die Unterschiede in der Arbeits- und Herangehensweise bemerkt. Und wenn dann noch jemand aus einem anderen Kulturkreis dazwischen ist, macht sich sowas noch stärker bemerkbar. Und sei’s nur durch meine durch Filme und technische Dokumentation geprägte Sprache. 🙂