EmanuelDuss.ch. » shell

Wikipedia-Einträge über DNS abfragen

Emanuel Duss — Mon, 14 Feb 2011 20:31:22 +0000

Die Online-Enzyklopädie Wikipedia kann über DNS abgefragt werden. Toll daran ist, dass man somit jederzeit die Definition von einem Begriff aus der Shell heraus per DNS abfragen kann.

Technik
Der DNS-Server wp.dg.cx stellt über TXT-Ressource-Records den ersten Absatz von den englischen Wikipedia-Artikeln zur Verfügung. Der DNS-Server kann mit nslookup oder dig abgefragt werden.

Abfrage
Ich möchte die Definition von Foo wissen. Der DNS-Query sieht folgendermassen aus:

emanuel@discordia:~
$ dig foo.wp.dg.cx TXT
;; Truncated, retrying in TCP mode.

; <<>> DiG 9.7.2-P3 <<>> txt foo.wp.dg.cx
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 7560
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 13, ADDITIONAL: 1

;; QUESTION SECTION:
;foo.wp.dg.cx. IN TXT

;; ANSWER SECTION:
foo.wp.dg.cx. 86400 IN TXT "The term foobar,
along with foo, bar, and baz, is a common placeholder name
(also referred to as a metasyntactic variable) used in computer
programming or computer-related documentation. These four
terms are used heavily in computer science to take the pl" "ace
of unknown values, typically while describing a scenario where
the purpose of the unknown values are understood, but...
http://a.vu/w:Foobar"

;; AUTHORITY SECTION:
. 78741 IN NS g.root-servers.net.
. 78741 IN NS f.root-servers.net.
. 78741 IN NS h.root-servers.net.
. 78741 IN NS e.root-servers.net.
. 78741 IN NS k.root-servers.net.
. 78741 IN NS l.root-servers.net.
. 78741 IN NS j.root-servers.net.
. 78741 IN NS c.root-servers.net.
. 78741 IN NS a.root-servers.net.
. 78741 IN NS m.root-servers.net.
. 78741 IN NS i.root-servers.net.
. 78741 IN NS b.root-servers.net.
. 78741 IN NS d.root-servers.net.

;; ADDITIONAL SECTION:
a.root-servers.net. 79004 IN A 198.41.0.4

;; Query time: 5 msec
;; SERVER: 10.0.0.10#53(10.0.0.10)
;; WHEN: Mon Feb 14 21:11:04 2011
;; MSG SIZE rcvd: 670

In der Answer-Section steht die Erklärung von Foo.

Darstellung
Um nur die nötigen Informationen von dig zu erhalten, verwendet man die Option +short:

emanuel@discordia:~
$ dig +noall +short foo.wp.dg.cx TXT
;; Truncated, retrying in TCP mode.
"The term foobar, along with foo, bar, and baz, is a common
placeholder name (also referred to as a metasyntactic variable)
used in computer programming or computer-related documentation.
These four terms are used heavily in computer science to take the
pl" "ace of unknown values, typically while describing a scenario
where the purpose of the unknown values are understood, but...
http://a.vu/w:Foobar"

Um die erste Zeile zu entfernen, hilft die Option +ignore:

emanuel@discordia:~
$ dig +ignore +short foo.wp.dg.cx TXT
"The term foobar, along with foo, bar, and baz, is a common
placeholder name (also referred to as a metasyntactic variable)
used in computer programming or computer-related documentation.
These four terms are used heavily in computer science to take the
pl" "ace of unknown values, typically while describing a scenario
where the purpose of the unknown values are understood, but...
http://a.vu/w:Foobar"

So ist die Ausgabe angenehmer zu lesen.

Automatisieren
Ich habe mir folgende Funkton in die Datei ~/.bashrc geschrieben, damit ich Wikipedia schnell aus der Konsole heraus abfragen kann:

wiki() {
if [ -n "$1" ]
then
dig +ignore +short $1.wp.dg.cx TXT
else
echo Bitte einen Begriff angeben.
fi
}

Wenn man eine neue Bash startet, wird diese Funktion geladen und sie kann verwendet werden:

emanuel@discordia:~
$ wiki foo
"The term foobar, along with foo, bar, and baz, is a common
placeholder name (also referred to as a metasyntactic variable)
used in computer programming or computer-related documentation.
These four terms are used heavily in computer science to take the
pl" "ace of unknown values, typically while describing a scenario
where the purpose of the unknown values are understood, but...
http://a.vu/w:Foobar"

Das ist doch praktisch!

Fotos nach Datum umbenennen mit jhead

Emanuel Duss — Sun, 06 Feb 2011 17:10:55 +0000

Digitalkameras speichern Bilder oft unter Dateinamen wie DSC00523.jpg. Mit diesen nicht sprechenden Namen kann ich nicht viel anfangen. Das Datum und die Uhrzeit des Fotos ist für den Dateinamen viel besser geeignet.

EXIF-Daten auslesen
Die Digitalkamera speichert das Datum und die Uhrzeit in den so genannten EXIF-Tags. Mit jhead kann man diese Tags auslesen und bearbeiten.

Mit jhead dateiname.jpg kann man sich die EXIF-Tags anzeigen lassen:

emanuel@discordia:~
$ jhead DSC00523.JPG
File name : DSC00523.JPG
File size : 2277972 bytes
File date : 2011:02:06 13:45:34
Camera make : Canon
Camera model : Canon DIGITAL IXUS 80 IS
Date/Time : 2010:12:27 12:02:37
Resolution : 2592 x 1944
Flash used : No
Focal length : 14.3mm (35mm equivalent: 90mm)
CCD width : 5.72mm
Exposure time: 0.020 s (1/50)
Aperture : f/4.5
Focus dist. : 6.57m
ISO equiv. : 800
Whitebalance : Auto
Metering Mode: pattern

In der Zeile Date/Time sieht man, dass das Foto am 27.12.2010 um 12:02:37h erstellt wurde.

Datei umbenennen
Mit jhead kann man nun das Foto nach dem Muster YYYY-mm-dd-HH-MM-SS umbenennen. Dies geschieht mit der Option -nf von jhead.

emanuel@discordia:~
$ jhead -nf%Y-%m-%d_%H-%M-%S DSC00523.JPG
DSC00523.JPG --> 2010-12-27_12-02-37.jpg

Kann das Erstellungsdatum und die Erstelungsuhrzeit nicht aus den EXIF-Daten herausgelesen werden, wird der Zeitstempel der Datei verwendet.

In der Manpage von jhead sieht man, wie sich der Format-String zusammensetzen lässt:

%H Hour in 24-hour format (00 - 23)
%j Day of year as decimal number (001 - 366)
%m Month as decimal number (01 - 12)
%M Minute as decimal number (00 - 59)
%S Second as decimal number (00 - 59)
%w Weekday as decimal number (0 - 6; Sunday is 0)
%y Year without century, as decimal number (00 - 99)
%Y Year with century, as decimal number

Alle Fotos in einem Ordner umbenennen
Mit dem regulären Ausdruck *.[jJ][pP][gG] benennt jhead alle Fotos in einem Ordner um:

emanuel@discordia:~
$ jhead -nf%Y-%m-%d_%H-%M-%S *.[jJ][pP][gG]

Alle Fotos umbenennen
Mit find kann man die gesamte Bildersammlung auf einmal umbenenen:

emanuel@discordia:~
$ find Daten/Bilder -iname *.jpg -exec jhead -nf%Y-%m-%d_%H-%M-%S {} \;

Im Ordner Daten/Bilder sind alle Fotos gespeichert, welche umbenannt werden.

Automatisieren
Damit man nicht jedes mal den Befehl von jhead eingeben muss, kann man sich ein Skript schreiben:

#!/bin/bash
########################################################################
#
# imagerename
# Fotos nach Datum umbenennen
#
# 2009-01-01; Emanuel Duss; Erste Version
#
########################################################################

########################################################################
# Main
jhead -nf%Y-%m-%d_%H-%M-%S *.[jJ][pP][gG]

# EOF

Ist dieses Skript ausführbar unter dem Dateinamen imagerename gespeichert und durch die Variable $PATH auffindbar, kann man in jedem Verzeichnis durch den Aufruf von imagerename alle Bilder im aktuellen Verzeichnis umbenennen.

Man kann sich aber auch einen Alias erstellen, welcher den Befehl ausführt. Folgende Zeile schreibt man sich in die Datei ~/.bashrc:

alias imagerename='jhead -nf%Y-%m-%d_%H-%M-%S *.[jJ][pP][gG]'

Auch jetzt kann man im jedem Verzeichnis durch imagerename alle Fotos umbenennen.

Manpages farbig darstellen

Emanuel Duss — Sun, 30 Jan 2011 18:38:27 +0000

Ich mag es, wenn meine Konsole farbig dargestellt wird. So finde ich es auch praktisch, wenn bestimmte Schlüsselwörter in Manpages farbig hervorgehoben werden.

Anleitung
Mit folgenden Befehlen kann man den Pager less dazu bringen, die Ausgaben anders zu formatieren:

export LESS_TERMCAP_us=$'\E[01;32m' # Beginn unterstrichen
export LESS_TERMCAP_ue=$'\E[0m' # Ende unterstrichen
export LESS_TERMCAP_so=$'\E[01;44;33m' # Beginn Standout-Mode
export LESS_TERMCAP_se=$'\E[0m' # Ende Standout-Mode
export LESS_TERMCAP_md=$'\E[01;31m' # Start fett
export LESS_TERMCAP_mb=$'\E[01;31m' # Start blinken
export LESS_TERMCAP_me=$'\E[0m' # Ende alles

Diese Befehle schreibt man sich in die Datei ~/.bashrc, die automatisch bei jeder neuen Shell ausgeführt wird.
Mehr Informationen über die Variabeln LESS_TERMCAP_xx findet man in der Manpage termcap. Die Farben werden über ANSI-Escape-Codes definiert.

Beispiel
Hier ein Beispiel anhand der Manpage von man:

$ man man

Der Text, der normalerweise fett dargestellt wird, ist jetzt rot, und der unterstrichene Text ist jetzt grün.

Weitere Informationen
Gefunden habe ich diesen Tipp im Planeten von Arch Linux und stammt aus der Zsh-Konfiguration von Grml, welche unter der Lizenz GPL v2 veröffentlicht wurde.

Fotos automatisch drehen mit jhead

Emanuel Duss — Sun, 16 Jan 2011 18:56:47 +0000

Viele Digitalkameras verfügen über einen Gravitationssensor, der erkennt, wie die Kamera beim erstellen des Bildes gehalten wurde. Diese Information kann man dazu nutzen, um das Bild automatisch richtig zu drehen. Die Information wird im EXIF-Tag “Orientation” des Bildes gespeichert. Mit dem Tool jhead kann man diese Information auslesen und das Foto automatisch drehen lassen.

EXIF-Daten
Wird jhead keine Option angegeben, werden einige EXIF-Informationen angezeigt:

$ jhead foto.jpg
File name : foto.jpg
File size : 2040209 bytes
File date : 2011:01:16 18:22:37
Camera make : Canon
Camera model : Canon DIGITAL IXUS 80 IS
Date/Time : 2011:01:14 23:05:42
Resolution : 2592 x 1944
Orientation : rotate 90
Flash used : Yes (auto)
Focal length : 6.2mm (35mm equivalent: 39mm)
CCD width : 5.72mm
Exposure time: 0.017 s (1/60)
Aperture : f/2.8
Focus dist. : 0.48m
ISO equiv. : 250
Whitebalance : Auto
Metering Mode: pattern

Das Tag “Orientation” sagt, dass das Bild um 90° gedreht wurde. Aber jetzt weiss man immer noch nicht, ob das Bild im Uhrzeigersinn, oder im Gegenuhrzeigersinn gedreht werden muss.

Noch mehr Informationen kann man jhead mit der Option -v entlocken:

$ jhead -v foto.jpg | grep -i orientation
Orientation = 6
Orientation : rotate 90

Das Orientation-Tag beseitzt den Wert 6. In den Spezifikationen von den EXIF-Tags steht folgendes dazu:

The 0th row is the visual right-hand side of the image, and the 0th column is the visual top.

Daraus lässt sich schliessen, dass das Bild um 90° im Uhrzeigersinn gedreht werden muss.

Das Foto drehen
Mit der Option -autorot kann jhead das Foto automatisch drehen.

$ jhead -autorot foto.jpg
Modified: foto.jpg

Das eigentliche Rotieren übernimmt nicht jhead, sondern jpegtran.

Das Orientation-EXIF-Tag besitzt nun den Wert 1. Das Bild muss also nicht mehr gedreht werden.

$ jhead -v foto.jpg | grep -i orient
Orientation = 1

Orientation-Tag entfernen
Möchte man ein Foto nicht rotieren, aber das Orientation-EXIF-Tag trotzdem entfernen, kann man das mit der Option -norot machen:

$ jhead -norot anderesfoto.jpg

Alle Fotos in einem Verzeichnis drehen
Meistens will ich alle Fotos in einem Verzeichnis richtig drehen. Das kann man folgendermassen machen:

$ jhead -autorot *.[jJ][pP][gG]

Die Shell löst den regulären Ausdruck *.[jJ][pP][gG] auf, und übergibt alle passenden Dateinamen an jhead weiter.

Diesen Befehl habe ich in einem Skript, damit ich jederzeit jhead so aufrufen kann:

#!/bin/bash
################################################################
#
# imagerotate
# Dreht Fotos anhand des EXIF-Tag Orientation
#
# 2011-01-16; Emanuel Duss; Erste Version
#
################################################################

################################################################
# Main
jhead -autorot *.[jJ][pP][gG]

# EOF

Natürlich kann man auch einen Alias in der .bashrc eintragen:

alias imagerotate="jhead -autorot *.[jJ][pP][gG]"

Alle Fotos drehen
Folgendermassen kann man alle Bilder, welche sich im Ordner “~/Bilder” befinden automatisch drehen:

$ find ~/Bilder -type f -name *.[jJ][pP][gG] -exec jhead -autorot {} \;

Somit ist die gesamte Bildersammlung richtig gedreht.

Links und weitere Informationen

EXIF Spezifikationen: http://www.exif.org/specifications.html
Projektseite von jhead: http://www.sentex.net/~mwandel/jhead/

Screenshots erstellen mit scrot

Emanuel Duss — Sun, 02 Jan 2011 13:04:54 +0000

Es gibt viele Wege, wie man einen Screenshot erstellen kann. Für diese Aufgabe verwende ich scrot.

Wenn ich vom ganzen Desktop einen Screenshot machen will, starte ich scrot direkt aus der Shell:

emanuel@discordia:~
$ scrot screenshot.png

Nach dem Ausführen von diesem Befehl befindet sich der Screenshot mit dem Dateinamen screenshot.png im aktuellen Verzeichnis.

Oft will ich mit einem Screenshot nur einen Ausschnitt von meinem Desktop dokumentieren. Für diesen Zweck kann man folgenden Befehl in der Shell ausführen:

emanuel@discordia:~
$ scrot -s screenshot.png

Nach dem Ausführen von diesem Befehl kann man mit der Maus einen Bereich auf dem Desktop markieren. Der ausgewählte Bereich wird in der Datei screenshot.png gespeichert.

Um das ganze zu automatisieren und noch etwas praktischer zu machen, habe ich mir folgendes Skript geschrieben:

#!/bin/bash
########################################################################
#
# screenshot
# Erstellt Screenshots
#
# Copyright 2011 Emanuel Duss
# Licensed under GNU General Public License
#
# 2009-12-07; Emanuel Duss; Erstellt und erste Version
# 2010-08-22; Emanuel Duss; Mirage statt eog als Viewer
# 2011-01-01; Emanuel Duss; Feh statt Mirage als Viewer
#
########################################################################

########################################################################
# Variabeln
FOLDER="$HOME/Daten/Screenshots"
APP="feh --borderless --scale-down --image-bg black"

########################################################################
# Main
if [ ! -d "$FOLDER" ]
then
mkdir $FOLDER
else
scrot -s -e "$APP \$f" "$FOLDER/%Y-%m-%d_%k-%M-%S.png"
fi

# EOF

Nach dem Starten vom Skript muss man einen Bereich auf dem Desktop markieren. Der Screenshot wird in meinem Screenshot-Verzeichnis mit einem passenden Namen (Datum und Uhrzeit) abgespeichert und dann direkt mit meinem Bildanzeiger geöffnet.

Bilder verkleinern mit convert (imagemagick)

Emanuel Duss — Sun, 12 Dec 2010 16:55:04 +0000

Wenn man im Internet eine Fotogalerie publizeren will, oder man viele Fotos per E-Mail verschicken will, sollte man die Fotos verkleinern. Ich habe mir ein Skript geschrieben, welches die Auflösung der Bilder verkleinert und die JPEG-Qualitätsstufe heruntersetzt. Somit kann man ganz schnell viele Bilder verkleinern.

Mit dem Befehl convert kann ein Bild verkleinert werden. Hierzu muss das Paket imagemagick installiert sein.

convert -resize 2048x2048 -quality 60 bild.jpg klein.jpg

Man sieht gut, wie sich die Dateigrösse verändert:

emanuel@discordia:/tmp
$ du -h bild.jpg klein.jpg
1.5M bild.jpg
168K klein.jpg

Die Datei wurde durch diesen Vorgang um 90% kleiner.

Um mehrere Bilder in einem Verzeichnis zu verkleinern, habe ich mir ein Skript geschrieben. Dieses Skript erstellt den Unterordner small, verkleinert alle Bilder und gibt aus, wie viele Fotos bereits verkleinert wurden.

#!/bin/bash
########################################################################
#
# imageshrink
# Verkleinert alle Bilder im aktuellen Verzeichnis
#
# Copyright 2010 Emanuel Duss
# Licensed under GNU General Public License
#
# 2009-10-09; Emanuel Duss; Erste Version
# 2010-12-12; Emanuel Duss; Optionen als Variabeln
#
########################################################################

########################################################################
# Variabeln
COUNT=0
TOTAL=`echo *.[Jj][Pp][Gg] | wc -w`

# Optionen
FOLDER="small"
SIZE="2048x2048"
QUALITY="60"

########################################################################
# Main

mkdir $FOLDER

for datei in *.[Jj][Pp][Gg]
do
COUNT=`expr $COUNT + 1`
echo $datei: Foto $COUNT von $TOTAL $`expr 100 \* $COUNT / $TOTAL`%$
convert -resize $SIZE -quality $QUALITY "$datei" "small/$datei"
done

# EOF

Die Auflösung und die JPEG-Qualitätsstufe kann in den Variabeln angepasst werden.

Ein Backup-Konzept mit Hardlinks und rsync

Emanuel Duss — Wed, 24 Nov 2010 22:54:31 +0000

Da es für mich keine passende Backup-Lösung gab, habe ich mir diese selber geschrieben. Meine Daten werden jetzt per rsync auf meinen Backup-Server synchronisiert. Für meine Backup-Lösung braucht man nicht zwingend einen Backup-Server. Mit rsync kann man auch auf dem lokalen Rechner Dateien und Verzeichnisse synchronisieren.

Das tolle an meinem Skript ist, dass ich verschiedene Versionen von meinen Daten habe. Wenn ich eine Datei lösche und dann mein Backup starte, wird diese Datei auf dem Backup-Server nicht gelöscht! Dies geschieht mit Hardlinks. Das geniale daran ist, dass nur die neuen Daten neuen Platz auf der Harddisk beanspruchen. Obwohl ich über 10 mal die selbe Datei gesichert habe, wird deren Speicherplatz nur einmal belegt.

Voraussetzung

Meine Backuplösung basiert auf diversen Bash-Skripten. Diese müssen mit den nötigen Rechten ausgeführt werden können. Will man die Daten auf einen Server sichern, benötigt man dort ein SSH-Login. Am einfachsten geht dies mit Public-/Private-Keys, damit man nicht jedes mal ein Passwort eingeben muss.
Als Client benutze ich mein Lenovo Thinkpad T61 Notebook und mein Asus EEEPC 1000H Netbook, welche beide mit Arch Linux laufen. Bei meinem Backup-Server handelt es sich um eine Asus EEEBOX, welche mit Debian 5.0 läuft. Das Backup-Skript sollte jedoch auf jedem Linux lauffähig sein.

Übersicht
Hier eine kleine übersicht über mein Backup-Konzept:

Backup-Konzept

Komponenten

Mein Backup-Script benötigt folgende Komponenten:

install: Installiert die Verzeichnisstruktur für die Backups auf dem Server/Computer
crontab: Die Einträge in der Crontab rufen das Backup-Script auf dem Server auf. Dies kann aber auch manuell gemacht werden.
backup: Dieses Skript kopiert die Backup Ordner und ermöglicht so eine Versionierung
syncup: Mit diesem Skript werden meine Daten auf den Server synchronisiert
syncup.conf: Wird syncup ohne Parameter aufgerufen, werden die in dieser Datei angegebenen Dateien und Verzeichnisse gesichert.

Installation

Das Installationsskript install erstellt folgende Ordner:

backupdata: Hier werden die zu sichernden Daten abgespeichert
daily_1 bis daily_7: Eine Version der Daten von den letzten sieben Tagen
weekly_1 bis weekly_4: Eine Version der Daten von den letzten vier Wochen
monthly_1 bis monthly_12: Eine Version der Daten von den letzten zwölf Monaten
yearly_1 bis yearly_5: Eine Version der Daten von den letzten fünf Halbjahren

Folgendes Skript erstellt mir die Ordnerstruktur:

#!/bin/bash
################################################################
#
# install
# Erstellt die Verzeichnisse fuer backup
#
# Copyright 2010 Emanuel Duss
# Licensed under GNU General Public License
#
# 2009-12-05; Emanuel Duss; Erste Version
#
################################################################

################################################################
# Main
cd /media/backup/backup/

# Ordner fuer die Synchronisation
mkdir backupdata

# Ordner fuer taegliche Backups
for i in `seq 1 7`
do
mkdir daily_$i
done

# Ordner fuer woechentliche Backups
for i in `seq 1 4`
do
mkdir weekly_$i
done

# Ordner fuer monatliche Backups
for i in `seq 1 12`
do
mkdir monthly_$i
done

# Ordner fuer halbjaehrliche Backups
for i in `seq 1 5`
do
mkdir yearly_$i
done

# EOF

Synchronisation

Das Skript syncup synchronisiert die als Parameter angegebene Verzeichnisse und Dateien auf meinen Backup-Server. Werden keine Parameter angegeben, werden die Dateien und Verzeichnisse aus dem Konfigurationsfile syncup.conf gesichert. Will man keinen Backup-Server nutzen, sondern eine lokale Sicherung durchführen (z. B. auf eine externe Festplatte), lässt man bei der Variable BACKUPPATH den Hostnamen weg.

#!/bin/bash
################################################################
#
# syncup
# Synrchonisiert die Backup-Daten
#
# Copyright 2009 Emanuel Duss
# Licensed under GNU General Public License
#
# 2009-12-07; Emanuel Duss; Erster Entwurf
# 2009-12-15; Emanuel Duss; Erste produktive Version
# 2010-01-17; Emanuel Duss; rsync --progress
# 2010-09-14; Emanuel Duss; $BACKUPSRV, prepare () für mount
# 2010-10-06; Emanuel Duss; rycnc -h (Human)
# 2010-11-25; Emanuel Duss; Nutze Parameter als Quellverzeichnis
# 2010-11-27; Emanuel Duss; Mehrere Verzeichnisse und Konfigfile
#
################################################################

################################################################
# Variabeln
TIMESTAMP="`date +%Y-%m-%d_%H-%M-%S`"
HOSTNAME="`uname -n`"

RSYNC="/usr/bin/rsync"
RSYNC_PARAMETER="-avhz --progress --delete"

BACKUPSRV="emanuel@eeebox"
BACKUPPATH="$BACKUPSRV:/media/backup/backup/backupdata/$HOSTNAME/"

CONFIGFILE="`dirname $0`/syncup.conf"

################################################################
# Main

# Lege die zu sichernden Files fest
if [ -n "$*" ]
then
SOURCE=`echo $* | awk '{ gsub("/ "," "); gsub("/$",""); print }'`
elif [ -e "$CONFIGFILE" ]
then
echo "Konfigurationsfile: $CONFIGFILE"
SOURCE=`grep -E "^[^#]" $CONFIGFILE | tr "\n" " " | awk '{ gsub("/ "," "); gsub("/$",""); print }'`
else
echo "Usage:"
echo "syncup [ Verzeichnisse und Dateien ]"
echo ""
echo "Wird kein Parameter angegeben, wird das Konfigfile $CONFIGFILE verwendet."
exit 1
fi

# Info ausgeben
echo
echo "Source: $SOURCE"
echo "Target: $BACKUPPATH"
echo

# Backup-HD mounten
ssh $BACKUPSRV "sudo mount /media/backup"

# Dateien synchronisieren
$RSYNC $RSYNC_PARAMETER $SOURCE $BACKUPPATH

# Backup-HD umounten
ssh $BACKUPSRV "sudo umount /media/backup"

# EOF

Entweder wird das Skript direkt mit ./syncup im aktuellen Verzeichnis aufgerufen, oder man platziert es in einen Ordner, der in der $PATH-Variable eingetragen ist (z. B. /usr/local/bin). Jetzt kann dieses Skript in der Konsole aufgerufen werden:

emanuel@discordia:~
$ sudo syncup Daten/ /etc/ /var/www
Source: /etc
Target: emanuel@eeebox:/media/backup/backup/backupdata/discordia/

sending incremental file list
etc/openvpn/client.conf
880 100% 175.78kB/s 0:00:00 (xfer#1, to-check=539/1389)

sent 47.16K bytes received 219 bytes 31.59K bytes/sec
total size is 6.02M speedup is 127.00

Ich muss das Skript mit den nötigen Rechten aufrufen. Das Verzeichnis /etc ist nur durch den User root vollständig lesbar. Deshalb rief ich das Skript mit sudo auf. Für eigene Verzeichnisse ist dies nicht nötig.
Die Daten befinden sich jetzt im Ordner backupdata auf dem Backup-Server.

Das File syncup.conf sieht folgendermassen aus:

################################################################
#
# syncup.conf
# Konfigurationsdatei fuer syncup
#
# Copyright 2010 Emanuel Duss
# Licensed under GNU General Public License
#
# 2010-11-27; Emanuel Duss; Erste Version
#
################################################################

# Verzeichnisse
/home/emanuel/Daten
/home/emanuel/.config
/home/emanuel/.filezilla
/home/emanuel/.ssh
/home/emanuel/.vim

# Files
/home/emanuel/.conkyrc
/home/emanuel/.bashrc
/home/emanuel/.exrc
/home/emanuel/.fehrc
/home/emanuel/.history
/home/emanuel/.muttrc
/home/emanuel/.screenrc
/home/emanuel/.vimrc
/home/emanuel/.vimperatorrc
/home/emanuel/.xinitrc
/home/emanuel/.Xdefaults
/home/emanuel/.smbcredentials*

# Systemdaten
/etc

#EOF

Wenn syncup ohne Parameter aufgerufen wird, werden alle Dateien und Verzeichnisse aus diesem Konfigurationsfile gesichert:

emanuel@discordia:~
$ sudo syncup
Konfigurationsfile: /home/emanuel/Daten/Scripts/syncup.conf

Source: /home/emanuel/Daten /home/emanuel/.config /home/emanuel/.filezilla
/home/emanuel/.ssh /home/emanuel/.vim /home/emanuel/.conkyrc /home/emanuel/.bashrc
/home/emanuel/.exrc /home/emanuel/.fehrc /home/emanuel/.history /home/emanuel/.muttrc
/home/emanuel/.screenrc /home/emanuel/.vimrc /home/emanuel/.vimperatorrc
/home/emanuel/.xinitrc /home/emanuel/.Xdefaults /home/emanuel/.smbcredentials* /etc
Target: emanuel@eeebox:/media/backup/backup/backupdata/discordia/

sending incremental file list
etc/openvpn/up.sh
453 100% 0.00kB/s 0:00:00 (xfer#1, to-check=540/393538)

sent 6.34M bytes received 32.75K bytes 296.59K bytes/sec
total size is 73.20G speedup is 11479.75

Backup
Die Daten wurden erst auf den Server synchronisiert. Wenn man eine Datei auf der Workstation löschen würde, dann wäre diese bei der nächsten Synchronisation ebenfalls gelöscht. Darum erstelle ich pro Tag, Woche, Monat und Halbjahr eine Kopie aller Daten. Dies erledigt mein Backup-Server. Da ich hierfür Hardlinks verwende, wird bei jeder Kopie kein weiterer Speicherplatz beansprucht. Lediglich neue Daten beanspruchen neuen Speicherplatz. Das ist genial!

Das Backup-Skript sieht folgendermassen aus:

#!/bin/bash
################################################################
#
# backup
# Backup mit Hardlinks
#
# Copyright 2009 Emanuel Duss
# Licensed under GNU General Public License
#
# 2009-10-22; Emanuel Duss; Erster Entwurf
# 2009-12-05; Emanuel Duss; Erste produktive Version
# 2010-04-27; Emanuel Duss; Logfile in /var/log
#
################################################################

################################################################
# Variabeln
BACKUPDIR=/media/backup/backup
LOGFILE=/var/log/backup.log
TIMESTAMP=`date +%Y-%m-%d_%H-%M-%S`

################################################################
# Funktionen
usage ()
{
echo "Usage:
backup ( daily | weekly | monthly | yearly )"
}

################################################################
# Backup-Funktionen
daily ()
{
rm -r $BACKUPDIR/daily_7
mv $BACKUPDIR/daily_6 $BACKUPDIR/daily_7
mv $BACKUPDIR/daily_5 $BACKUPDIR/daily_6
mv $BACKUPDIR/daily_4 $BACKUPDIR/daily_5
mv $BACKUPDIR/daily_3 $BACKUPDIR/daily_4
mv $BACKUPDIR/daily_2 $BACKUPDIR/daily_3
mv $BACKUPDIR/daily_1 $BACKUPDIR/daily_2
mkdir $BACKUPDIR/daily_1
cp -al $BACKUPDIR/backupdata/* $BACKUPDIR/daily_1
}

weekly ()
{
rm -r $BACKUPDIR/weekly_4
mv $BACKUPDIR/weekly_3 $BACKUPDIR/weekly_4
mv $BACKUPDIR/weekly_2 $BACKUPDIR/weekly_3
mv $BACKUPDIR/weekly_1 $BACKUPDIR/weekly_2
mkdir $BACKUPDIR/weekly_1
cp -al $BACKUPDIR/backupdata/* $BACKUPDIR/weekly_1
}

monthly ()
{
rm -r $BACKUPDIR/monthly_12
mv $BACKUPDIR/monthly_11 $BACKUPDIR/monthly_12
mv $BACKUPDIR/monthly_10 $BACKUPDIR/monthly_11
mv $BACKUPDIR/monthly_9 $BACKUPDIR/monthly_10
mv $BACKUPDIR/monthly_8 $BACKUPDIR/monthly_9
mv $BACKUPDIR/monthly_7 $BACKUPDIR/monthly_8
mv $BACKUPDIR/monthly_6 $BACKUPDIR/monthly_7
mv $BACKUPDIR/monthly_5 $BACKUPDIR/monthly_6
mv $BACKUPDIR/monthly_4 $BACKUPDIR/monthly_5
mv $BACKUPDIR/monthly_3 $BACKUPDIR/monthly_4
mv $BACKUPDIR/monthly_2 $BACKUPDIR/monthly_3
mv $BACKUPDIR/monthly_1 $BACKUPDIR/monthly_2
mkdir $BACKUPDIR/monthly_1
cp -al $BACKUPDIR/backupdata/* $BACKUPDIR/monthly_1
}

yearly ()
{
rm -r $BACKUPDIR/yearly_5
mv $BACKUPDIR/yearly_4 $BACKUPDIR/yearly_5
mv $BACKUPDIR/yearly_3 $BACKUPDIR/yearly_4
mv $BACKUPDIR/yearly_2 $BACKUPDIR/yearly_3
mv $BACKUPDIR/yearly_1 $BACKUPDIR/yearly_2
mkdir $BACKUPDIR/yearly_1
cp -al $BACKUPDIR/backupdata/* $BACKUPDIR/yearly_1
}

################################################################
# Main
echo "$TIMESTAMP Backup $1 start" >> $LOGFILE 2>&1
case $1 in
daily|weekly|monthly|yearly)
mount /media/backup
$1 >> $LOGFILE 2>&1
umount /media/backup
;;
*)
usage
exit 1
;;
esac
echo "$TIMESTAMP Backup $1 done" >> $LOGFILE 2>&1

# EOF

Kurze Erklärung: Der älteste Ordner wird gelöscht. Dann werden alle um eins verschoben. Das Herzstück vom ganzen Backup verbirgt sich hinter der Option -l von cp. Diese Option erstellt lediglich einen Hardlink von allen Dateien. Dies ist das tolle daran. Bei der Kopie mit cp -al src dst wird kein weiterer Speicherplatz auf dem Speichermedium belegt!

Backups erstellen
In der Crontab, welche mit sudo crontab -e aufgerufen wird, erstelle ich folgende Einträge:

# Backup
# Backup daily; 1:30h
30 1 * * * /usr/local/bin/backup daily
# Backup weekly; Montag, 2:00h
0 2 * * 1 /usr/local/bin/backup weekly
# Backup monthly; 1. Tag 4:00h
0 4 1 * * /usr/local/bin/backup monthly
# Backup yearly; 31. Dezember 3:00h
0 3 31 12 * /usr/local/bin/backup yearly

Jetzt werden zu bestimmten Zeiten die vberschiedenen Backups durchgeführt. Natürlich kann man die Befehle auch von Hand ausführen. Jedoch vereinfachen die Cronjobs diese Aufgabe erheblich!

Überwachung
Im Logfile können wir uns über den Status informieren:

emanuel@eeebox:~
$ tail /var/log/backup.log
2010-11-25_23-31-55 Backup daily start
2010-11-25_23-31-55 Backup daily done

Ich sehe keine Fehlermeldung. Das Backup hat funktioniert!

Restore
Ein Backup ist ohne erfolgreichen Restore gar nichts wert! Das restoren ist sehr einfach. Man kann einfach den gewünschten Ordner oder die gewünschte Datei zurückkopieren. Man muss gar nichts beachten!

emanuel@eeebox:/media/backup/backup/weekly_2/discordia
$ scp -r Daten/ discordia:/tmp/

Download
Hier könnt ihr alle Dateien als Archiv herunterladen: backup_emanuelduss.tar

Schluss
Wenn man das Backup einmal eingerichtet hat, hat man eine sehr zuverlässige Lösung um seine Daten zu sichern. Ich rate jedem an, seine Daten regelmässig zu sichern und auch den Restore durchzuspielen! Das Logfile sollte regelmässig nach Fehlern durchsucht werden, um die integrität aller Backup-Daten festzustellen.

Für Anmerkungen, Kritik und Verbesserungsvorschläge bin ich jederzeit dankbar und offen! Man lernt schliesslich nie aus!

Viel Spass mit euren Backups.