Letztens hatte ich fast die Befürchtung das ich meinen warmen Kaffe stehen lassen müsste und was machen müsste. Die Aufgabe der Umzug von mehren tausend Emailpostfächern von einem Server zu einen anderen.
Der Helfer der einem da gleich ein fällt ist Imapsync. Seit einiger seit schon ein Quasistandart auch wenn sich weitere Mitstreiter empfehlen Da haste nicht gekleckert, trainiert als gäbe es kein morgen mehr war imapsync mein Helfer der Wahl.
Die IMAP-Server waren jeweil ein Courier, bei dem mir nicht klar wurde ob ich einen Superuseracccount für die Migration nützen könnte. Ich entschloss mich einfach für jeden User einen Migrationsuser mit jeweils mir bekannten Passwort anzulegen.
Userer User werden in einem LDAP gehalten, dort wollte ich die migrationsuser aufkeinen Fall haben, die Einbindung einer weiteren authmethode lösste diese Problem
#!/bin/bash
ldapsearch_output="ldapsearch_output"
searchstring="gidNumber"
#Enthält die Daten der User die Migriert werden soll
maildaten="migration_accounts.csv"
logpfad="/opt/mig/scripte/create_userdb"
log=$logpfad/mkuserdb_$(date +%s).log
ldap_host="example.de"
ldap_user="uid=mmuster,ou=intern,o=example.de"
ldap_pwd="xxx"
ldap_base="o=example.de"
search="uidNumber gidNumber maildir"
mig_pwd=""
if [[ ! -d $logpfad ]]
then
mkdir -p $logpfad
fi
if [[ -f $maildaten ]]
then
while read line
do
uid=$(echo $line| cut -f12 -d",")
filter="(uid="$uid")"
#pwd in crypt und maskiert
mig_pwd=$(echo $line| cut -f17 -d",")
status=$(echo $line| cut -f3 -d",")
if [[ $status -gt 4 ]]
then
echo " [400] Status !< 5" | tee -a $log
else
# if [[ -n $uid ]] || [[ $uid == "" ]]
if [[ -n "$uid" ]] || [[ $uid != "" ]]
then
#im Ldap nach uidnummer gidnummer homedir suchen
search=$(ldapsearch -h $ldap_host -D "$ldap_user" -w $ldap_pwd -b
\\$ldap_base -LLL "$filter" $search | tee $ldapsearch_output)
if [[ $? == 0 ]] && [[ $(grep -c \\
"$searchstring" $ldapsearch_output) -eq 1 ]]
then
add=$(echo $search | sed 's/dn: uid=/userdb default\//; \\
s/,.*uid/-migration set uid/;s/uidNumber: /uid=/;s/gidNumber: /gid=/;\\
s/maildir: /home=/; s/$/ systempw=$mig_pwd')
echo "$add" >> create_userdb4couri
$add
if [[ $? != 0 ]]
then
echo "[500] Eintrag von $uid in die Userdb nicht erfolgreich"\\
| tee -a $log
else
echo "[200] Eintrag von $uid in die Userdb erfolgreich"\\
| tee -a $log
fi
else
echo "[502] Probleme bei der LDAP-Abfrage " | tee -a $log
fi
else
echo "[404] keine Uid gefunden in $line " | tee -a $log
fi
fi
done < $maildaten
cd /etc/courier/
makeuserdb
else
echo "[404] Maildaten fehlen" | tee -a $log
exit 1
fi
#!/bin/bash
###Mailmigration
#Anzahl der zulaufenden imasyncs
PMAX=10
maildaten="migration_accounts.csv"
logpfad="/opt/mig/scripte/imapsynclog"
sed_logpfad=$(echo $logpfad| sed 's/\//\\\//g; s/$/\\\//')
log="$logpfad/sync.log"
echo "" > $log
#Pfad zu imapsync
imapsync="/opt/mig/scripte/imapsync-master/imapsync"
pwd=""
uid=""
account=""
user=""
domain=""
status=""
email=""
function create_logpfad() {
if [[ ! -d $logpfad ]]
then
mkdir $logpfad
if [[ $? -gt 0 ]]
then
exit 1
fi
fi
}
function sync_imap() {
login_1=$uid
pwd_1=$pwd
host_1="imap.example.net"
login_2=$(echo $uid"-migration")
pwd_2=$mig_pwd
host_2="imap.example.de"
imap_log=$logpfad/$user"."$(date +%s)".log"
#imasync von server 1 zu server 2
$imapsync --host1 $host_1 -user1 $login_1 -password1 $pwd_1\\
--authmech1 login --host2 $host_2 -user2 $login_2 -password2 $pwd_2 \\
--authmech2 login --subscribe_all --useuid --tmpdir /dev/shm >> $imap_log
#checklog
if [[ $(grep -c "Detected 0 errors" $imap_log ) -eq 1 ]]
then
echo "[200] User $user(uid: $uid) erfolgreich gesynct" \\
| tee -a $log
else
echo "[500] Fehler beim syncen von user $user(uid: $uid) für \\
Details schau in $imap_log "| tee -a $log
fi
}
function run_sync_p() {
while [ $(jobs -rp | wc -l) -ge $PMAX ]
do
sleep 0.5
done
sync_imap &
}
function start_sync() {
if [[ -f $maildaten ]]
then
while read line
do
#echo "line $line"
pwd=$(echo $line| cut -f7 -d",")
uid=$(echo $line| cut -f12 -d",")
account=$(echo $line| cut -f2 -d",")
user=$(echo $line| cut -f6 -d","|cut -f1 -d@)
domain=$(echo $line| cut -f5 -d",")
status=$(echo $line| cut -f3 -d",")
email=$(echo $line | cut -f2 -d","|cut -f1 -d@)
mig_pwd=$(echo $line| cut -f17 -d",")
if [[ $status -lt 5 ]]
then
if [[ ! -n $uid ]] || [[ $uid == "" ]]
then
echo "[404] keine Uid zu user $user gefunden \\
in: $line" | tee -a $log
else
if [[ $user == "N" ]] || [[ ! -n $user ]]
then
if [[ -n $email ]]
then
user=$email
run_sync_p
else
echo "[409] kein Nutzerinformationen in\\
$line zu finden" | tee -a $log
fi
else
run_sync_p
fi
fi
else
echo "[400] Staus >= 5 in $line " | tee -a $log
fi
done < $maildaten
else
echo "[404] Maildaten fehlen" | tee -a $log
exit 1
fi
}
function create_report() {
while [ $(jobs -rp | wc -l) -gt 0 ]
do
sleep 1
done
#Anzahl erfolgreiche Sync
anz_status_200=$( grep -c "\[200\]" $log )
#Anzahl fehlerhafte Sync
anz_status_500=$( grep -c "\[500\]" $log )
if [[ $anz_status_500 -gt 0 ]]
then
anz_status_500=$(expr $anz_status_500 - 1 )
fi
status_500=$( grep "\[500\]" $log )
anz_status_409=$( grep -c "\[409\]" $log )
anz_status_400=$( grep -c "\[400\]" $log )
anz_status_404=$( grep -c "\[404\]" $log )
anzahl_zeilen_csv=$( wc -l $maildaten | cut -d" " -f1)
error_lis=$(grep "\[500\]" $log | sed 's/.*\/opt\//\/opt\//')
echo -e "
REPORT:
####################################
Erfolgreich: $anz_status_200
Fehler bei Sync: $anz_status_500
keine UID gefunden: $anz_status_404
kein Userinformationen gefunden: $anz_status_409
user Status >= 5: $anz_status_400
in CSV: $anzahl_zeilen_csv
####################################
"
l_nr=1
if [[ $anz_status_500 -gt 0 ]]
then
draw=0
#echo -e "Fehlerhafte Syncs \n $status_500"
for line in $error_lis
do
if [[ $(grep "Failure: error login on " $line | grep -c \\
"example.de") -gt 0 ]]
then
if [[ $draw -eq 0 ]]
then
echo -e "Fehlerhaftes Login imap.example.de\n------\n"
draw=1
fi
echo -e "$l_nr:\t $(grep "Failure: error login on " \\
$line | grep "wodan")"
l_nr=$(expr $l_nr + 1 )
fi
done
draw=0
for line in $error_lis
do
if [[ $(grep "Failure: error login on " $line | grep -cv \\
"example.de" ) -gt 0 ]]
then
if [[ $draw -eq 0 ]]
then
echo -e "\n------\nFehlerhaftes Login bei \\
imap.example.net\n------\n"
draw=1
fi
echo -e "$l_nr:\t $(grep "Failure: error login on " \\
$line | grep -v "wodan")"
l_nr=$(expr $l_nr + 1 )
fi
done
draw=0
for line in $error_lis
do
if [[ $(grep -ie "Detected [0-9]* errors" $line | grep -v \\
"Detected 0 errors" |wc -l ) -gt 0 ]]
then
if [[ $draw -eq 0 ]]
then
echo -e "\n------\nSyncfehler\n------\n"
draw=1
fi
echo -e "$l_nr:\tuser: $(grep -i "Detected [0-9]* \\
errors" $line | grep -v "Detected 0 errors" | sed 's/$sed_logpfad//; \\
s/\..*//')\nDetails $(grep -i "Detected [0-9]* errors" $line | grep -v \\
"Detected 0 errors" | cut -d: -f1)"
l_nr=$(expr $l_nr + 1 )
fi
done
fi
}
function main () {
create_logpfad
start_sync
create_report
}
main
