Отключаем IPV6 в зависимости от вашей почта службы
EXIM
/etc/exim/exim.conf
disable_ipv6=true
или оставляем ipv6, но используем ipv4 только для гугла
dns_ipv4_lookup = *google.com : *gmail.com
POSTFIX
/etc/postfix/main.cf
inet_protocols = ipv4
DOVECOT
/etc/dovecot/dovecot.conf
listen = *
Не забываем перезапустить службы после изменения конфига