Para este error, un quick fix efectivo. En el servidor ejecutamos:
$ echo "ClientAliveInterval 60" | sudo tee -a /etc/ssh/sshd_config
Y reiniciamos el servicio. En el cliente ejecutamos:
$ echo "ServerAliveInterval 60" >> ~/.ssh/config
De esta manera mantenemos la sesión activa y tranquila para trasferir esos archivos grandes. Espero les sirva, nos vemos.