A primeira coisa que você precisa fazer é verificar se executou o comando keygen para gerar as chaves (se você já gerou chaves, ignore esta etapa).
ssh-keygen -t rsa
Em seguida, use este comando para enviar a chave ao servidor remoto, modificando-o para corresponder ao nome de usuário e ao nome do host do servidor.
cat ~/.ssh/id_rsa.pub | ssh user@hostname 'cat >>.ssh/authorized_keys'
Você precisará digitar sua senha na primeira vez para copiar as chaves. Depois disso, você deve poder fazer o login sem uma senha, ou usar scp ou rsync sem digitar uma senha. Você pode testar com este comando:
ssh user@hostname
É definitivamente muito mais fácil do que digitar uma senha o tempo todo.
Método Alternativo
Você também pode usar o comando ssh-copy-id. Por exemplo, depois de gerar suas chaves, use este comando:
ssh-copy-id -i ~/.ssh/id_rsa.pub user@hostname
Fácil.