Você pode clicar com o botão direito do mouse em qualquer arquivo ou pasta dentro de seu OneDrive e escolher se deseja disponibilizá-lo offline ou torná-lo somente online, o que removerá sua cópia local, mas a manterá lá na nuvem.
No entanto, para alterar essa configuração como padrão, você precisa fazer uma rápida visita às configurações do OneDrive, que podem ser encontradas clicando com o botão direito do mouse no ícone da bandeja do OneDrive e escolhendo Configurações.