Clique com o botão direito do mouse ou selecione o contato com Ctrl+clique e, em seguida, clique em Remover.