No WordPress o avatar é configurado através do Gravatar.
O Gravatar é um site onde você faz um cadastro e vincula um email a uma foto.
Onde você usar esse email, sua foto (vinculada com o email no gravatar) aparecerá, se o site usar o Gravatar para gerar o avatar.
Como é na prática, no WordPress
Quem deixar um comentário em um post, vai aparecer a foto se o email dessa pessoa que comentou estiver configurado lá no Gravatar.
Se a pessoa não tiver o email configurado lá, ele usa uma foto padrão.
Para o autor do post, a foto dele é gerada da mesma forma.
O email que o autor do post tem no perfil do WordPress (Usuários / Seu perfil) precisa o mesmo email configurado lá no Gravatar.
Assim, você troca sua foto no Gravatar e ela mudará em todos os sites que tenha o Gravatar para gerar o avatar, quando você comentar ou fizer um cadastro.
Como ativar o Gravatar no WordPress
Por padrão o Gravatar já está ativo no WordPress.
Para usar ele, basta que você permita comentários em posts, e ou tenha uma “assinatura de post” que gere sua foto ao lado do nome.
Você pode mudar a configuração básica do Gravatar indo no painel do WordPress em Configurações / Discussão.
Se quiser desativar essa opção do seu site, basta desmarcar a opção Mostrar avatares e salvar as alterações.
Avatar do usuário do WordPress
Já a configuração do avatar do usuário vai depender do email dele.
Para editar o email do usuário para ser o mesmo do Gravatar, vá no painel do WordPress em Usuários / Perfil, ou vá em Usuários, procure pelo usuário que quer alterar e clique no nome dele.
Mais no final da página tem um link para ir direto para o Gravatar para alterar a foto.
A alteração da foto é feita de fato lá no Gravatar e não no WordPress.