"Referrer", no contexto da Web, é a página que fez referência à página em questão. "Reference" é o oposto, ou seja, quando a página em questão faz referência a outra. Os dois termos são usados como sentidos opostos de uma mesma via. É muito importante em análises de tráfego e do site diferenciar os dois. Entretanto, em todas as traduções que vi, traduz-se ambos para referência, até mesmo quando as duas palavras (claramente demonstrando a distinção) estão na mesma frase:
This page displays all external referrers, or external references to your website.
foi traduzida para:
Esta página exibe todas as referências externas para o seu site.
Creio que é necessário definir um novo termo para "Referrer" para diferenciá-lo de Referência.

Comments
Uma curiosidade à respeito é
Uma curiosidade à respeito é que o padrão é originalmente Referer, apesar do erro (o certo seria Referrer): http://en.wikipedia.org/wiki/HTTP_referrer#Origin_of_the_term_referer
Eu nunca tinha pesado nisto,
Eu nunca tinha pesado nisto, mas faz sentido. Creio que a expressão "referência externa" já seja o suficiente para suprir esta necessidade.
Se quiser mesmo uma alternativa a própria internet nos dá a dica. No twitter as referências a você são Menções, em artigos e no Wordpress são chamadas de Citações, e alguns chamama de Entradas. Sempre que apresento estatísticas do site chamo de Indicações...