Alors bon, à l'heure où je tepote ces lignes le paquet evince est 404 dans les dépôts Ubuntu, aussi la démarche d'installation est la suivante :

$ wget http://www.artfiles.org/ubuntu.com/archive/pool/universe/e/evince/evince_0.1.9-0ubuntu1_i386.deb
$ sudo dpkg -i evince_0.1.9-0ubuntu1_i386.deb

Pour éventuellement virer kpdf proprement, lui et ses librairies QT dépendantes :

$ sudo apt-get remove kpdf
$ sudo dpkg -P `deborphan`

Cette dernière commande - très utile - permet de supprimer les paquets orphelins, c'est à dire inutile, en gros.

PS : Désolé pour le jeu de mot pourri du titre, c'est plus fort que moi, j'essaye pourtant, mais non.