Les points de couleurs qui doivent être visualisés comme un seul point au final ne doivent pas être trop éloignés (si possible pas plus d'un dixième de la largeur de la figure), pour empêcher que le cerveau ne sépare les images, ceci limite donc l’effet de relief que l’on peut donner à une image.
Cependant, une image anaglyphe peut être projetée sur un mur blanc : à partir d'une largeur d'image de 1,20 m, on peut restituer un espace image de deux mètres à l'infini, ce qui n'est pas possible sur l'écran d'un ordinateur.
De plus, la distance entre l’observateur et le plan de l’image anaglyphe est un paramètre qui joue de manière importante sur l’impression de relief.
Un problème peut être constaté si un élément dans la scène originale a une couleur qui se rapproche de celle d'un des filtres : cet élément sera vu comme très clair par l'œil portant ce filtre et très sombre par l'autre œil. Les cas les plus fréquents sont par exemple : un ciel bien bleu, une voiture rouge vif. Cela provoquera un déséquilibre entre les deux yeux qui rendra l'observation de l'anaglyphe désagréable (l'élément en question semble clignoter). Ce problème est souvent appelé « rivalité rétinienne » et peut être résolu ou atténué par un filtrage des couleurs (la dé-saturation des couleurs est l'opération la plus commune et on parlera alors d'anaglyphes en « demi-couleurs »). La solution peut être aussi d'utiliser d'autres couleurs pour les verres des lunettes : les lunettes jaune-bleue permettront de reproduire plus fidèlement les teintes rouge et chair mais ces lunettes sont moins répandues que les classiques lunettes rouge-cyan.
Les anaglyphes donnent de bons résultats avec des images noir et blanc (avec niveaux de gris), mais ne sont pas adaptés aux images couleur. Il suffit d'ailleurs de regarder des objets aux couleurs vives à travers des lunettes anaglyphiques pour constater une forte dégradation de leur aspect.
Autre problème qui découle lui de « l'universalité » du système : les anaglyphes peuvent être projetés, imprimés ou visualisés sur un écran d'ordinateur ou de télévision. Or tous ces dispositifs ne restituent pas les couleurs de la même façon et, de leur côté, les lunettes ne sont pas toutes identiques -certaines vont être plus ou moins sombres- et ne sont pas « parfaites ». La conséquence est que le filtrage n'est pas parfait, la séparation des deux images n'est pas totale et chaque œil va voir un peu de l'image destinée à l'autre œil. On voit alors apparaître des images parasites dites « images fantômes » qui vont diminuer le confort de vision et donc l'impact de l'image. S'il est difficile d'obtenir que tout le monde ait un écran bien réglé et des lunettes parfaites il vaut mieux éviter dans les anaglyphes des contrastes trop importants qui vont provoquer des fantômes. Un traitement des images sur ordinateur (diminution du contraste) peut là aussi atténuer les problèmes.
Les algorithmes de compression des images numériques les plus répandus comme le JPEG ont été conçus pour compresser des photographies standard et ne donnent pas toujours satisfaction pour traiter des images anaglyphes.
Pour augmenter le taux de compression, ces algorithmes traitent séparément l'information « luminosité » et l'information « couleur » (ou chrominance) de l'image à compresser. Pour simplifier, on peut dire que la compression de l'information « couleur » s'effectue non pas pixel par pixel mais par bloc de 2 ou 4 pixels qui sont alors considérés comme ayant la même couleur. On parle de « sous-échantillonnage de la chrominance ». Or les anaglyphes reposent sur un codage précis des couleurs pour bien restituer le relief de la scène représenté. Le sous-échantillonnage de la chrominance va faire que les deux images gauche et droite vont baver l'une sur l'autre provoquant des désagréables images fantômes ayant la forme de filets argentés.
Heureusement de nombreux logiciels permettent d'enregistrer des images JPEG en désactivant le sous-échantillonnage de la chrominance, la qualité de l'image stéréo s'en trouve grandement améliorée (au prix d'une taille de fichier légèrement supérieure).