Η Πινακοθήκη φέρει το όνομα "Χρήστος Παυλίδης", ονομασία που δόθηκε προς τιμή του ζωγράφου της πόλης Χρήστου Παυλίδη, ο οποίος δώρισε 30 περίπου έργα του για την μελλοντική Πινακοθήκη. Μετά τον θάνατο του ζωγράφου, η κληρονόμος του Ζωή Παυλίδη, δώρισε και άλλους πίνακές του στην Πινακοθήκη.Στη μόνιμη έκθεσή φιλοξενεί έργα ζωγράφων της πόλης και κατά διαστήματα περιοδικές εκθέσεις.Στεγάζεται σε ένα αρχοντικό η οικοδόμηση του οποίου τοποθετείται στα μέσα του περασμένου αιώνα και αποτελεί ένα από τα εξαιρετικότερα δείγματα Δυτικομακεδονικής - Ηπειρωτικής παραδοσιακής αρχιτεκτονικής με βασικό χαρακτηριστικό γνώρισμα τα ξυλόγλυπτα ταβάνια, που είναι μοναδικά στην περιοχή. Βρίσκεται στο κέντρο της παλιάς πόλης και από το 1993 είναι ιδιοκτησία του Δήμου Ξάνθης.