มัตสึเอะมีชื่อเสียงในด้านปราสาทมัตสึเอะที่ได้รับการอนุรักษ์ไว้เป็นอย่างดี ซึ่งเป็นหนึ่งในปราสาทดั้งเดิมไม่กี่แห่งในญี่ปุ่น และมีทะเลสาบและทางน้ำที่มีทัศนียภาพสวยงาม เมืองนี้ยังมีชื่อเสียงในเรื่องความสัมพันธ์กับลาฟคาดิโอ เฮิร์น นักเขียนชาวตะวันตกที่ตกหลุมรักญี่ปุ่นและเคยอาศัยอยู่ในมัตสึเอะ
