島津邸は昭和10年(1935)に平屋で建築され、その後、昭和29年(1954)に2階が増築された。さらに昭和47~48年(1972~1973)にかけて、増築がおこなわれている。外観は一般的な民家のたたずまいであるが、内部の間取りは用途ごとにゾーニングされており、それぞれにトイレ、洗面、風呂等の水回りが付属しているなど、一般の民家には見られない特徴を持つ。採光の考慮もされており、中庭が2箇所配置されている。
主屋は東西に長く、玄関から続く3室続きの座敷と、廊下を介してL形3室の座敷を並べ、中庭を配する特徴的な平面をもつ。
2階部分は昭和48年(1973)に天皇皇后両陛下が御宿泊されており、部屋は当時のまま、保存されている。
屋敷地内には、土蔵造の内蔵と外蔵が建ち、石造平屋建ての石蔵は、表面加工のノミ痕を意匠的に表す。このほか、剣道場、神明造系の社、木太く簡明なつくりの御門などがよく残り、旧領主の邸宅らしい、屋敷景観を形成している。