Das stattliche zweistöckige Herrenhaus, das von William Chat im neoklassizistische Regency-Stil entworfen und im Jahr 1819 erbaut wurde, liegt nur drei historische Quadrate von Jets anderem Meisterwerk, dem Owens-Thomas House, entfernt. Die Telfair Academy umfasst drei Räume aus der Zeit des 19. Jahrhunderts und beherbergt amerikanische und europäische Kunst des 19. und 20. Jahrhunderts aus der ständigen Sammlung des Museums, darunter Gemälde, Arbeiten auf Papier, Skulpturen und dekorative Kunst.