O Carter Center está localizado em um parque 35acre aproximadamente 1.5 milhas a leste do centro de Atlanta. Quatro pavilhões circulares interconectados abrigam os escritórios do ex-presidente, primeira-dama e funcionários do Centro. O complexo também inclui a capela não denominacional Cecil B. Day Chapel e outras instalações para conferências. Além disso, o Centro também é proprietário do Edifício Kirbo, nas proximidades. A Biblioteca e Museu Jimmy Carter , adjacente ao The Carter Center , pertence e é operada por os arquivos e registros nacionais .