Галерија се налази у парку Јоуберт, неколико блокова од главне железничке станице у Јоханесбургу. Зграда је пројектовао британски архитекта Сер Едвин Лацхенсом и састоји се од 15 сајамских хала, као и неколико изложбених простора на отвореном до великих скулптура. Његов архива је скуп британског и холандског сликарства КСВИИИ-КСИКС века, збирка европских сликара КСИКС века, као и велику колекцију савремених дела Јужне Африке и интернационалних уметника.

Колектор Доротеа Сара Александр Флоренс Филипс, супруга рударство магната Лионел Пхиллипс формирали прву колекцију галерије на терет средстава допринели њеном мужу. Након пресељења у Јоханесбургу, она је почела да се сликају са циљем стварања уметничку галерију, која је касније постала Арт Галлери Јоханнесбург. То стекао колекцију слика од британског уметника и колекционара сер Хју Лане, излагао у Лондону 1910. године. Дама Филипс донирао своју колекцију чипке и убедио свог мужа да пренесе на седам галерију слика и скулптура Родин.

Збирка галерије обухвата радове аутора Аугусте Родин, Данте Габриел Россетти, Пабла Пикаса, Цамилле Писсарро, Цлауде Монет, Едгар Дега, Херберт Вард и Хенри Мур, као и рад јужноафричких уметника - Герард Секот Валтер Баттисса, Алексис Преллер, Мод Сумнер, Сиднеј Кумало и др.

Јоханнесбург Арт Галлери је отворен за јавност 1910. на кампусу Универзитета у Витвотерсренд. Архитекта, Сир Едвин Лацхенс позвао Лади Пхиллипс, дошли у Јужну Африку 1910. да истражи подручје и почети изградња зграде галерије. Али зграда није завршена у складу са цртежа архитекте. Пет година касније, са почетком градње, зграда је отворио своја врата за јавност, без церемоније, непосредно после Првог светског рата.

Крајем 1940-их, галерија зграда је продужен у складу са дизајном архитекте Лацхенса - изграђене Запада и Истока крила зграде. Сјеверни крило галерије са модерним фасаде саграђена током последњег реновирања зграде у 1986-1987 години.