1950 zogen Wilma und Georg nach Little Rock in Arkansas, wo Georg eine Anstellung am schwarzen und daher finanziell schlecht ausgestatteten Philander Smith College erhalten hatte. Dort setzte er sich erfolgreich unter anderem dafür ein, dass seine schwarzen Studenten Zugang zur öffentlichen Bibliothek von Litte Rock erhielten, die vorher ausschließlich Weißen vorbehalten gewesen war. Die Familie, die inzwischen um 3 Kinder gewachsen war, lebte in sehr einfachen Wohnverhältnissen auf dem Campusgelände. Durch das gemeinsame Spielen der Kinder ergaben sich soziale Kontakte mit den schwarzen Nachbarn. Die Familie zog 1957 nach New Orleans um, Wilma und Georg hatten dort beide Anstellungen an der Dillard University erhalten.