После окончания службы в 1954 году Уильямс вернулся в Нью-Йорк, где поступил в Джульярдскую школу, на класс пианино, где его преподавателем была Розина Левина. В те годы Уильямс также работал джазовым пианистом во многих клубах и студиях Нью-Йорка, где выступал совместно с композитором Генри Манчини, а также над серией альбомов популярного исполнителя Фрэнки Лэйна, как руководитель музыкальной группы. За свою карьеру Уильямс написал музыку к таким известным кинофильмам, как: «Челюсти», «Супермен», «Инопланетянин», «Искатели утраченного ковчега», «Список Шиндлера», «Парк юрского периода», киноэпопее «Звёздные Войны» и многим другим. Так же Уильямс создал музыку к четырём Олимпиадам, множеству телесериалов и концертных номеров. С 1980 года, по 1993 год он работал дирижёром Бостонского Эстрадного Оркестра и сейчас является его заслуженным дирижёром.

 

Уильямс — пятикратный лауреат премии «Оскар» (за музыку к фильмам «Скрипач на крыше», «Челюсти», «Звёздные войны. Эпизод IV. Новая надежда», «Инопланетянин», «Список Шиндлера»). Так же имеет 45 номинаций, что делает его, вместе с Альфредом Ньюманом, вторым по количеству номинаций на эту награду (больше только у Уолта Диснея).