Obtuvo su licenciatura en artes de la Universidad de Chicago. Después de graduarse en 1951, se matriculó en la Escuela de Drama de la Universidad de Yale, donde estudió actuación. Mientras estaba en Yale, Pattison se matriculó en el curso de teoría del color de Josef Albers, Interacción del color.
Allí, en New Haven, en 1958 fue donde conoció a Louis Kahn en el Wahldorf, un restaurante cercano a New Haven. Se cruzó nuevamente con Kahn en una cena a la que asistió con Robert Venturi, donde dice que comenzó su relación romántica con Kahn. Kahn jugó un papel fundamental en la vida de Pattison, alentándola a estudiar arquitectura paisajística y engendrando a su hijo Nathaniel en 1962.
En 1963, Pattison comenzó un aprendizaje de año y medio en la oficina del arquitecto paisajista Dan Kiley en Vermont y luego se matriculó en el programa de arquitectura paisajista de la Escuela de Bellas Artes de la Universidad de Pensilvania. Inició su carrera en la oficina de George Erwin Patton, donde trabajó hasta 1970. Ese año comenzó a trabajar con Louis Kahn en su oficina en 1501 Walnut Street en Filadelfia. Allí colaboró con Kahn en el diseño de los terrenos del Museo de Arte Kimbell en Fort Worth, Texas, y más tarde, del Memorial Franklin Delano Roosevelt, en el Parque Four Freedoms de Nueva York.
Pattison jugó un importante papel en la creación del paisajismo de Louis Kahn para el Museo de Arte Kimbell en Fort Worth, Texas. Fotografía por Carol M. Highsmith/Biblioteca del Congreso (Dominio público).
Después de la repentina muerte de Kahn en 1974, Pattison abrió su propio estudio de arquitectura paisajista mientras seguía colaborando con Patton en proyectos ocasionales. Sus proyectos incluyeron paisajes en casas privadas como la Residencia Haas y un plan maestro para la sede de Hershey Food Corporation en Pensilvania. En 2016 fue nombrada miembro de la Sociedad Estadounidense de Arquitectos Paisajistas.
Pattison fue autora del ensayo «Maine Landscapes: Design and Planning» sobre el trabajo de su modelo a seguir Beatrix Farrand, quien de manera similar allanó el camino para las mujeres en la arquitectura paisajística. Las reflexiones de Pattison sobre su vida con Kahn se publicaron en octubre de 2020, durante la pandemia de Covid, Harriet publicó, «Nuestros días son como años completos: una memoria con cartas de Louis Kahn».
La Cultural Landscape Foundation tiene una entrevista completa de la Historia Oral de Harriet Pattison que se puede ver aquí, acompañada de una reflexión de su viejo amigo y presidente de TCLF, Charles A. Birnbaum.