Daniel Patterson
En 1853 ella se casó con Daniel Patterson, quien le aseguró que le brindaría un hogar para su hijo. Muy pronto Patterson se negó a cumplir con el acuerdo —la primera de las muchas promesas rotas. A pesar del mutuo afecto que sentían, el matrimonio se deterioró. Para estar cerca de su hijo, los Patterson se mudaron de Franklin, Nuevo Hampshire, a North Groton. Sin embargo, los Cheney, quienes cuidaban del hijo de Mary, finalmente se mudaron al Lejano Oeste, y se llevaron con ellos a “Georgie” de once años de edad. El niño no volvería a ver a su madre en más de veinte años.
Para apoyar a su esposa semiinválida, Patterson compró parte de un aserradero. La empresa no dio otra cosa más que deudas. Para 1860 el aserradero y su casa estaban en juicio hipotecario por falta de pago. La pareja se vio forzada a mudarse. Alquilaron una casa en Rumney que les brindó un techo por uno o dos años, pero su esposo estaba fuera de la casa con frecuencia.
Patterson saw mill, No. Groton, N.H
Finalmente, los Patterson se fueron a vivir a Swampscott, Massachusetts, en las afueras de la floreciente ciudad de Lynn, notoria por sus fábricas de zapatos, y ocuparon un departamento en un primer piso en la Calle Paradise. Allí, en 1865, ella estaba por llegar a un punto decisivo, tanto para ella misma como para muchos miles de personas más.