La historia del Palacio Azul, como lo llamaban entonces, se remonta al siglo XVI, esta edificación fue construida al estilo churrigueresco y se decía que los azulejos del exterior fueron hechos en China especialmente para su fachada aunque lo mas probable es que hayan sido fabricados en Puebla en una alfarería de talavera de frailes Dominicos en el año de 1653.
La historia de los habitantes de la Casa de los Azulejos, comienza cuando Don Damián Martínez, presionado por sus acreedores, se vio obligado a cederla en propiedad a Don Diego Suárez de Peredo, quien obtuvo la finca en la cantidad de $6,500, tomando posesión de la casa el 1 de Diciembre de 1596.
Posteriormente, Don Diego habría de heredarla a su hija Doña Graciana, quien contrajo matrimonio con Don Luis de Vivero, segundo Conde del Valle de Orizaba.
Pasadas algunas generaciones, se cuenta que uno de los condes del Valle de Orizaba, tenia un hijo que acostumbrado a vivir en la riqueza y opulencia, solo pensaba en fiestas y derroches; por lo que su padre, cansado de las frecuentes reprimendas a su hijo sin tener resultados, le lanzó un reto diciendo: «Hijo, tú nunca irás lejos, ni harás Casa de Azulejos«, haciendo referencia a que su hijo era un bueno para nada.
Al joven heredero, esta frase le causo mella y poco a poco cambió de vida, prometiendo reconstruir la casa que su padre tenía por imposible. Así que con el paso del tiempo, el heredero cumplió lo ofrecido y reedificó aquel «Palacio Azul» revistiéndolo de azulejos, para convertirlo en la hoy famosa «Casa de los Azulejos”.
Existen varias leyendas acerca de esta construcción colonial, siendo una de ellas la que cuenta que el 18 de Octubre de 1731, la Condesa del Valle de Orizaba, Doña Graciana de Vivero y Peredo, muy devota del Cristo de los Desagravios, encontró una escultura labrada en tamaño natural pero de autor desconocido en el Convento de San Francisco, la cual solicito a préstamo y la hizo llevar a su casa para colocarla en la sala principal.
La noche del 7 de Noviembre siguiente, la Ciudad fue sacudida por un fuerte terremoto. Don José Suárez, hijo de la Condesa, recorrió la casa para hacer un recuento de los daños causados por el terremoto y al pasar por la sala donde se encontraba el Cristo, se acercó devotamente a besar la llaga del costado y notó que estaba húmeda, levantó los ojos para ver el rostro del Cristo y lo vio totalmente desencajado, recordando que antes tenía el semblante de un hombre vivo y llenas las mejillas.
Lleno de temor, dio cuenta del suceso a su madre la Condesa y varias otras personas, quienes dieron fe del milagro. Sacerdotes, médicos, pintores y escultores fueron testigos de este acontecimiento y manifestaron tratarse de un hecho sobrenatural.
Los condes del Valle de Orizaba continuaron habitando el viejo edificio y el 4 de Diciembre de 1828, en medio del desorden del que era presa la Ciudad por el Motín de la Acordada, el oficial Manuel Palacios penetró en la Casa de los Azulejos en el momento en que el ex Conde Don Andrés Diego Suárez de Peredo bajaba la escalera y le asesto varias puñaladas, dejándole sin vida.
Años después, la familia Yturbe Idaroff compró la Casa de los Azulejos y fue habitada por Don Rafael de la Torre y poco después por Don Sebastián de Mier. En 1881, la ocupó el Jockey Club de México y posteriormente en 1903, la Casa de los Azulejos paso a ser propiedad de Sanborns.
Como dato adicional, cabe comentar que en la escalera de la Casa de los Azulejos, existe un famoso mural del artista José Clemente Orozco fechado en 1925 y que lleva el titulo de Omniciencia, el cual tiene un valor artístico incalculable.
La Casa de los Azulejos fue declarada monumento nacional el 9 de febrero de 1931.