L’assenza di un documento che costituisce « l’atto di nascita» di palazzo Secchi non impedisce di collocarne la costruzione intorno alla prima metà del 1700. Si può pensare che fosse stato edificato dai primi proprietari che si conoscano, i nobili Manzoni, citati nel catasto napoleonico del 1813. Passò ad un’altra illustre famiglia di Castello, quella degli Arrigoni, poi per brevissimo tempo agli Zanchi, infine ai fratelli Giuseppe e Giovanni Secchi.
Al piano terreno erano sistemati alcuni servizi della casa; la stanza dei fiori, il fondaco per la seta ed altri ancora; al primo piano erano i locali di abitazione, al secondo, che è un sottotetto, altri locali di servizio.
La struttura del palazzo è in parte a corpo semplice ed in parte a corpo doppio con muri di spina portanti che chiudono locali molto ampi di cui qualcuno, a piano terreno, con soffittatura a voltine. Mentre la facciata verso il cortile (che termina sul fianco della chiesetta dei Santi Nazario e Celso) ha l’aspetto modesto e silenzioso delle buone case di campagna dei nostri paesi, la fronte verso strada è un eccellente esempio di architettura settecentesca, un po’ rigida nella ricerca di simmetrie spesso difficili da raggiungere e poi assolutamente libera nelle decorazioni come si vede oggi nella balaustra del balcone, nel grande cornicione della tavola 37 che decorava un tempo il giardino, e nella balaustra delle scale. La libertà delle volute, dei profili sempre diversi, dei raccordi spesso acrobatici, aveva preso la mano, fino ad allora lenta e misurata, anche agli artisti lombardi dell’ultimo seicento e del primo settecento e così le decorazioni di palazzo Secchi si possono accompagnare a più illustri esempi di inconsuete sfrenature, non molto lontani da Lecco, come la villa Arconati sulla penisola di Balbianello, villa Prinetti-Castelletti a Merate, il santuario di Imbevera, il palazzo Visconti di Modrone a Milano, il palazzo Crivelli, pure a Milano.