在日记中，张謇感慨，日本的全国面积与两江总督的辖区一样大。但前者经由30年实业、教育的发展，如今变为强国，中国却“昏若处瓮，瑟缩若被絷”。这并非中国人与日本人有何不同，而因为政治制度不同，“一行专制，一行宪法”。

日记写于1903年末。这一年，张謇东游日本。他考察的主题是农工、教育。他发现日本人的精细管理，“日人治国若治圃，又若点缀盆供，寸石点苔，皆有布置……知烹小鲜之精意矣”。他发现日本政府对于实业的支持，“国家以全力图之，何施不可”，而中国实业家却要面临种种干扰，“有排抑之人，有玩弄之人，有抵拒扰乱之人”。在札幌，他遇到一位山东农民许士泰，他在北海道拓殖，还受到日本政府嘉奖。他既感慨，“凡能平地赤立而发名成业者，真人才也”，又觉得这实在有赖于社会土壤，中国有很多许士泰却不得发挥，因为两边的政府，“若九天九渊之隔绝”。他感到明治的日本，“凡事有次第，未有不奏成绩者，其命脉在政府有知识，能定趣向，士大夫能担任赞成，故上下同心，以有今日”。而中国更像是“一室之中，胡越异怀，一日之中，朝暮异趣者，徒误国民有为之时日也”。

这些见闻必加剧了张謇思维的转变。这位南通人是时代的异端之一。在甲午这个不幸之年，却是他的奇迹之年。在四次会试不售之后，41岁的他拔得头筹。之后，他做出一个意外的决定，放弃仕途，投身实业。要知道，这仍是一个“状元宰相”为人生至高理想的时代，这种人生理想已延续了上千年。这千年中，只有极少人有机会实现之。张謇很有可能进入这极少人之列。

这个选择与其父亲的突然离世有关，他回到家乡守丁忧；也与国家危机有关，比起在京城官场的无力，振兴工商业，或许是更佳的救国之道。当然，按照其子张孝若的传记，还有一幕也是张謇放弃仕途的催化剂。也是甲午年间，这位新科状元目睹接驾一幕。当日恰逢大雨，慈禧太后正从颐和园回紫禁城，官员们，包括那些七八十岁的老臣，都跪在积水中。雨水落到帽上的红缨，流到袍褂上，他们一个个像是落汤鸡，而且似乎染上了血红。坐在轿中的太后，连头都没转一下。“我父一看，心上就难过起来，觉得这种官，是有志气的人该做的吗”，张孝若后来写道。

或许也是在那一刻，他对君权的怀疑也开始了。1898年夏天，他对康梁的主张与行动倍感怀疑，认定他们过分激进。1901年写作的《变法平议》中，他开始表达出立宪的热情，其首要的兴趣是设置议政院，尤其是地方议会，提供士绅的政治参与感。

对立宪的态度，也随日本游历而更加坚定。他迅速将想法转变为行动，为张之洞拟立宪奏折，并致信袁世凯，后者老谋深算，“尚须缓以俟时”。他与赵凤昌刻印《日本宪法》，送达朝廷，慈禧颇为动心，军机大臣瞿鸿禨亦派人去上海购买。他又刻印《日本宪法义解》《议会史》送给铁良，正冉冉升起的满人新贵。

张謇的热忱感染了一些人，包括满人的开明派。端方尤其努力，据说一次上朝时，慈禧说：“新政皆已举行，当无复有办者”，端方答道：“尚未立宪”；慈禧又问：“立宪如何”，后者答：“立宪则皇上可世袭罔替”。他在安抚不安的太后，立宪能带来新的稳定。