。个中缘由，现在已难以断定了，但有两点传闻说得有些道理。一是蒋介石原是有心要提张群上来的，后来权衡再三，从提携后进和来日江山考虑，才决定由他人替代了张群。再有原因就涉及到国民党内部的矛盾。到台湾以后，张群与同样亲美的王世杰、吴国桢关系甚密，这样便在对美问题上与陈诚、蒋经国等人发生矛盾。后来王世杰被从“总统府秘书长”的位子上拉下来，张群很为他不平，曾在宋美龄面前为王世杰申辩，但未有结果。当时的美国驻台湾大使兰金也支持张群反对蒋经国。蒋介石面对这重重矛盾，思虑再三，指使原中央宣传部长张道藩对吴国桢大加攻击，以示对张群等人的警告。此举引起张群不满，因而退出了原定参加的“副总统”选举。
不管怎么说，这一阵躁动已足以说明张群在台湾的地位了。这以后。有一阵子传闻张群要做“行政院长”了，也未能成为事实。这时的张群已是古稀老人了，年龄因素影响了张群的仕途，但作为蒋介石最重要的谋士，张群一直发挥着别人难以起到的作用。
他在外交界的影响尤其大，被舆论界称为“台湾对外政策的监护人”。
比较起来，张群对日态度一直影响着蒋介石的决策，与日交往的重大活动，大抵都由张群出马。1962年，“世界道德重整亚洲大会中心”揭幕典礼在日本举行，张群以“台湾道德重整分会”代表的身份率团参加，而他此时仍是“总统府秘书长”，规格之高是明见的，去日本的目的其实是在于劝导日本政府不要对中国大陆存有幻想，以继续全力支持台湾当局为是。但效果不大，日中往来已成为广泛的呼声，张群及台湾当局的影响已难以发挥作用。这以后，台湾与日本的关系愈益走向低潮。但由于蒋介石与张群的坚持，日台关系一直维系下来。
张群对台湾外交的决策延续了约30年，一直到1975年蒋介石死去，方告一段落。
这一年蒋家王朝实行换班制，由蒋介石的长公子蒋经国担当“总统”职位。到这时，担任“总统府秘书长”达30年之久的张群才解除了职务，这一年他已经是83岁的老人了，按理说，到了这把年纪，该是归家养老的时候了，张群却不大甘于寂寞。
在这一年之前，日本承认了中华人民共和国，张群一直揪心的日台关系发生了重大转折。此时日台外交情形已非常黯淡，朝野分歧很大。蒋经国在这一年下决心走出父亲的阴影，断绝与日交往。张群象过去一样竭力对台湾当局“外交”施加影响，坚决反对中断日台交往。但这一次蒋经国去意已决，况且张群的话对蒋经国原本就没多大影响，日台交往最终结束了。
虽说蒋介石已去，但他在台湾政坛的余荫仍在发挥作用，张群或可视为蒋介石活着的影子。在辞去“总统府秘书长”之后，张群仍在台湾外交界举足轻重，他以最老资格的“资政”身份，对任“外交部长”的门徒沈昌焕施加影响，这种日子一直到沈昌焕1979年下台为止。
这以后，张群高寿已逾90了，一种恬淡的心境笼罩了他。
百年人生南国的3月，已遍染春色。
张群心境很好，他在院子里走走停停，触摸这些久违的花朵草木。这么多年，张群在院子里日行，3000步，健朗如故，近来却显然觉着有些疲倦了，去年（1986年）患白内障，动了两次手术，将息了差不多一年，终于可以下地走走了。走累了，他想在路边的小凳上歇歇脚，不料坐歪了，跌了下来，顿时宅子里一阵忙乱。急急忙忙送往医院，透视检查，折腾许久，医生说：坐骨受伤，幸未骨折，尚需留院治疗。这样许多人悬起的心才算落了下来，毕竟张群已是近百岁的人了。
依照旧历的算法，到1987年，他该是99岁的人了。这天是3月11日，距张群5月9日的生日不到两个月，平安的消息使许多预备祝寿的人高兴。这天精神稍好，已将到生日了，张群坐在“荣民总医院”病房宽大的靠椅上，面对台北《中央时报》记者，依然如当年一样从容，“我是主张不做寿、也不避寿的。今年，我还是不避寿，但是，却不能象往年那样坐在家里接待祝寿的客人，恐怕要‘避’在医院里过寿了，不过，我不是来医院避寿的，的确是在调养。”
寿典在紧锣密鼓筹备着。。张群却总有一种落寞。
他还记得30年前，夫妻同庆70寿诞的情景。那种温馨是永不再有了。
那时蒋介石还亲撰了“松柏同春”寿屏一幅相赠，“副总统”陈诚也题词祝贺。张群夫妇只接了这份礼，其他一概挡驾，他写了谢帖，“惠而好我，已详稠叠之云情，德以爱人，尚冀高明之曲谅，谨铭厚谊，秦壁嘉珍，肃罄谢忱。”这年的生日，过得有些清冷。张群的寓所和秘书长办公室都没有祝寿的人去，这点正合了张群夫妇的清雅。
张群夫妇是国民党政界要员中惹人敬慕的。
张群始终怀念共度大半生的夫人马育英。
那是在兵荒马乱的上海，张群刚从日本归来，便与同龄人马育英走到了一起。说起来，张夫人还年长四个月，戴一副深度近视眼镜，娴雅端庄。张群相貌英俊，是公认的美男子，风度潇洒，所看中夫人的便是她非凡的美德。许多年后，张群在追述夫人时说：“结婚以后，相励于艰苦之际，相慰于忧患之时，余从政数十年中，如随在任所，除操作家务，暨努力于宗教事之外，对用人行政，从不过问。然于操身处世、存心立命之本，则规诫时加，不徒为贤妻，实亦为诤友。”
伴随张群左右的许多人都记得张群夫妇的准则。张夫人自幼在教会学校读书，后又留学美、日，知识渊博，在与张群相伴的60多年中，尽管张群长期居于要位，她却从不过问政治，朋友来了，也只闲话家常，一说到政事，必定回避。
台北新闻界甚至将张群的姻缘视作一种典范。张群是四川人，夫人是江苏人，一个说四川话，一个讲上海话，往日在家里，各人讲自己的方言，互相都听得懂，却几十年不肯改变乡音。还说张家的餐桌也有别于他人，比方四川人喜欢吃辣椒，张群也是，夫人却是沪上口味，与辣绝缘，这样他家的餐桌上常常出现一半辣、一半不辣的菜。
张群曾愉快地谈起过自己63年的婚姻生活，他说从初恋到结婚是恋爱；有了孩子，夫妻间除了爱，又增添了恩情，这时是恩爱；待孩子抚养成人，各自独立而去，老夫老妻彼此怜惜，可说是怜爱。
张群刚结婚时，长年存外征战，夫妻间自然是别离多于团聚，忧患多于安乐。待到晚年，张群格外珍惜这份恩爱。那时张夫人身体欠安，经常病卧在床。那些时间里，张群虽然公务缠身，却总是推脱掉晚间应酬，以腾出时间陪伴病卧的老伴。每天，张群必定详问夫人病情，闲时总见他陪夫人坐着，聊些家常或是相对祈祷。见到两位老人洋溢着祥和怜爱的笑脸，使人感到由衷的钦羡。
张群一生的婚恋应该说比较专一，寻花拈草之事并非很多。值得一提的是，张曾与当时中国银行的“行花”张肖梅有过暧昧关系。张肖梅与张嘉■之弟张嘉铸结婚后，双方搭成默契，谁也不干涉对方的婚外恋，各自可以勾搭朋友。据说，张肖梅与其夫之哥张嘉■也有过婚外恋，张群的下属也曾提及张群与张肖梅有所来往。抗战初期，张群住在重庆德安里，家里没有随同。而张肖梅则住在楼下，张肖梅的丈夫也长期不在家。张群与张肖梅也就经常在一块过起夫妻般的生活来。每当张群下楼去轻敲张肖梅的房门时，副官们都马上避开，深怕遭到张群的训斥。后来，张群的家属来到重庆。四川省建设厅长何北衡为博取张群的欢心，为张肖梅弄了房子，住在张群住宅的对面，为他们提供方便。张肖梅与张群勾搭，仅仅是权贵结合而已。蒋介石对此事也有所闻，因对张群的器重，一直装作不知。
张群夫妇生有子女4人，两男两女。长女小咪（小名），天资聪明，十多岁时患伤寒病死于上海，次女张兰，从小就入教会学校就读。1932年以家庭无温暖为由，突然间离家出走。走时留下书信一封，信中提及不愿再住在奴隶式的家庭。一个人去了香港。几个月后，张群通过朋友关系才将女儿从香港劝说回来，张兰在香港时，结识了广东华侨刘毓棠，两人相恋进而结为夫妻。抗战结束后，刘以裙带关系，一度当过行政院参事。张兰曾经留学美国学习音乐。刘毓棠是美国哈佛大学政治系博士，曾是首任台湾驻新西兰大使，现在美国麦金诺大学任政治系主任兼教授。
张群的长子张继正。抗战开始时，张群为其安全送他去欧洲留学，后来因欧战爆发，又去美国康奈尔大学。继正原打算留学学机械，因父亲认为50年内中国机械科学不可能发达，于是改学建筑，获美国工程学博士。归国后在四川大学当过教授；抗战后期，响应国民政府的号召，毅然从军入伍。抗战后，汉口市府曾想通过张群秘书长关系，任命张继正为汉口市工务局长，目的是为讨好时任行政院长的张群。张群为了在蒋介石面前标明“清流”，没有同意此事。到了台湾后，张继正任过台湾美援运用委员会处长，助理秘书长及秘书长，1965年任台湾“经济部次长”。次子张继忠，因家人反对其恋爱，被家入送往澳大利亚雪黎大学留学，攻读电机工程，获得学士学位，回台湾原任电力公司工程师，后改学神学，改任浸礼会牧师。
在1971年，张群夫妇刚度过钻石婚，有友人问及他夫妻相处的密决，张群稍加考虑，道出了四条：敬、爱、谅、助。
那些个离别的日子，对年迈的张群真是个难关。1974年的夏天，张群爱子张继忠因病住进医院，张夫人得知后急火攻心，病情陡然加重，立即被送往医院，却总挂念着刚做手术的儿子。7月7日，张继忠坐在轮椅里来看望母亲，张夫人见了儿子，情�