渐增强，对日本人的态度开始变得强硬起来，看到日本人对中国如此傲慢无礼，也很不满，常气愤地说：“日本人也太霸道了，他们已经得到了那么多的好处，还不满足，还在到处伸手，连中国打回仗，他们都要干涉，也管得太宽了，这两年我张某虽然运气不好，可我手里还有几十万军队，他们休想骑在我的脖子上拉屎，我老张也不是那么好惹的！”他觉得日本居心不良，对《觉书》想采取置之不理的态度。但张学良和他的顾问们则认为，对此不能意气用事，对日本人的指手划脚可以拒绝接受，但他们提出的关于撤退东北的要求，还是必须认真对待的。他这才同意召集会议，研究《觉书》，共商对策。
经反复会商，张作霖和他的谋士们认为，北京政府的局面确难继续支撑了，采取退回东北的策略是明智的。当然，这全是中国主权范围内的事，不能由日本人指挥，所以他们于５月２５日发表《北京政府正式宣言》复照日本政府，指出：东三省及京津地方均为中国领土，主权所在，不容漠视；对日本帝国主义制造的济南惨案，则予以谴责，提出“勿再有不合国际惯例之措置”。当然，他们对日本也还留有余地，如在照会中也表示，他们将考虑日方要求，准备撤回东北。
当时，日本的这个蛮横的《觉书》，也曾递交南京政府，可那时正热衷于与日本拉关系的蒋介石，哪敢同日本人交锋呢，所以对此露骨干涉中国内政的行为，竟也装聋作哑，一声不吭，只悄悄致电南京在日本的官员张群，让他转告日本政府，说什么“嘱作霖及时下野，自动退出京津，移驻关外，则全国之统一可不用兵，更何须出兵远征？”南京政府为了掩人耳目，后来虽然发表了一份有关《觉书》的对日照会，但用词婉转，软弱无力。这样一来，也更助长了日本帝国主义的嚣张气焰，他们对张作霖软硬兼施，勒索敲诈，以便在东北取得更多的特权，并尽快实现其占领满蒙的计划。原来，日本政府早在１９１５年，就曾与袁世凯的北洋政府签订了臭名昭著的灭亡中国的二十一条卖国条约，这当中有七条是霸占东北的内容。后来，段祺瑞又与日本勾结，搞了西原借款，其中有个交换条件，即中国需承认日本有权在东北修筑四条铁路。但由于中国人民始终强烈反对军阀政府的卖国行径，二十一条和西原借款都未实现。但日本人并不死心，前些年他们之所以支持张作霖，目的还是想把二十一条和西原借款中一些条款变为现实。而这当中，他们最关心的就是东三省的路权问题，他们要垄断铁路修建权。张作霖和张学良却要打破这种垄断，自办铁路，先后修了奉（天）海（龙）路和大（虎山）通（辽）路，日本人对此大为不满，张氏父子不予理睬。后来，日本人要求修吉（林）会（朝鲜会宁）等路，张作霖也总是含糊其词，能推就推，能拖就拖，致使日本吞并东北的计划无法实现。不仅如此，连１９２８年３月，张作霖为从日本人那里得到军费、与日军签订的《吉敦铁路延长垫款合同》，因后来决定不再同国民党军队作战，也单方面把这个合同取消了，并还有企图摆脱日本人、欲与英美等国联系、寻求新的出路的意向，比如“他热心开始与英国、特别是与美国人交往，在他自己身边引进美国军事顾问”，并吸收美国银行投资，提议让美国人在东北修筑铁路等。这就更加激怒了日本人。以致日本驻华公使芳泽谦吉等漏夜晋谒，几番拜访，试探之不足，复加以威胁，提出种种无理要求，把张作霖也惹得火冒三丈，二人唇枪舌箭，发生了激烈冲突。张怀英（张作霖的二女儿）如今还清楚记得：“从北京出发前，日本驻华公使芳泽谦吉还找我父亲签字（签定‘日张秘约’，即履行郭松龄倒戈时所允诺的条件），谈得面红耳赤，不欢而散。”这事在成玄的《张作霖演义》中也有记述，据说作者早年有机会接触到张家父子，并广泛搜集了有关资料，虽为演义，但是在忠于史实的基础上写出来的。下面，我们姑引部分片断，权作了解这段历史的一个参考材料。书中载道：
正在反日运动高涨之际，芳泽又来会见张作霖，气势汹汹地问道：“满蒙形势日趋混乱，阁下怎样对待这一问题？”
老张说：“老百姓这样强烈地反对贵国，我嘛，我只能觉得很遗憾。”
芳泽说：“阁下应该断然加以制止才对。”
老张说：“我看，我们的谈判暂停一下，事情也就可以平息了。”
芳泽面色不悦：“这么说，阁下不是有意姑息这次暴乱吗？”
老张也沉脸说：“请不要误会。现在老百姓很不好对付，如果强行制止，恐怕事态越闹越大了。”
芳泽以威胁的口气说：“此次田中首相决心解决满蒙诸悬案，如果再行拖延，恐怕大大有碍我们的‘友好邦交’，对阁下也大大不利！”
老张眨眨眼，故作糊涂：“唔？还有许多悬案？这我不很清楚。既然是东北的问题，就请阁下先回奉天，与交涉总署谈谈吧！”说罢端茶送客。
芳泽捋捋小胡，冷笑一声：“阁下这样缺乏诚意，本公使非常遗憾！”说罢愤然离去。
日本人见张作霖居然态度强硬起来，当然不能就此罢休。但一时却也无可奈何，只好把这一次谈判暂时停顿下来，另作打算。
北京政府反对日本干涉声明发表之后，芳泽立即通知张作霖，约定当晚会谈。老张料到一场当面冲突已难避免，为了故示镇静，晚饭后他邀来梁士诒、李宣成等几位客人，在纯一斋里打牌消遣。麻将刚打过两圈，承启官进来报告：“芳泽公使来拜访大元帅，现在大客厅等候。”梁士诒等把手中麻将推倒，站起身说：“雨帅有重要公事，我们改日再玩吧。”老张挽留说：“我和这个日本鬼子没什么可谈的了，应酬几句就完，回头咱们接着打。”
芳泽在客厅等得很不耐烦，暗道好个张作霖如今连外交礼貌都不讲了。半晌老张才慢慢腾腾地走了进来，点点头说：“对不起。”
会谈开始便针锋相对。芳泽沉着脸说：“阁下发表的声明，本公使深感遗憾。”
老张白了公使一眼说：“贵国政府发表什么觉书，也让人很不痛快。”
芳泽说：“帝国政府的警告完全必要！”
老张说：“未免管得忒宽了吧？”
芳泽摇着头说：“阁下如不反省改变态度，继续与帝国合作，恐怕后果很不好吧？”
老张说：“我从前和你们合作得够多了！谁吃亏谁占便宜都心里有数，我是打落门牙合血吞！”
芳泽龇牙一笑：“正因为阁下曾和我们合作得很好，所以十分关心此次战乱，对双方发出警告。”
老张说：“好个双方，连我也被警告了，这还算什么朋友！”
芳泽说：“请不要误会，我们对阁下是友好的劝告。
因为大势已难挽回，为使战乱不波及满洲，为保护贵我双方的权益，阁下只有撤回关外才算明智。”
老张说：“你们说得容易，仗还没有打完，我能白白认输吗？”
芳泽冷笑：“阁下应该清醒些，你们能打过北伐军吗？”
老张大脖筋突然一蹦：“这不劳邻居操心。打打看吧！
打不过他们，我再撤回去也不晚。”
芳泽一字一板地说：“到那时只怕你过不了山海关了！”
张作霖把脸涨得通红，不觉拍拍桌子：“这是什么话！
关外是我们老家，愿意什么时候回去都行，谁还敢拦路不放吗？”
芳泽摇着头把手一摊：“好了，好了，先不谈这些了。”
他从文件包中取出那份郭军反奉时张作霖与关东军代表签订的“合作”密约，放在桌上往老张眼前一推说：“趁阁下还在北京之际，请把这份由您个人签署的条约，改为北京政府签署的正式条约。没法子，时间不多了，务请马上办理！”
老张把密约拿在手中，眨着眼说：“不要急，先放在这吧！”
芳泽见老张又要推拖，顿时脸色发青，拍着桌子再作威胁：“你这样态度不行！现在本公使代表帝国政府，正式向你们提出另一严重事件！”
老张把眼一翻：“又是什么事件？”
芳泽说：“张宗昌的队伍在济南杀死五十多大日本侨民，张是你的部下，你必须对这一事件负一切责任！”
老张勃然大怒，霍地由座上站起把手中的翡翠嘴旱烟袋猛往地上摔去，顿时磕为两段，声色俱厉地指着芳泽鼻子说：“岂有此理！这件事一无报告，二无调查，空口一说，我他妈负个屌责！”说罢丢下芳泽，怒气冲冲走出客厅。芳泽向门前赶了两步，咬牙切齿地大喊：“张君，你可不要后悔！’
…………①
张作霖这一顶，就把日本人彻底得罪了，早就对张作霖失去信心、想要甩掉他的日本朝野，闻讯大惊。尤其是与张作霖素有矛盾的日本关东军和其中的少壮派，更加难以容忍，他们早就认为芳泽和东京的官员对张作霖太软弱，不赞成只通过外交途径解决问题，而是急于出兵占领东北，不许任何军队再进入东北，这也包括张作霖的部队。但张作霖由于各方面的原因，又决定要返回东北，这样矛盾就更激化了。而从日本政府来说，则认为张作霖对他们不仅成为无用的人，而且还是个潜在的威胁，所以对于关东军准备用非常手段来对付张作霖一事，采取了听之任之的态度。
对于日本人可能会制造事端，以阻挠他撤回东北的计划顺利实现这一点，张作霖不是没有想到。但他最初之所以还有些恋栈，倒还不是因此之故。那主要还是因为他当时的“安国军政府”，在那会儿还是权倾一时，实际是代表中华民国行使总统权的，他虽名为大元帅，其实就是大总统，这个荣耀的得来，并不容易，要让他拱手让出，他怎么舍得呢！
在这个节骨眼上，是年轻的张学良洞察幽微，沉着冷静，认为保存实力是比什么都重要的，所以力主息战