马兰奇根本不可能组织起西班牙第一支旱冰球队，也没有可能资助这支年青的球队参加各类比赛，并迅速成长起来。萨马兰奇也可能根本走不到体育这条路上来，更谈不上利用从纺织品买卖中得到的巨额利润为自己的政治前途铺垫路基。此时的萨马兰奇虽然在政治上已经获得了很大的成功，成为西班牙妇孺皆知的“青年才俊”，但并不说明家族的财产对他已没有太大的帮助。因为当时的国际奥委会是非赢利组织，经费主要靠各国企业的赞助，有时委员们自己要掏腰包，来往于世界各地，有时甚至要自己出资，赞助国际奥委会的活动。所以大多数委员的家境相当富裕，能够支付参加奥委会各项活动的费用。萨马兰奇不是没有考虑到这一点，但他还是毅然作出决定，卖出了他在家族公司的股份。
“你们兄弟之间必须团结。分裂最终会把你们父亲饱尝艰辛所创立的家业付诸东流。我总是宽以待人的。有时候，小小的付出可以解决很多人的问题。你们必须做到能够当之无愧地称自己为好人。”
这是萨马兰奇的父亲佛朗西斯科留给萨马兰奇兄弟每人一份亲笔家书中的一句话。信的落款日期是1956年1月7日。
佛朗西斯科意识到自己年事已高，该把自己的思想和家产传给孩子们了。他把财产平均分配给子女们。他没有沿袭卡塔卢尼亚地区把全部财产交由长子掌管的规矩，却保留了凡是涉及产业领导权的，都传男不传女的习惯。
佛朗西斯科临终前告诉孩子们要团结一致，管理好萨马兰奇股份有限公司，不要参与政治，不要涉足银行业。
父亲去世和弟弟奥古斯托因手术失败病故以后，萨马兰奇同几位兄弟一起管理着萨马兰奇公司。
但是萨马兰奇最终没有实现父亲的遗愿。1968年，他通知几个兄弟，他决定出售属于自己的那部分股份，去从事一些自己愿意做的事情。他已在仕宦路途上走得很远，而且还想在其他领域一试身手，譬如，银行业。
也许萨马兰奇做对了。70年代，西班牙的纺织业出现了历史上少有的危机，萨马兰奇股份有限公司也在那场危机中倒闭了。
萨马兰奇把出售股份得到的钱投入了海梅·卡斯特利等人创立的马德里银行，成为该银行董事会的一名董事。萨马兰奇把钱投入马德里银行自有他的道理。他知道，这家银行有实力，又有发展前途。马德里银行的前身是一家叫里波利的小银行。卡斯特利同几个人一起决定在这家小银行的基础上，创立一个大银行，名叫马德里银行。
卡斯特利1917年7月4日出生于西班牙的曼雷萨。他能言善辩，又好交际，因此在各界都有一些朋友。同时卡斯特利还是个富于幻想的人物，总是对现状不满足，常常搞出些新的东西来一鸣惊人。也许是这种性格使他不断追求进取，又不断获得成功。卡斯特利的父亲去世后，给他留下了一家纺织厂和一家肉类食品加工厂，但卡斯特利对这两个工厂并没有太在意，倒对开设银行来了兴趣。
后来卡斯特利通过一位珠宝商的儿子比利亚努埃瓦认识了比利亚韦德侯爵。
认识比利亚韦德侯爵时，俩人还都是单身。恰巧有一次在飞机上相遇，便随便聊了起来。比利亚韦德无意中提到自己就要结婚了，未婚妻是佛朗哥的女儿，婚礼当然得办得像个样子。比利亚韦德自己在哈恩有处庄园，虽然母亲给他留下了一笔财产，但要风风光光地娶进佛朗哥这位大人物的女儿恐怕还不够。
卡斯特利听后沉思了一下，自己在卡塔卢尼亚也算个大厂商了，而且以后自己要发展，还得靠些有威望的人士帮忙。于是他提出他负责比利亚韦德侯爵婚礼的全部费用。侯爵自然高兴无比。
马德里银行的正式建立是在1954年1月13日。这天，卡斯特利等人来到波西奥莱斯开办的公证处办理银行易名公证。波西奥莱斯后来成了巴塞罗那市长。波西奥莱斯并没有马上办理易名公证，因为在1920年，西班牙阿根廷贸易银行集团已经办理了名为马德里银行的注册手续。
于是卡斯特利等人援引了1946年12月31日颁布的《西班牙银行管理法》，其中规定：“虽已注册，但后又停止营业，并且未能在1936年7月18日之前恢复营业的银行，不得被视为合法银行。”这样，卡斯特利等人的马德里银行从这一天开始宣布成立。
马德里银行的业务发展很快，引起了各方的瞩目。马德里银行开业刚一年，就有一位叫萨尔加多的中将说：“有些人经常向我谈起新建立的马德里银行。我也不知是真是假，反正他们说这个银行的董事长同佛朗哥是亲家。我不知道这位董事长以前就有钱有势，还是同佛朗哥攀亲以来才发的迹，反正现在他们是大户了。”
这位董事长就是比利亚韦德侯爵的父亲何塞·马丁内斯，他原来只是位普通矿山工程师，后来同贵族千金玛丽亚·德拉奥·博尔迪乌结婚后，才被封为伯爵。但他真正有钱有势还是从他的儿子比利亚韦德当上佛朗哥的女婿之后开始的。
很显然，何塞·马丁内斯担任马德里银行的董事长是卡斯特利同比利亚韦德安排的结果。卡斯特利知道，要想在金融界站住脚，就得在政界寻找到坚实的靠山。后来比利亚韦德也进入了马行里银行董事会。董事会里还有另外一些皇亲国戚。
萨马兰奇不属于皇亲国戚，但他同卡斯特利的私人关系极为密切，特别是在60年代。萨马兰奇成为马德里银行董事会董事后不久，又在卡斯特利开的另一家银行卡塔卢尼亚开发银行里人了股，并且在那个银行里成了继卡斯特利之后的第2号人物。
卡斯特利的势力越来越大，各行各业几乎没有他不插手的地方。至于他的势力到底有多大，恐怕谁也说不清楚。不过只要看看卡斯特利在国外的银行业务发展，就可以窥见一斑了。
卡斯特利建立了马德里银行不久，就在乌拉圭首都蒙得维的亚开设了一家银行。以后在瑞士洛桑开设了国际贸易经营银行，在美国迈阿密开设了大陆际银行，在法国佩皮尼昂和巴黎开设了卡塔卢尼亚开发银行分行。
萨马兰奇同卡斯特利的关系虽然密切，但他们却是完全不同的两类人。卡斯特利高傲自负，萨马兰奇却谨慎寡言；卡斯特利得意时就容易忘形，萨马兰奇无论是喜是悲，绝无骄矜之气。二人甚至在穿戴爱好上都完全不同，卡斯特利喜欢宽松的休闲服，所以外观看起来总有种松散之感，而萨马兰奇却非常讲究着装，平时总是西装革履，甚至连大多数衬衣都是订做的。
萨马兰奇成为马德里银行的董事之后，提出了许多合理建议，如成立普拉特城建公司、在略夫雷加特三角洲附近建立度假村、创立《电讯快报》等，都被董事会采纳。卡斯特利对萨马兰奇总是另眼看待。
《电讯快报》创立于1964年。马德里银行共投资5百万比塞塔，其中有萨马兰奇的20万。这份报纸后来成为卡斯特利与巴塞罗那的晚报《世界新闻报》的对抗工具。《世界新闻报》因为不时抨击波西奥莱斯领导的巴塞罗那市政府而引起当局的不满。尽管《世界新闻报》受到了来自于卡斯特利的种种压力，它始终未被挤垮。
后来卡斯特利又开办了《电讯传真》周刊作为《电讯快报》的增刊。萨马兰奇的夫人玛丽亚也曾在上面发表了几篇文章。1965年，因巴塞罗那市政府的干预，《电讯传真》被迫停刊。
马德里银行和卡塔卢尼亚开发银行的人股公司最多时曾高达200家，一般时期也有130家。诚然这是个繁荣现象，不过同时也给两家银行带来了沉重的包袱。如果某家公司破产了，银行无论用什么价钱也得把它买下来。
卡斯特利的发迹不仅为他带来了极大的经济收入，而且也带来了一定的社会荣誉。1975年，巴塞罗那“圣海梅广场”被改名为“圣海梅·卡斯特利广场”。当时巴塞罗那市市长是华金·比奥拉，巴塞罗那议会议长是萨马兰奇。卡斯特利已经成为马德里银行的董事长，华金·比奥拉和萨马兰奇是该银行的董事。
后来，萨马兰奇又在克罗斯银行人了股。不久，巴塞罗那发生了一系列恐怖事件，目标好象都针对着银行巨头。
1977年5月9日，克罗斯银行的董事长布尔托在街上被一颗炸弹炸死。
萨马兰奇的生命似乎也受到了威胁。正巧这年的6月，他赴莫斯科，任西班牙首任驻苏大使，才逃脱了厄运。
1978年1月25日，另外一颗炸弹又炸死了华金·比奥拉。
卡斯特利不得不离开巴塞罗那，迁居到瑞士洛桑。
几个月后，卡斯特利悄悄回到巴塞罗那处理银行业务善后事务。出于安全起见，他对自己回巴塞罗那的消息进行了严格保密，并且是在众多保镖的保护下，绕过机场，于深夜回到巴塞罗那的。
又是在一个深夜，他悄悄离开了巴塞罗那。临行前，他向天哀叹：“上帝啊，你为什么要这样毁了我！”
萨马兰奇同卡斯特利的友情在此之前已经出现了裂痕。萨马兰奇对卡斯特利愈演愈烈的骄横跋扈作风十分不满。
华金·比奥拉遇难后，马德里银行的董事都卖掉了自己的股份，萨马兰奇也同样卖掉了自己的股份，这使他损失了几百万比塞塔。董事会中只有萨尔萨斯仍然保留了他在马德里银行的股份，至今他仍是马德里银行的股东。
萨尔萨斯是萨马兰奇的好朋友，也是卡斯特利的好朋友。萨马兰奇定居洛桑后，萨尔萨斯同卡斯特利一起搬到了洛桑，并且在瑞士开了一家化工公司。三人同住洛桑，不同的是，萨马兰奇担任国际奥委会主席常驻洛桑后，不再与卡斯特利来往，而与萨尔萨斯常常在一起重温旧梦。萨尔萨斯的一个女儿玛尔塔至今仍担任萨马兰奇的私人秘书。
萨马兰奇没有把卖掉马德里银行股