回忆文章中这样写道。
面对着这扇矮小、简朴、浅绿色的木门，水泥批荡的门柱上挂着一块长形木牌，上书“殷海光故居”。旁边爬满绿色植物的围墙上钉着一块刻着“市定古迹”字样的铝制铭牌，铭文中有曰：“先生任教于台大哲学系，毕生提倡自由主义，秉持‘宁鸣而死，不默而生’的精神，勇于对抗威权、批评时政，启迪学术与社会良知，对推动台湾民主运动具有贡献。”这段话可以看作是对殷海光最浓缩的介绍和评价。在台北南港墓园，殷海光的墓碑上刻的是“自由思想者殷海光先生之墓”，这是依据他的遗嘱而立。
在殷海光，“自由思想者”是他对自己的盖棺论定；而对于所有思想者而言，难道还有比“自由”更重要、更高贵的头衔吗？
殷海光的确是毕生研究和提倡自由主义，至死方休。20世纪40年代后期，他以敏锐和深刻的洞见以及决绝的勇气，就自由与专制的问题撰文警醒国人，几乎是以天生的直觉老早就把一些最基本的问题都看清楚、讲清楚了，今天读来真令人有夫复何言之感。
毕生热心于现代逻辑的研究、教学和宣传，其原因在于他认为中国文化中认知因素极为缺乏，而这必须依靠西方实证论哲学的输入来补救。他认为，中国传统文化中的认知因素不发达，从根本上说，归因于儒家文化的泛道德主义倾向和中国文化采取的“崇古”价值取向。于是，殷海光大力提倡“认知的独立”，强调“独立思想”。殷海光终生秉持科学民主自由的精神，是一位富有批判精神的自由主义者。
殷海光看到岛内知识分子大多处于麻木的“冬眠”状态，便利用开座谈会、写文章、出书等形式，积极引介哈耶克、卡尔·波普尔等人的哲学新思潮，大力宣传罗素哲学和五四精神，对广大知识青年及人民大众进行思想启蒙，鼓动人民，特别是青年一代勇敢地起来与专制、独裁的统治作斗争。因而，他成为20世纪五六十年代台湾人民，特别是青年们最崇拜的精神领袖、抗暴旗手、民主斗士、启蒙大师。
殷海光的学生赵天仪说最喜欢找老师聊天，因为殷海光老师讲课，主要的是知识的介绍；他的演讲，比较会提出他对时事的感受与粗浅的看法；他的聊天，则比较会说出他深藏在心里的话。
殷老师下课的时候，有些同学会找他聊天，有的坐在高丽草坪上跟他说话，有的在椰树边一起走一边跟他谈话。最令人难忘的是，一位历史系的学生马大勇，他抬头挺胸；另一位是哲学系的学生汪竞雄，他低头沉思。他们两位陪殷海光散步，是台大当年一个令人回味的风景。
但是受到殷海光的熏陶，同学们也变得“反动”了。同学汪竞雄以“历史漩涡论”的论文，获得台大哲学研究所的硕士学位。不幸的是，在他毕业不久，就因所谓的“思想问题”被关到牢狱，因他不承认自己思想有问题，也被关到绿岛的监狱。出狱后不久，他已丧失了认识别人的能力，连他的好友马大勇都不认识了，不久就病逝了。这是当年国民党制造白色恐怖的又一个活生生的例子。
殷海光这个人的悲愤心情跃然纸上：“现在，我可以说，任何书房外的热闹不能动摇我；任何无端的侮辱不能刺激我；任何现实的利益不能把我从追求真理的路上引向别处。”因此他会在信里对朋友和学生说：“愿我们终有一天在一起煮茗，论学，抱小孩。”
南宋杨万里那首有名的绝句：“万山不许一溪奔，拦得溪声日夜喧。到得前头山脚尽，堂堂溪水出前村。”真可看作是对殷海光出师未捷的最恰当的注脚。
殷海光不仅是一位傲骨嶙峋的批评家，而且是一位思想敏锐的学问家。他的批评以他的学问作基础，所关注的是自由、民主、科学与社会正义，所钻研的是分析哲学与文化问题。他的成功之处，就在于他将自己的学问活用于批评工作。他的文章尖锐深刻，语言流畅简练，逻辑性强，论据有力。李敖夸说：除了思想指向以外，殷海光的政论文章光芒万丈，出色得使敌人和朋友都为之失色，而且至今无人超越。
殷海光以台大学术殿堂为传道之所，在教育上以自身的学养为日后台湾培养了一批笃信自由主义思想的生力军。在言论宣传上，以《自由中国》为传媒，向广大的台湾知识青年介绍自由主义思潮，即便在国民党铺天盖地的迫害压力下，亦不改初衷，永不放弃自己坚信不疑的自由主义信仰。
他去世后，他培养的弟子有的成为20世纪七八十年代台湾反抗国民党暴政的风云人物，有的成为著名学者、作家、名记，如林毓生、颜元叔、陈鼓应、柏杨、李敖、龙应台、司马文武等。
“中研院”胡适纪念馆馆长潘光哲说，殷海光是反映台湾政治社会变迁的一面镜子，期待台大出版的《殷海光全集》能为理解殷海光斯人斯行提供比较完美的史料基础，殷海光的精神遗产可以成为台湾走向更自由、民主社会的道路上生生不息的思想资源。
台湾中正大学哲学系教授陈瑞麟表示，重新评价殷海光的思想成就，并不打算把殷海光抬举成完美或无可挑剔的思想家，殷海光没有为学术而学术、为思想而思想，他是为了解决所面对的时代问题而独立运思，他并不知道自己的思考所得预示了后来许多新发展。
李敖说，有人攻击说：“殷海光是‘文星集团’的大法师。在这位‘法师’面前，排列着5个咬牙切齿的金刚：绰号‘人权牧师’的李声庭、绰号‘恶法克星’的陆啸钊、绰号‘西化大少’的居浩然、绰号‘西化义士’的韦政通、绰号‘小疯狗’的李敖。”殷海光作为台湾自由主义的精神领袖，在台湾撒下了自由主义的火种，终于酿成了燎原之势。
桀骜不逊的李敖生平没有佩服过谁，但是他认为“殷海光的骨气胜于学问”。
李敖唯一批评恩师的是，殷海光一辈子标榜自由思想、自由主义，到了晚年，他受捧之余，不免自负是大师，这是与自由主义矛盾的。他相信一个学说，就相信到崇拜的地步，这也不是学术应该有的态度。可是他与专政作抗争，这是李敖佩服他的地方。
同时，李敖认为殷海光对中国文化的了解也有不足之处。他对中国文化的批判，有些东西是相当有问题的。他对史料不熟，对发展过程也不清楚。他以为搞数理逻辑的王浩是世界上重要的数学家，佩服得五体投地。殷海光自己教逻辑学，以为数理逻辑是逻辑学的登峰造极，可是他的数学造诣并不够用，这就是他的盲点。但是李敖说：“我们不能去责备他，他有他的局限。”
李敖认为，五四时代，蔡元培先生的“杀君马者，道旁儿”一语，也可用在殷海光的遭遇上。他说，在《自由中国》时代，没有人像殷海光写得这么坦白，殷海光跟他不一样，他是骂人，殷海光是骂政权。这当然激起很多人的同情和共鸣：“自己不敢说，他替我说了。不是因为他而晓得政府如何如何，而是我自己怎么想，他替我说了。”
当时，殷海光身边汇聚了一批学生，像张灏、林毓生、陈鼓应、陈平景等，后来都各走各的路。他对学生很好，学生离开了学校，他也一直跟他们通信，向他们请教新的知识。李敖说：“他的《中国文化的展望》一书我写了书评批评他，他很不高兴，我是觉得做朋友应该尽直言的责任。张灏是完全理解我这种心情，张灏对殷海光还是很敬重的。”
许倬云也回忆了与殷海光的交往，觉得他太直了。他回忆他到殷家看望，殷海光就抱怨，发牢骚。殷海光说：“有什么好书？”许倬云便告诉他，他常用的口头语：“棒不棒？”许回答说：“书没有棒不棒这个事情，每本书都有它的特殊处，也有它的缺陷。”许倬云认为殷就是一竿子打到底的态度：一本好书，或者一本坏书。介绍过来的外国思想，他一定佩服。
许倬云透露，殷海光不喝茶，喝咖啡。他相信“科学”，可是也有矛盾的地方。他得癌症，以为可以靠打坐的功夫来治，他找南怀瑾学打坐、运气，把蒲团都坐破了。这件事，他是不会跟学生讲的。他好意说：“许倬云，打坐对你的身体有好处。”许倬云说：“对我的手脚没有用处，对一般的身体可能有用处。”他还特别陪许倬云去拜访南怀瑾，当然南怀瑾也知道，气功治不好殷海光的疾病。
不过，许倬云感激他对朋友的热心和善意。当独裁者因权力而逐渐远离人性纯真的时候，会对别人炽热的人性怀着深沉的妒恨。和许多独裁者一样，蒋经国也喜欢对被他压迫的人施予个人恩惠。这种行为可以有各种不同的解释。许倬云倾向于认为，这种施恩行为其实是为了羞辱反对者，而其动机则是上述的妒恨心理。
例如殷海光过世后，他太太的离台申请一直不被核准，甚至有特务到她家劝她打消离台的意念。后来在雷震的指点下，殷太太写信给蒋经国向他求情，才终于获准离台。雷震以他在统治核心中多年的经验告诉她，“你要离台，你一定要亲自写一封信给蒋经国。国民党的做法就是这样，希望你求他。你求他，他再放你，这样他就很有面子”。雷震的解释是统治者要“面子”。另外一种可能的解释则是：统治者要反对者以实际的行为明白承认，谁才是真正掌握命运的人。谁是有权力的人，谁才是真正的主人。
因此，整个“胡适自由主义文人集团”随着1962年胡适的去世，死的死、抓的抓、关的关，几乎被国民党摧残殆尽。而以胡适为首的自由主义知识分子在20世纪50年代的台湾议政，虽掀起《自由中国》时代的高潮，但也随即在国民党的反扑下，缘起缘灭，倏忽地风流云散矣！虽然如此，“哲人日已远，典型在宿昔”。雷震、殷海光甚至李敖等自由主义知识分子的典范，抚今追昔，仍是值得我们加以肯定和效法的。