朝中还有一个人，也是严子陵的旧时好友，他的名字叫侯霸，侯霸此时已是朝中的大司徒，官居一品。侯霸一听严子陵已经到了京城，便马上写了一封信派下人给严子陵送去，心中满是对严子陵的问候之情。严子陵接到信后，看了一眼就扔到一边了。侯府下人见严子陵如此，就恳求说：“严大师，请您给我家大人写封回信，我回去也好有个交代。”
严子陵觉得也有道理，想了一会儿，命仆人取来笔墨纸砚，写道：“君房大师，你现在做了朝廷的大司徒，这很好。如果你帮助君王为人民做了好事，大家都高兴，如果你只知道奉承君王，而不顾人民死活，那可千万要不得。”写完，就让侯府下人拿回去了。
侯霸看了信，又听了下人的描述，说严子陵如何如何不把他放在眼里，侯霸顿生怒色，恨恨不已，于是就把这些话报告给了刘秀，满以为皇帝会替他说句好话，可谁知刘秀却说：“我了解他，他就这倔脾气。”
一天，刘秀去看望严子陵。皇帝亲自登门，这在那时候可是件大事啊，怎么说也得应该出来相迎才行吧，可是，严子陵却觉得没有什么大不了的，仍然躺在床上对此毫不理睬。刘秀进门后，看见他这副情景，也没有恼火，走过去用手轻轻地拍了拍严子陵的肚子，亲切地说：你难道不念旧情，帮我一把吗？”严子陵说：“人各有志，你为什么一定要逼我做官呢？”刘秀听了后长叹了口气失望地走了。