王霸是西汉末年颍阳人。刘秀起兵路过颍阳时，王霸和一帮朋友去投奔。入伍后王霸忠心耿耿，多次打胜仗；在昆阳大破王莽的战争中，立了大功，因而受到刘秀的信赖。刘秀的部队渡过黄河，在河北邯郸和王郎作战时，军事行动遭到了重大挫折。王郎重金悬赏捉拿刘秀，形势很危急。
这时王霸的朋友们都静静溜走了，只剩下王霸。刘秀对王霸说：“在颍阳投奔我的人现在都走了，只剩下你一人留下来了，真是疾风知劲草啊！” 之后刘秀得了天下，封王霸为偏将军，始终都很器重他。