这个成语来源于宋.罗大经《鹤林玉露》，人言普山东人，所读止《论谱》.....太宗尝以此问普，普略不隐，对曰：“臣平生所知，诚不出此。昔以其半辅太祖定天下，今欲以其半辅陛下致太平。”

北宋著名的政治家赵普，原先是后周当节度使的赵匡胤手下的推官。公元960年，赵匡胤率军北上，部队到达陈桥时，赵普为赵匡胤出谋划策，发动兵变。赵匡胤黄袍加身，做了皇帝，改国号为宋，史称宋太祖。接着，赵普又辅佐宋太祖东征西讨，统一了全国。后来，宋太祖任命他为宰相。

宋太祖死后，他的弟弟赵匡义继位，史称宋太宗。赵普仍然担任宰相。有人对宋太宗说赵普是山东人，不学无术，所读之书仅仅是儒家的一部经典《论语》而已，当宰相不恰当。宋太宗不以为然地说：“赵普读书不多，这我一向知道。但说他只读一部《论语》，我也是不相信的。”

有一次宋太宗和赵普闲聊，宋太宗随便问道：“有人说你只读一部《论语》，这是真的吗？”

赵普老老实实地回答说：“臣所知道的，确实不超出《论语》这部分。过去臣以半部《论语》辅助太祖平定天下，现在臣用半部《论语》辅助陛下，便天下太平。”后来赵普因为年老体衰病逝，家人打开他的书箧，里面果真只有一部《论语》。