这个成语故事出自《史记.滑稽列传》。

战国中期，齐国的国君威王继承王位已经三年了，整天在宫中饮酒作乐，不问朝政，把国家的许多重大事情，都推给大臣们去处理。当时，朝政一片混乱，齐国接连被韩、赵、魏等国打败，国家的存亡危在旦夕。文武官员都很着急，但又不敢再对齐威王进行劝告。

这时，朝中有个名叫淳于髡的大臣，平素间是个善于说笑话的辩士。他分析了同僚们早些时候进谏失败的经验，了解到齐威王喜欢听隐语，在一次早朝中，便对齐威王说： "有一个谜语，我和许多人都猜不着，大王您多才多艺，能猜猜吗？”

齐威王表示愿猜。

淳于髡便说：“听说齐国有一只大鸟，就栖息在王宫里，一住三年，不飞也不叫，大王您知道这是什么鸟吗？”

齐威王心里明白淳于髡就指的是他，就笑着说：“此鸟不飞则已，一飞冲天;不鸣则已，一鸣惊人。”意思是说：这只鸟，不飞也就算了，一飞，就要冲上太空;不鸣也就算了，一鸣，就要震惊世人。

从此以后，齐威王开始亲自管理国家，积极改革朝政。他把全国所有县一级的长官都找来，进行考核，当众奖励了其中一个能努力发展生产的大夫，杀了一个严重破坏生产的大夫。接着，他又整顿兵马，派人坚守四面边境，并亲自率兵打败魏国的入侵军队。其他国家的君主，都很震惊，纷纷归还了以前侵占的齐国土地。齐威王还重用邹忌为相国，命著名军事家孙膑统领军队，使齐国走上了“富国强兵之道”。

后来，人们常以“一鸣惊人”这个成语比喻平时默默无闻，突然间就干出了惊人的成绩。