江南省一座风景秀丽的海滨城市。该地区经济曾经历快速发展阶段，然而与此同时，部分不法分子亦在改革浪潮中伺机牟利。他们注册成立并无实际经营的空壳公司，借助国家出口退税政策存在的空隙，大规模虚开增值税专用发票，从事骗取国家出口退税的违法犯罪行为。面对日益嚣张的涉税犯罪活动，在国家税务总局的统一部署下，江南省国家税务局迅速组建专项调查组，由副局长邝亚北(达式常 饰)担任组长，稽查局长常泳波(马跃 饰)担任副组长，调集全省业务骨干进驻江南，针对该地区偷税、骗税犯罪行为展开集中整治，此次行动被命名为“利剑”。专案组的进驻，使得部分犯罪分子惶惶不安，尤其当一系列虚假企业的犯罪手法被逐一揭露后，隐藏在背后的实际操控者逐渐显现。一位在当地以外商身份活跃、被称为“马哥”的人物开始暴露行迹。其犯罪身份被识破后，此人不仅实施了杀人灭口的行径，还借助远东公司的掩护，将虚假企业的账册资料隐匿于远东公司内部，并通过已被腐蚀的东界县国税局副局长孙朗的关系，从税务局发票库房中调换发票进行虚开。在其企图逃离国境之际，公安人员依法向其宣读了逮捕决定。
稽查局长常泳波的身世与远东公司总裁肖学农存在关联。他是肖学农早年下乡知青时期所留下的遗腹子，由于母亲独自抚养他历经艰辛，故他对母亲始终顺从，甚至因此舍弃了彼此相悦的感情。其后，他昔日的同窗女友嫁入显赫家族，成为远东公司总裁肖学农的儿媳。身为省人大代表的肖学农，在海外继承一笔遗产后，重返这片曾经熟悉的土地，但从当地居民口中获悉，常泳波母子早已离开故乡。常泳波的母亲常舒然知晓肖学农回到江南进行投资，为维持现有生活的稳定，她一直默默关注远东公司的经营动向。然而随后她得知肖学农牵涉进骗税案件，而负责调查工作的正是他们的儿子常泳波。严格的查处程序使远东公司濒临破产边缘，情绪失控的肖家公子肖峰在“马哥”的煽动下，企图采取极端方式进行报复，意图杀害常泳波。危急时刻，常泳波母亲常舒然找到肖学农，及时阻止了这对“肖家兄弟”之间的内部冲突。
江南地区的涉税案件最终得以查证落实，税务稽查干部在此过程中历经艰辛，甚至有人付出了生命的代价。案件告一段落，税务稽查干部尚未举行庆功仪式，新的任务又已下达，专案组成员再次投身于名为“利剑二号”的后续行动中。