1940年代的上海正值社会动荡、黑帮横行的时期，其中鳄鱼帮与斧头帮两大黑帮最为猖狂，于上海欺行霸市。某日，斧头帮终于消灭对手鳄鱼帮，夺下其所有财富和权力，且收买当地警察逃脱指控。一名默默无闻的街头混混阿星整日梦想成为黑帮人物，但意志不坚、无所作为不被他人看好，只好与最好同伴排骨冒充斧头帮，跑到黑帮无暇顾及的贫民窟“猪笼城寨”敲诈钱财。不料，城寨的老百姓都身怀绝技，阿星敲诈不成反被村民暴打一通，恰好斧头帮路过城寨门口，副首领被阿星的假斧头帮信号鞭炮炸伤，阿星把此事嫁祸城寨村民。帮众随即进入城寨寻事打斗，然而三名隐居在城寨里的武功高手，分别以十二路谭腿、洪家铁线拳、五郎八卦棍三大功夫出手相救，使斧头帮全员大挫锐气、大失颜面之下败阵而退。

斧头帮因惨败而准备找阿星和排骨解气时，阿星由于身怀神速开锁绝技而被斧头帮首领琛哥宽恕，同时给予证明实力的机会。两人回街上计划回去对付满是功夫高手的城寨，过程让阿星回想起自己童年时，曾经花十块钱在一名骗钱乞丐手上买过一本名为《如来神掌》的“失传武功秘笈”而开始习武，一日试图见义勇为而解救一位受人欺负、不能说话的小女孩，但学到的武功不但没奏效，反而被他们击倒并侮辱一番，甚至被告知自己买的秘笈才值两分钱。哑女欲把手中的棒棒糖送给阿星作为答谢，但阿星觉得深受侮辱而哭着离去，自暴自弃的他认为做坏人才能出人头地。

斧头帮仍不打算放过城寨，请来一对以暗杀闻名的琴魔兄弟前去铲除城寨中的三名武功高手。当时三名高手刚好因违反“禁武令”而被勒令搬离此地，但离开时，其中一名高手苦力强在离开的路途中遭到天残以琴音斩首，而另外两名高手则是在与琴魔兄弟的激战中分别遭遇他们俩弹奏古琴发出音波攻击，最终敌不过对方而重伤，虽被包租公和包租婆救，但奄奄一息的他们最终伤重惨死。然而，城寨的包租公和包租婆夫妻俩终于忍无可忍，露出神雕侠侣的真正身份以及暗藏已久的太极拳和狮吼功两大功夫，不但将琴魔兄弟打得落花流水、武功尽失之下狼狈逃走，并威胁在一边看戏的琛哥不准再来闹事。夫妻俩对村民坦白隐瞒身份只是想安享晚年，虽然替三大英雄报仇雪恨，但也命令全村人为了自身安全而尽快迁离。

死性不改的斧头帮从琴魔兄弟口中得知武术杀手排行第一、有“终极杀人王”之称的火云邪神之存在，便拉拢阿星并活用他的高超开锁技巧，将邪神从精神病院中释放出来。包租公和包租婆也恰巧前来找斧头帮算账，而看似年老的火云邪神不负斧头帮所期望，靠压倒性实力、以一敌二击倒包租公和包租婆。就在夫妻二人情况危急之际，良心未泯的阿星在关键时候叛离斧头帮、救出包租公和包租婆，却也导致自己被火云邪神痛打个半死不活。包租婆和包租公趁乱救走阿星后撤回城寨，目标逃跑使火云邪神震怒之下，一拳将琛哥的脖子打扭致死。然而，火云邪神的几拳碰巧打通阿星的任督二脉，加上阿星年幼时练习的如来神掌功夫，让阿星脱胎换骨、迅速复原伤势，并觉醒震撼无比的武功。

火云邪神率领斧头帮全员前往城寨寻人，康复后的阿星及时出现，斧头帮全员也群起而攻之。然而阿星单枪匹马、展现强大武功直接让斧头帮全军覆没，接着随即与火云邪神展开最终决战。虽然一度因火云邪神的蛤蟆功一筹莫展，但却在关键时刻使出失传的“如来神掌”让他无法还击，并拿走其暗器“莲花毒箭”，将其变为竹蜻蜓般飞至天空，火云邪神最后也无计可施，在阿星面前下跪认输。一阵子后，阿星找回排骨一起开一家糖果店，而他小时候遇见的哑女推著冰淇淋车出现在店门口，和阿星再次相遇后，两人一起进去分享糖果与童年回忆。而阿星童年时遇见的乞丐，正在店旁边将好几本失传武功秘笈骗卖给另外一个小孩[注 1]，启发这位小孩的“功夫梦”。