胡俊从7岁起就跟随现青岛贝莱特二队主教练张全利训练。2003年8月，以贾秀全为主教练的新一届国家青年队在中国足协香河训练基地正式成立，青岛贝莱特U19队胡俊以其良好的表现成为新国青一员。

2005年1月，中国足球08之星队赴西班牙塞维亚，与塞维亚青年队打了一场热身赛，结果与对手战成1：1。胡俊在比赛中打进了一粒精彩的直接自由球。

胡俊是殷铁生率领的山东十运队球员，在成都进行的十运会预选赛中，打满了四场小组赛，为山东十运队最终出线立下了汗马功劳。凭藉出色的表现，被前来成都挑选国青队员的克劳琛一眼相中，进入国青队60人名单。

2005年4月19日，中国足协向前往德国留学的国青球员所在的俱乐部发出利好讯息，根据输送人数的不同对他们给予不同的人员注册补偿。按照规定，输送了两员小将的中能将小将胡俊吸纳进一队，胡俊将身披31号战袍为中能效力。

2006年12月12日，多哈败北的中国国奥队回到北京，由于主帅杜伊对部分国奥队员不满意，中国足协为他準备了一份亚运队之外的59人名单，杜伊在广东主持选拔。在这份大名单中，中能小将姜宁、孙彬和胡俊入选。

2008年6月28日，中能客场2：3不敌广药，上半场结束前，胡俊在与对方争抢时受伤，被担架抬出场。经过治疗，刚刚回到场上的胡俊便立下了战功，他接到了史汉军的传球，头球破门，为中能将比赛扳为1：2。

2009年8月30日中超20轮，成都建工地产主场迎战青岛中能，最终两队战成 0-0平，48分钟，李钢在完成传球后，胡俊一记兇狠的背后铲球将李钢放倒，裁判对胡俊出示第二张黄牌将其罚下。

2012年1月，葡萄牙华森俱乐部讯息，青岛中能队球员胡俊正式转会该队，签订半年契约的同时，也拥有优先续约权，胡俊也曾在华森队试训。

2012年中期回到中能效力的胡俊曾有过短暂的上场机会，但此后便难以进入18人大名单。2012年12月，胡俊曾在申花试训。

2013年7月胡俊租借加盟中国香港屯门足球会（Tuen Mun SA）。效力半年。

2016年3月胡俊租借加盟银川贺兰山足球俱乐部（宁夏山屿海）（YC Helanshan），并于赛结束后自由转会到该队。

2016年6月4日，中乙联赛第8轮，宁夏山屿海客场1比1战平联赛北京理工，第55分钟，中场大将胡俊接队友边路传中，在禁区内头槌破门，率先取得进球。

2017年11月4日，2017中乙联赛进行了季军的争夺。最终深圳雷曼2-2（点球6-7）不敌宁夏山屿海；宁夏山屿海夺得了2017同道伟业中乙联赛季军。

2018年2月12日，青岛中能官方宣布中场大将胡俊正式回归，下赛季将重披中能战袍为球队效力，胡俊曾为中能效力12个赛季。

胡俊，外号“胡达内”，又号“胡老师”。2009年，桑特拉奇联赛中途接手青岛中能队，在带队训练的第三天，桑尼便发现了队里的“球星”。“齐达内，这就是你们未来的齐达内。”这是桑尼第二次将中国球员比作齐达内，上一次是泰山队的宋黎辉，这次是中能队的胡俊。久而久之，胡俊在球迷中便有了“胡达内”的称号。论起技术特点，胡俊在盘带过人、控制节奏上，确实与齐达内有几分相似。另外，因为喜欢读书，胡俊在队友中渐渐有了“胡老师”的雅号。

葡萄牙足球乙级联赛：冠军（2011/2012）

中国足球乙级联赛：季军（2017）

胡俊对这个球队来说很关键，他如果好好踢的话，会成为中场核心。他的进球非常及时，当然很重要。他进了球后，球队踢得也不那幺紧张，也基本上控制了场面。如果是对方先进球，那不知道结果会如何。（前中国国青主帅克劳琛在国青与塞维亚青年队赛后评）

胡俊头脑清楚，控传球能力突出，有速度，脚下活也不错。（颐中海牛俱乐部技术部评）