黑山軍其實說通俗點就是一夥人多勢眾的山賊。
黑山軍又稱黑山賊，黃巾叛亂時興起，盤踞在太行山和燕山一帶多年。在黃巾起義被鎮壓後，黃巾軍餘黨大多投靠黑山軍，加上大佬張燕領導有方，黑山軍勢力急劇擴大，兵馬達數十萬之眾。
黑山軍作為山賊常年出動四處打野，人多勢眾，基本北方勢力沒人敢惹，甚至曾攻佔過北方重鎮鄴城、常山，打的袁紹都害怕。
說實話當時的山賊能達到這個規模不容易，要知道當時的曹操總共也就數萬人馬，而黑山軍出去打劫一趟據說都是十萬之眾，不知道老曹當時會不會臉紅，混的不如山賊。
當時的黑山軍真的是牛，哪裡是山賊，簡直可以稱作是北方霸主了。但是人多也有人多的不好，糧食不夠，分配不均，混不下去了。於是黑山軍向朝廷請降，朝廷也惹不起張他們，封了頭領張燕平難中郎將，張燕的黑山軍從此變成了合法的黑社會。不過張燕接受了招安，讓很多黑山軍散去，勢力已不如從前了。
張燕沒有以前的勢力了，而袁紹勢力則越來越大了。袁紹於是聯合剛來投靠他的呂布一起夾擊張燕，重創了黑山軍，黑山軍再一次被削弱。
張燕勢力大減後，流入山中，不和袁紹硬碰硬，流動作戰，騷擾袁紹，袁紹也一直拿他們沒辦法。
官渡之戰後，曹操勢力大增，兵發冀州。張燕本來就是和袁紹作對的，敵人的敵人就是朋友，因此他向曹操請降，幫助曹操平袁紹餘黨。
曹操拜張燕為平北將軍，並在張燕的幫助下平定了袁紹的殘餘勢力，一統北方。傳奇般的黑山軍從這時開始併入了曹操集團，不復存在。