由于受到父亲问题的牵连，任正非入伍并不顺利，险些就没当成兵，但最终命运之神还是向他伸出了援手。当时国家正在大力进行工程建设，部队中非常需要技术兵，而任正非在大学期间主修技术专业，这也让任正非第一次体会到了“知识改变命运”这句话的意义。因此，最终他还是有惊无险地参了军，成为一名基层工程兵。
军队的生活是非常艰苦的，却也磨炼了最具男儿本色的坚强气质。曾有人做过这样一个社会调查：在广东省深圳市这个全国最早的经济开发区中，企业大佬们大多是转业军人出身。而任正非，就是十几年后最出类拔萃的那一位。
任正非所在的部队是成立于1966年的基建工程兵部队，属于解放军体系当中新成长起来的一个兵种，在国家基本工程建设和国防施工布局方面都有较高的地位。特别是在周恩来总理眼中，这个崭新的兵种最大的优势便是“劳武结合，能工能战，以工为主”。因此，这个部队很快就参与了一项规模庞大的军事工程建设任务，这项工程的代号为“011”。