蓝玉从军的时候,一开始在开平王常遇春帐下效力,就任管军镇抚,做事很有胆有谋,面临敌人勇敢,只要征战都是成功的。常遇春多次在朱元璋面前夸奖蓝玉,后因屡战积功,由管军镇抚升任千户和指挥使,后升任大都督府佥事。于捕鱼儿海中大破北元,基本摧毁其职官体系而名震天下。
公元1388年拜大将军、凉国公。为常遇春的妻弟、常遇春是太子朱标岳父,蓝玉是太子妃舅父,因极力维护太子的储君地位 ,与早已觊觎皇位的燕王交恶。朱元璋为儿子朱标组建当时明朝超一流的武人集团班底做为儿子继承大统彻底清除北元而预备,然太子死皇孙幼,朱标太子的武人集团班底全部被屠戮干净,最后落了个周亚夫的下场。
公元1393年,锦衣卫指挥蒋瓛告发蓝玉谋反,下狱审讯后,牵连朝中诸多大臣,拟定乘朱元璋藉田时发动叛乱,因此朝野大震。正在巩固和加强中央集权的朱元璋深感不安,以谋反罪将其逮捕下狱,并被剥皮实草,抄家,灭三族,并株连蔓引,自公侯伯以至文武官员,被杀者约一万五千人,史称“蓝玉案”。