就在程开甲全身心地投入科研之时，1960年，他被分配到当时的第二机械工业部核武器研究所，被任命为研究所的技术副所长。这次调动，是钱三强亲自点将、邓小平最后批准的。从此，他隐姓埋名，在学术界销声匿迹20多年。

　　最迟在1965年上半年爆炸我国第一颗原子弹的计划确定后，中央决定由程开甲全面负责核武器试验中的技术问题。程开甲后来回忆说：“当时主要的难点是，不知道爆炸的具体全过程。在没有经验与外援的条件下，要求我们在两年内完成从提出具体试验计划、测试项目，直到现场实施，以及完成大量的研究工作，任务是十分繁重的。”　

　　为此，他废寝忘食，全心钻研。有一天早上，程开甲走进办公室，一个人关上了门，聚精会神地考虑问题，把吃饭、午睡的时间全忘记了。当他把问题想清楚，开心地走出办公室时，已是下午1点多了。他走过其他房间，发现大家都在床上睡觉，非常生气，劈头盖脸地批评：“研究的时间这么紧，你们居然还敢在上班时间睡大觉？”其他人不禁哈哈大笑。经过提醒，他才恍然大悟，不好意思地转身走了。　

　　凭着这股劲头，在当年的试验中，程开甲解决了一系列理论和技术难题，对核爆炸现象、核爆炸规律、核武器效应与防护规律等，进行了深入理论研究，建立了中国特色的核试验科学技术体系，为中国首颗原子弹和首颗氢弹的成功爆炸做出了关键贡献，被称为“核司令”。他还带出一支高水平人才队伍，培养出10位院士和40多位将军。　

　　有人曾问晚年的程开甲：“要是你当时听了导师玻恩的建议留在英国，现在会怎样？”他感慨：“我不回国，可能会在学术上有更大的成就，但决不会有现在这样幸福。因为我现在所做的一切，都和祖国紧紧地联系在一起。”