离婚后，安德罗波夫很快就再次结婚，这次结婚也生了两个孩子。人们不清楚他在第一次婚姻生活中到底发生了什么事情，自从他离婚后，他就一直不愿意提过去的事，也不允许别人提起他不想听的事。
政治以外的生活
在苏联，著名人物的私生活是严加保密的，安德罗波夫当然也不例外。当他沿着党的台阶上升到总书记的职位时，人们对他的私生活始终是一无所知，这就引起了社会上对他的一些怪诞无稽的传闻，关于他的个人琐事、过了时的传说，以及常常是莫须有的小道消息此起彼伏。与此同时，一些莫斯科人自称他们了解这位前克格勃头目是一位真正的“私下的自由主义者”。其中，关于他的英文水平和他对美国东西的“酷爱”的谈论最多。
实际上，这些消息都仅仅来自于逃亡西方的前克格勃特务萨哈罗夫。萨哈罗夫自称是安德罗波夫的儿子伊戈尔的朋友，曾经几次拜访过他们在莫斯科的寓所。当美国新闻工作者向萨哈罗夫了解关于安德罗波夫妻子的情况时，萨哈罗夫向他们提供了自己的看法：安德罗波夫“近乎是一个怕老婆的人”，虽然他在家里对许多事情都同他的妻子有不同看法，但是最后他总是要听从妻子的意见。萨哈罗夫肯定地说，在音乐爱好方面，安德罗波夫的妻子不喜欢美国音乐，而安德罗波夫则对美国音乐表现出了很高的兴趣，因此他们夫妇之间就经常发生争论，不过争论的最后胜利者十之八九都是安德罗波夫的妻子。萨哈罗夫还说，他认识安德罗波夫的儿子伊戈尔是在1961年，当时他们同在莫斯科国际关系学院学习。在此期间，伊戈尔参加了学院的美国研究组，他所在的研究所由苏联北美问题头号专家阿尔巴托夫领导。阿尔巴托夫曾经很多次说过，安德罗波夫具有“自由派”观点，但把他看成是一个强硬的克格勃警察类型的人物。而萨哈罗夫则对此观点很不以为然，他说，安德罗波夫比起其他任何苏联领导人来，都表现得更为老练和开明一些。因为他懂得该如何把人民置于控制之下，并且还懂得如何对人民恩威兼施，让他们心甘情愿地臣服在自己的控制之下。