চার বছর ধরে অব্যবহৃত ভবন, ক্ষুব্ধ স্বাস্থ্য প্রতিমন্ত্রী