Можно ли не открывать, если в дверь звонят какие то мужики и говорят что из полиции?

Ни в коем случае.
Пусть представятся и назовут отделение, в котором служат, а также номер телефона.
Позвоните, уточните, есть ли такие сотрудники и по какому конкретно делу они к Вам пришли.
Сделайте звонок прямо в коридоре, пусть люди за дверью услышат, что Вы их проверяете.
Если это не полиция, - уйдут. Или даже побегут.

Да по закону вроде как можно...
Но вот у меня к соседу в пол-второго ночи постучались...
Не представлялись даже.
Он не открывал-кувалдой дверь выбили.
Потом оказалось, наркоконтроль адресом ошибся.
Даже не извинились.
Так что лучше всё "мирным путем" решать.