Он вовсе мне не навязывается — он просто мой коллега

Возможно, ваш список «лишних обязательств» не полон. В него нужно обязательно включить то, что по идее должны делать другие, но выполняете вы.