不来电的同事追求我，怎么拒绝他不尴尬？

真的要尴尬死了，我今年刚毕业，九月份入职单位，隔壁部门的一个男生比我大三四岁，工作上有些接触，一开始我以为是工作原因总来找我，后来同事说他对我有意思，当时我觉得他人不错，接触了一段时间。

我俩接触了也就十几天吧，我觉得性格方面合不来，而且同单位处对象影响不好，不顺利的话之后会很尴尬，特别影响工作，现在我特别后悔开始和他暧昧，现在怎么说都很尴尬，最尴尬的是现在领导安排他指导我的工作，我真的快要疯掉了。

现在犹豫的是怎么拒绝对方，直接说又很尴尬，反正怎么都尴尬，真的要社死了。