S.
Muitas pessoas casadas trocam olhares com pessoas com quem se cruzam, sem que daí resulte qualquer ameaça à sua relação conjugal. Não há uma real intenção de dar continuidade ao episódio; trata-se, sim, de um comportamento inofensivo. No entanto, o alarme deve soar sempre que a nossa atenção deixa de ser inócua e generalizável a diversos rostos e passa a ser sistemática e centrada numa pessoa. Nesse caso, é provável que existam problemas no casamento que não estarão a receber a devida atenção.
Como a comunicação não verbal é muito subjectiva, é possível que você possa ter criado expectativas diferentes das do seu colega. A partir do momento em que a troca de olhares passou para um nível diferente, o seu colega recuou, provavelmente na esperança de que você recuasse também.
Como não obteve a resposta que esperava, sugiro que não volte a insistir. Além disso, é importante que se vire para sua relação conjugal e que tome as decisões que importa tomar nesta altura. O envolvimento com uma terceira pessoa pode magoar muita gente e acarretar uma série de complicações para a sua vida.
Procure a ajuda de um profissional especializado e não adie mais a sua felicidade.