客户直接说不要跟我了，我只跟工厂合作

这种情况可能是客户已经有了自己固定的合作工厂或者对你所提供的产品不感兴趣。面对此情况，你可以考虑以下几个解决方案：

1. 了解客户需求：试着了解客户真正需要的产品和服务，是否可以满足他们的需求。如果不能，就建议他们最好透过工厂联系相关产品或者提供的服务。

2. 介绍优势：介绍你代理产品的优势，比如价格优势、质量保障、快速交货等方面。如果还是不认可你的产品和服务，那么就通情达理地表示理解，感谢他们的时间，建议他们保持联系以寻找更合适的合作方式。

3. 保持沟通：保持联系和沟通是很重要的。即使客户暂时没有合作意向，也要定期给他们发送邮件或者留言，体现你的专业和礼貌。这样即便客户以后有需求时也会想起你，与你重新建立联系。

4. 扩大客户范围：除了该客户，还有很多其他客户可以联系。可以扩大客户范围，通过不同方式去寻找新的合作伙伴，从市场的角度出发能促进营销成效。