求各位给个建议！

一个客户的货，从去年12月正式下单，到前天终于出货了。 原先说好客户汇过来的6000多的样品费和打样费要退还给他们的，然后本来是整批一起出货，因为客户要求，所以年前出了一部分。我们是出一票货一次商检。本来一票的货变成两票了，我们要求客户承担多出来的那一票的商检检测费用以及fob费用，本来是4500，我就算成4000好了。 货全部出掉了，客户说还有6000在我们这，扣掉4000块，还有2000要退还给他们。 我请示了老板，我们老板说，这单子亏了。这客户要求这么多，这么烦，打样打了这么多次。亏了就不退那6000块钱了。 而且还要把那4000块钱要回来。因为我们客户是上海的贸易商，是最终客户的，所以其实上海贸易商就是我们客户。 我说4000很难追的，我们老板说到时候提单不给他们，叫他们先把4000块汇过来，再给提单。 因为交期这么久，我估计客户返单的可能性很小，但是毕竟是客户，我还是希望该退的退。 作为业务员，我应该怎么呢？我想找老板谈谈4000块就不要去追了。这样去说有道理吗。