Какова цель разговора ни о чем? Снятие напряжения. Поэтому это просто одна из возможностей. Хотите пользуйтесь, хотите нет. Если вы заняты и не желаете говорить, то можете сказать о том, что хотите побыть наедине с собой или что очень устали. Хуже всего, если вы будете раздражаться молча.
Есть еще люди, которые вас не услышат и будут навязчиво вам что-то рассказывать. Такому человеку надо прямо сказать, что вам это не интересно. Врядли он вас поймет, так как понимать кого-то он не способен, но совестный понос как правило останавливается.