Люди не переходят на оскорбления лишь из-за разницы вкусов.
Ты отбиваешься от толпы по иным причинам и, скорее всего, не в лучшую сторону. Вечно унылая морда, молчаливость, неуверенная речь, неопрятный вид, неприятный запах, отказ от участия в социальных "ролях" — типичные причины возникновения неприязни.
Люди пытаются решить эту проблему, инициировав диалог. Но твою разницу вкусов не воспринимают как твой истинный вкус, скорее как твою попытку резко оборвать диалог, что ещё сильнее разрывает вас.
Неприятие переходит критический порог, ты становишься нежелательным в обществе и заодно с этим — "легальной" жертвой шуток и демонстрации пренебрежения.