Всё, что стоит знать, и ничего лишнего.
Что это на самом деле делает
В SMS-сообщении submit_sm содержится поле data_coding, которое указывает SMSC, как интерпретировать тело сообщения. DCS = 0x00 (или 0x01) означает 7-битную кодировку GSM, стандартную 160-символьную кодировку. DCS = 0x08 означает UCS-2, два байта на символ. SMSC передает data_coding в SMSC оператора-получателя, который передает ее на телефон; телефон отображает тело сообщения, используя указанную кодировку. Смешивание — отправка тела сообщения, закодированного в GSM-7, с символом UCS-2 — является нарушением протокола и приводит к искаженному отображению.
Почему это важно с коммерческой точки зрения
Для обмена сообщениями в регионе MENA по умолчанию используется UCS-2 — практически весь A2P-трафик, ориентированный на потребителя, использует UCS-2, поэтому каждое сообщение стоит 2-3 сегмента вместо 1. Это не является необязательным; транслитерация арабского языка на латынь разрушает узнаваемость и вовлеченность потребителей. Обычный подход операторов заключается в предварительной классификации арабского трафика UCS-2 в SMSC и установлении соответствующей цены. Для рынков, где используется латинский алфавит, оптимизация заключается в очистке текста от случайных триггеров UCS-2 (тире, фигурные кавычки, эмодзи из документа Word маркетолога) перед отправкой.
Рабочее направление
Большинство агрегаторов автоматически определяют кодировку из отправленного текста и устанавливают значение data_coding соответствующим образом. Некоторые позволяют принудительно задать кодировку (полезно для тестирования). При отладке неожиданных сбоев в выставлении счетов («почему моя кампания на арабском языке стоит в 3 раза больше, чем я ожидал?»), первое, что нужно проверить, это распределение data_coding кампании — если вы ожидали GSM-7, а тексты сообщений приходят в формате UCS-2, значит, кто-то добавил фигурную кавычку.
Вопросы конфиденциальности и соблюдения нормативных требований
Кодировка — это метаданные; сама по себе она не является персональными данными и не подпадает под действие PDPL/GDPR. Однако UCS-2 — это кодировка, используемая для арабского языка, а это значит, что трафик UCS-2 статистически с большей вероятностью содержит персональные данные жителей стран Ближнего Востока и Северной Африки (MENA). Операторы на регулируемых рынках MENA обычно применяют самые строгие правила определения места жительства данных именно к трафику UCS-2, исходя из предположения, что он содержит персональные данные на местном языке.