Контакты синхронизируются только в одну сторону - из Б24 на телефон.
Настройки синхронизации на портале Битрикс24
Прежде чем начать синхронизацию контактов по протоколу CardDAV, нужно перейти на страницу Моя страница выбрать в правом меню пункт Синхронизация

На открывшейся странице Настройки синхронизации выбрать, какие контакты синхронизировать:
Настройка синхронизации через CardDAV на Android
На мобильном телефоне устанавливаем бесплатную программу CardDAV-Sync free
Заходим в программу, добавляем аккаунт CardDAV
Указываем адрес портала Битрикс 24 и свой логин с паролем
Нажимаем далее, указываем любое имя аккаунта, отмечаем галку "синхронизировать только с сервера на телефон", далее все настройки по умолчанию. Если параметры указаны верно, увидим адресные книги с контактами и компаниями.
Далее произойдет синхронизация контактов, и в адресной книге телефона появятся соответствующие разделы
Аналогично можно выгружать и контакты пользователей портала Битрикс 24.
ВНИМАНИЕ!
Если контакты сразу не появляются, нужно:
- проверить разрешения для приложения CardDAV sync free в настройках безопасности.
- запустить вручную синхронизацию аккаунта (Настройки - Синхронизация - нажать внизу "Синхронизировать", подождать, проверить дату синхронизации у CardDav Address Book).
Статья по теме: Настройка синхронизации через CardDAV с устройствами Apple (IOS)