Воронин: заметки с тегом php

Увеличиваем размер принимаемого сообщения в iRedMail

Wed, 03 May 2023 13:18:44 +0300

Увеличим размер почтового сообщения до 35Мб

меняем настройки postfix

postconf -e message_size_limit=36700160
postconf -e mailbox_size_limit=36700160

перечитываем изменения службой postfix

sudo systemctl reload postfix

редактируем php.ini

sudo mcedit /etc/php/7.4/fpm/php.ini

ищем переменные и меняем значения на нужные нам

memory_limit = 256M;
upload_max_filesize = 35M;
post_max_size = 37M;

рестартим php

sudo systemctl restart php7.4-fpm

редактируем конфиг roundcube

sudo mcedit /opt/www/roundcubemail/config/config.inc.php

ищем настройку максимального размера сообщения и меняем значение

$config['max_message_size'] = '35M';

редактируем конфиг nginx

sudo mcedit /etc/nginx/conf-enabled/client_max_body_size.conf

ищем переменную и меняем значение на своё

client_max_body_size 100m;

проверяем правильность конфига

sudo nginx -t

перечитываем изменения службой nginx

sudo systemctl reload nginx

Прощай Яндекс почта

Tue, 02 May 2023 18:04:43 +0300

Была у меня почта на Яндексе, уже была, т. к. последний сделал её платной. Что же, я перевёз свои 12 ящиков, и вы справитесь.

Схема самая простая, сначала разворачиваем свой почтовый сервер (настраиваем его), затем перевозим ящики (по одному), бонусом тюним web-интерфейс Roundcube.

Все представленные здесь решения являются бесплатными для личного пользования, ваша задача только оплата VDS.

Системные требования для моих задач (12 ящиков, 1 основной домен и 3 элиаса):

OC Linux
CPU 1
RAM 4 Гб
HDD 100 Гб
IP 1

Возможно вам потребуется больше, тут всё зависит от бюджета и нагрузки, системные требования для iRedMail предполагают от 4Гб оперативной памяти, а для поддержки 500 клиентов так все 16Гб.

Я не буду останавливаться на развёртывание системы, в моём примере debian 11, многие хостеры это сделаю для вас автоматически.
Не забудьте прописать в DNS зону A, например mail.{domain}.ru

Прошу обратить внимание, зону MX мы не трогаем, чтобы пока мы настраиваем новый сервер, не потерять сообщения приходящие на старый.

коннектимся в консоль сервера и создаем пользователя с sudo

su -
apt update
apt install mc sudo -y
useradd {username}
passwd {username}
usermod -aG sudo {username}

mc ставлю ради mcedit

Логинимся под свеже созданным пользователем и назначаем серверу его имя как указывали в DNS

sudo hostnamectl set-hostname mail.{domain}.ru

в файле «/etc/hosts» руками правим имя локалхоста

sudo mcedit /etc/hosts

должно получиться так

127.0.0.1       mail.{domain}.ru localhost

проверяем

hostname -f

Начинаем непосредственно установку сервера, для этого определяем ссылку на актуальный дистрибутив, переходим сюда: https://iredmail.com/download.html , кликаем правой кнопкой мыши на стабильной версии и копируем ссылку на скачивание

в консоли идем в домашнюю папку и скачиваем дистрибутив

cd ~
wget https://github.com/iredmail/iRedMail/archive/refs/tags/1.6.2.tar.gz

распаковываем его, переходим в полученную папку делаем файл «iRedMail-1.6.2» исполняемым и запускаем установку

tar xvf 1.6.2.tar.gz
cd iRedMail-1.6.2/
chmod +x iRedMail.sh
sudo bash iRedMail.sh

после того как скрипт скачет необходимые пакеты запустится визард, который поможет провести первоначальную настройку

указываем путь, где будут храниться почтовые сообщения и бэкапы базы данных

выбираем какой web-сервер будет установлен, ну как выбираем, соглашаемся с nginx

далее выбираем какую базу данных будет использовать почтовый сервер (я выбираю MariaDB)

придумываем и указываем пароль для администратора базы данных, можно сейчас записать, а можно дождаться окончания установки и получить все логины и пароли в первом письме

указываем имя домена, не имя сервера, а имя домена!

задаём пароль администратора почтового сервера

указываем необходимые нам компоненты, для простого и лёгкого сервера я бы рекомендовал остановиться на почтовом web-клиенте Roundcube, web-панели администратора iRedAdmin и fail2ban для защиты от подбора паролей пользователей

проверяем настройки и подтверждаем их

теперь остаётся ждать, пока инсталляционный скрипт завершит свою работу

после завершения установки подтвердите настройки файервола

Я вас поздравляю, теперь можно получить доступ к ресурсам сервера по следующим адресам:

- Roundcube webmail: https://mail.{domain}.ru/mail/
- Web admin panel (iRedAdmin): https://mail.{domain}.ru/iredadmin/

- Username: postmaster@{domain}.ru
- Password: BTAyZswFv4VroUP2oPTUkaikMETc6pyY

Если захотите добавить элиас домена через бесплатную админку этого сделать не получится, но можно внести значения напрямую в базу (работает как с MySQL, так и с PostgreSQL)

mysql -u root
sql> USE `vmail`;
sql> INSERT INTO `alias_domain` (`alias_domain`, `target_domain`) VALUES ('{alias}.ru', '{domain}.ru');

удалить элиас так:

mysql -u root
sql> USE `vmail`;
sql> DELETE FROM `alias_domain` WHERE `alias_domain` = '{alias}.ru';

На этом можно было бы и закончить, но есть моменты на которых я предлагаю остановиться, назовём это улучшения вашего сервера

Система индексации lucene для Dovecot (debian)

Отключаем протокол pop3 (делал чисто для себя, т.к .не пользуюсь им, слишком устаревший)

Выпускаем подтверждённый сертификат Let’s encrypt и настраиваем автоматический перевыпуск сертификата

Как увеличить размер принимаемого сообщения, например до 35Мб?

Есть проблемы с антивирусом clamav на территории РФ, после первоначальной установки он у вас просто не запустится, т. к. не сможет обновить свои базы, как решить?

готово! наш сервер готов принять письма

Через Админку создаём пользовательские ящики, которые готовы принять письма

Меняем запись MX в DNS, чтобы новые сообщения попадали уже на наш сервер

Ждём когда изменения вступят в силу, максимум 3 часа, вы увидите, как сообщения появятся в ящиках на новом сервере, всё — это значит пора перевозить старые письма. Для этого воспользуемся моим скриптом: https://voronin.one/all/skript-dlya-perenosa-elektronnoy-pochty-iz-odnogo-yaschika-v-dru/

Адресную книгу без проблем перенесёте через экспорт/импорт.
А вот правила фильтрации в яндексе «фильдеперсовые», их только вручную можно перенести, хоть в Roundcube есть возможность подгрузить правила sieve из файла.

скрипт для переноса электронной почты из одного ящика в другой

Tue, 02 May 2023 18:04:04 +0300

Скрипт максимально простой, написан на php, так же потребуется модуль php-imap, работает из командной строки любого устройства (сервера). Принцип простой, скрипт подключается к исходному ящику по протоколу IMAP сканирует структуру почтовых папок, подключается к целевому ящику IMAP, воссоздаёт папки которых нет и загружает в них письма. Опционально может создать структуру папок локально и скачать в них письма в формате eml.

<?php

//папка, куда будет сохраняться структура ящика с письмами
$path_to_mail = 'boxes';

//сохранять локально копию ящика
$save_local_copy = 0;

//декодировать имя папки или нет для локальной копии
$decode_folder_name = 1;

//данные ящика откуда переезжаем (например яндекс)
$source_server = 'imap.yandex.ru';
$source_port = '993';
$source_user = '{user}@{domain}.ru';
$source_pass = 'P@$$word';

//данные ящика куда переезжаем
$target_server = 'mail.{domain}.ru';
$target_port = '993';
$target_user = '{user}@{domain}.ru';
$target_pass = 'P@$$word';

function check_folder_exist($folders_list, $check_folder_name) {
  $fl_exist = false;
  foreach ($folders_list as $val) {
    if ($val->name == $check_folder_name) {
      $fl_exist = true;
    }
  }
  return $fl_exist;
}

$path_to_mail .= DIRECTORY_SEPARATOR.$source_user.DIRECTORY_SEPARATOR;

$source_server_str = "{".$source_server.":".$source_port."/imap/ssl}";
$source_mbox = imap_open($source_server_str,$source_user,$source_pass)
      or die("can't connect: " . imap_last_error());

$target_server_str = "{".$target_server.":".$target_port."/imap/ssl}";
$target_mbox = imap_open($target_server_str,$target_user,$target_pass)
      or die("can't connect: " . imap_last_error());

$target_list = imap_getmailboxes($target_mbox, $target_server_str, "*");
if (is_array($target_list)) {
    foreach ($target_list as $key => $val) {
      $folder_name = str_replace($target_server_str,'',$val->name);
      $target_delimiter = $val->delimiter;
    }
} else {
    echo "imap_getmailboxes failed: ".imap_last_error()."\n";
}

$source_list = imap_getmailboxes($source_mbox, $source_server_str, "*");
if (is_array($source_list)) {
    foreach ($source_list as $key => $val) {
        $source_full_folder_name = $val->name;
        $source_delimiter = $val->delimiter;
        $con=imap_open($source_full_folder_name, $source_user, $source_pass);
        $number_msg=imap_num_msg($con);
        $folder_name = str_replace($source_server_str,'',$source_full_folder_name);
        if ($decode_folder_name) {
          $current_folder_name = mb_convert_encoding($folder_name, "UTF8", "UTF7-IMAP");
        } else {
          $current_folder_name = $folder_name;
        }
        $full_new_folder_name = $target_server_str.str_replace($source_delimiter,$target_delimiter,$folder_name);
        echo $full_new_folder_name."\n";
        if (!(check_folder_exist($target_list, $full_new_folder_name))) {
          echo 'папка "'.mb_convert_encoding($folder_name, "UTF8", "UTF7-IMAP").'" отсутствует на сервере, создаём'."\n";
          
          imap_createmailbox($target_mbox, $full_new_folder_name);
        }
        if ((!file_exists($path_to_mail.str_replace($source_delimiter,DIRECTORY_SEPARATOR,$current_folder_name))) and ($save_local_copy)) {
            mkdir($path_to_mail.str_replace($source_delimiter,DIRECTORY_SEPARATOR,$current_folder_name), 0777, true);
        }
        echo mb_convert_encoding($folder_name, "UTF8", "UTF7-IMAP").": ";
        echo $number_msg."\n";
        for ($i = 1; $i <= $number_msg; $i++) {
          if (!imap_ping($con)) {
              // если вдруг связь первалась, восстанавливаем
              echo "$i ой, reconnect $source_server\n";
              $i--;
              $con=imap_open($val->name, $source_user, $source_pass);
          }
          if (!imap_ping($target_mbox)) {
              // если вдруг связь первалась, восстанавливаем
              echo "$i ой, reconnect $target_server\n";
              $target_mbox = imap_open($target_server_str,$target_user,$target_pass);
          }
          echo ".";
          $headers = imap_fetchheader($con, $i, FT_PREFETCHTEXT);
          $body = imap_body($con, $i);
          imap_append($target_mbox, $full_new_folder_name, $headers."\n\n".$body,"\\Seen");
          if ($save_local_copy) {
            file_put_contents($path_to_mail.str_replace($val->delimiter,DIRECTORY_SEPARATOR,$current_folder_name).DIRECTORY_SEPARATOR.str_pad($i, 8, "0", STR_PAD_LEFT).".eml", $headers."\n\n".$body);
          }
        }
        echo "\n";
      imap_close($con);
    }
} else {
    echo "imap_getmailboxes failed: ".imap_last_error()."\n";
}
imap_close($source_mbox);
imap_close($target_mbox);

?>

$path_to_mail — относительный путь к папке, где будет храниться локальная копия ящика, актуально когда «$save_local_copy = 1»

$save_local_copy = 1 будет сохраняться локальная копия писем на жёстком диске, соответственно, если «0» — не будет

$decode_folder_name = 1 имена папок будут декодированы в нормальный вид, если «0» — то будет использован формат UTF7, как они хранятся на сервере.

Все письма, которые будут перенесены в новый ящик получат статус прочитанных, извините, я не заморачивался с перенесением флагов.

Перед прочтением сообщения пингуется соединение с сервером IMAP, в случае его обрыва — соединение восстанавливается. Замедление совсем небольшое, зато надёжность вырастает многократно.

Учитываются разделители вложенности папок (например у яндекса это «|», в iRedMail «/»).

Копирование писем допускается один раз, если вы прервёте процесс и запустите снова, часть сообщений задублируется.

автоматизируем очистку почтового ящика по-расписанию

Thu, 08 Sep 2022 17:13:44 +0300

собственно subj, на примере яндекса

я хочу удалять с сервера старые письма (старше недели) с уведомлениями, которые у меня накапливаются в отдельной папке

для начала идём в настройки безопасности https://id.yandex.ru/security

выбираем «Пароли приложений» https://id.yandex.ru/profile/apppasswords-list

и создаем новый пароль для приложения, нам требуется сгенерить пароль для доступа к Почте, указываем понятное нам название и генерим пароль

на самом деле — это очень правильно, т. к. мы не будем хранить в ком-то скрипте свой основной пароль в открытом виде

а дальше, собственно, сам скрипт

<?php
$auth_mail = 'user@yandex.ru'; // логин
$auth_pass = '$tr0ngP@$$w0rd'; // пароль
$server = '{imap.yandex.ru:993/imap/ssl}'.'INBOX'; // подключение к серверу к папке входящие
$filter_str = 'BEFORE "'.date('d-M-Y', strtotime('-7 days')).'"'; // фильтр, чтобы получить письма старше 7 дней

$imap = imap_open($server, $auth_mail, $auth_pass) or die("Не удалось подключиться: ".imap_last_error());
// подключаемся
$some = imap_search($imap, $filter_str);
// применяем фильтр
if ($some !== false) {
// если что-то нашли - в цикле обходим
foreach ($some as $msg_id)
{ //  и помечаем на удаление каждое письмо с его id
echo "delete message #".$msg_id."\n";
imap_delete($imap, $msg_id);
}
}
// окончательно удаляем отмеченные письма и отключаемся
imap_expunge($imap);
imap_close($imap);
?>

обратите внимание, я в переменную «$server» добавил строку из двух частей, вторая чать в примере подключит вас к папке «Входящие», если вам надо выбрать другую папку — укажите свой путь, например:

INBOX|&BCEEPgRGBEEENQRCBDg- — это папка Входящие — Соцсети, записанная в кодировке UTF7-IMAP

список папок можно получить командой

$list = imap_list($imap, "{imap.yandex.ru}", "*");
if (is_array($list)) {
foreach ($list as $val) {
echo mb_convert_encoding($val, "UTF-8", "UTF7-IMAP")."\n";
echo $val."\n\n";
}
}

первой строкой будет выводится декодированное (читабельное) название, второй строкой исходное, которое и надо будет подставлять в свой скрипт выше

php пинг устройств

Wed, 17 Nov 2021 11:16:52 +0300

проверим скриптом доступно ли устройство

нашёл функцию на просторах:

function ping($host, $timeout = 1) {
    /* ICMP ping packet with a pre-calculated checksum */
    $package = "\x08\x00\x7d\x4b\x00\x00\x00\x00PingHost";
    $socket  = socket_create(AF_INET, SOCK_RAW, 1);
    socket_set_option($socket, SOL_SOCKET, SO_RCVTIMEO, array('sec' => $timeout, 'usec' => 0));
    socket_connect($socket, $host, null);
    $ts = microtime(true);
    socket_send($socket, $package, strLen($package), 0);
    if (socket_read($socket, 255)) {
        $result = microtime(true) - $ts;
    } else {
        $result = false;
    }
    socket_close($socket);
    return $result;
}

возвращает в миллисекундах время ответа устройства или ничего не возвращает, если устройство выключено

Внимание! требует повышение прав

Synology chat bot (download)

Thu, 07 Oct 2021 16:09:09 +0300

сижу, допиливаю функцию, чтобы бот в ответ присылал пользователю файл...
файл, само собой, будет генериться на лету, за это отвечает скрипт php и будет выдавать примерно следующее:

header("Content-type: text/plain");
header("Content-Disposition: attachment; filename=список посещений офиса за ".$monthes[date('n', strtotime($_REQUEST['month']))]." ".date('Y', strtotime($_REQUEST['month'])).".log");
echo $log_str;

а в самом боте есть вызов этой url, когда-то давно написал функцию

function answer_file($user_id,$text,$file,$bot_token)
# $user_id - массив с id
# $text - комментарий к файлу
# $file - url на сам файл
# $bot_token - токен бота
{
    $data = array (
    'text'    => $text,
    'user_ids'=> $user_id,
'file_url'=> $file
    );
    $options = array(
    'http' => array(
        'method'  => 'POST',
        'content' => 'payload='.json_encode( $data ),
        'header'=>  "Content-Type: application/json\r\n" .
                    "Accept: application/json\r\n"
        )
    );
    $context  = stream_context_create( $options );
    $result = file_get_contents( 'https://server/webapi/entry.cgi?api=SYNO.Chat.External&method=chatbot&version=2&token=%22'.$bot_token.'%22', false, $context );
    $response = json_decode($result);
    return $result;
}

ну, в целом работает, только я же запрашиваю не существующий файл, а скрипт с параметрами, типа:

https://server/bots/get_tabel.php?action=get_log&login=axl&month=2021-09

и получаю файл с именем get_tabel.php

не такого результата я хотел, ох не такого

Хорошо, переходим к радикальному методу... т. е. с nginx на apache и используем .htaccess
в результате нам надо получить url вида:

https://server/bots/logs/axl/2021-09/список посещений офиса за сентябрь 2021.log

приступим...

накидаем .htassess, учтем что нам надо использовать скрипт, только когда запрашивается папка logs

RewriteEngine On
 
RewriteCond %{SCRIPT_FILENAME} !-d
RewriteCond %{SCRIPT_FILENAME} !-f
 
RewriteRule ^logs/.*$ ./parse.php [L]

я временно сделал parse.php чтобы отладить, потом, конечно же перенаправлю на основной скрипт

<?php

$path = $_SERVER['REQUEST_URI'];
$paths = explode('/', $path);

echo "<pre>";
print_r ($paths);
echo "</pre>";

?>

и результат запроса

Array
(
    [0] => 
    [1] => logs
    [2] => axl
    [3] => 2021-09
    [4] => %D1%81%D0%BF%D0%B8%D1%81%D0%BE%D0%BA%20%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B5%D0%BD%D0%B8%D0%B9%20%D0%BE%D1%84%D0%B8%D1%81%D0%B0%20%D0%B7%D0%B0%20%D1%81%D0%B5%D0%BD%D1%82%D1%8F%D0%B1%D1%80%D1%8C%202021.log
)

вы не поверите, самое крутое, что htassecc заработал с первого раза 😁

ну вот... после небольших манипуляций получился красивый результат:

Synology chat

Thu, 07 Oct 2021 14:54:19 +0300

Сегодня сел писать очередного бота и был неприятно удивлён! А их количество ограничено!!!

полез в документацию и правда, всего 5 штук можно создавать.

мдя.... печалька... 🤔

Ладно, поудалял, так сказать, временных, для экспериментов и создал «Мариванну». Почему такое имя? Она будет заведовать кадровыми делами, вернее автоматизировать кадровые дела...

Начнём со статистики нашей СКУД. А закончим табелями... или ещё чем-нибудь.

3 часть, «кропотливая работа и долгожданный успех»

Fri, 24 Sep 2021 17:22:16 +0300

1 часть, «как нельзя относиться к корпоративным клиентам»
2 часть, «анализ, получение исходных данных»

Сделай шаг — дорога появится сама собой…

и мы приступим...

вот требования graphisoft к сложности паролей:
Ваш пароль должен:

содержать не менее 6 символов

содержать не менее одной буквы

содержать не менее одной заглавной буквы

содержать не менее одной цифры

отличаться от вашего адреса электронной почты

не содержать пробелов, знаков препинания, специальных или национальных символов.

для начала хочу показать небольшую функцию для генерации паролей, фишка в том, что пароль должен содержать минимум две цифры, да-да... хрен вы зарегистрируетесь с одной цифрой, короче ловите функцию

function randomPassword() {
    $alphabet = "abcdefghijklmnopqrstuwxyzABCDEFGHIJKLMNOPQRSTUWXYZ0123456789";
    $pass = array();
    $alphaLength = strlen($alphabet) - 1;
    for ($i = 0; $i < 10; $i++) {
        $n = rand(0, $alphaLength);
        $pass[] = $alphabet[$n];
    }
$password = implode($pass);
$password = substr_replace($password, rand(0,9), rand(1,3), 0);
$password = substr_replace($password, rand(0,9), rand(4,7), 0);
    return $password;
}

сразу оговорюсь, при регистрации 150 учёток ни разу не споткнулась 😇

ну, вроде всё готово для реализации проекта.

Настоятельно рекомендую зайти на первую страницу и сохранить cookie, чтобы было максимально похоже на действия человека. Так же часто не отправляйте запросы, я регистрировал по одному сотруднику раз в пять минут, все таки есть опасность словить captcha. Большая активность — подозрительна. А так, раз в пять минут за ночь и пол дня всех зарегистрировал.

Не буду грузить, расписывая каждое действие, пройдусь по самым главным моментам.
При отправке данных используется три метода передачи:

GET
POST
PUT

пришлось их все учитывать в одной функции, чтобы не плодить сущностей

так же данные формируются разными форматами

application/json
application/x-www-form-urlencoded

я сейчас выложу мою монстровую функцию

function get_url($url, $method, $ctype, $referer, $data) {
// $url - ссылка, на страницу
// $method - метод передачи (GET, POST или PUT)
// $ctype - 1, 2 или 3, смотри ниже
// $referer - страница, с которой мы, якобы, перешли
// $data - данные, если отправляем форму
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);
if ($data!=='') {
if ($ctype == 1) {
// если тип данных json
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data));
} else if ($ctype == 2) {
// если тип данных www-form
curl_setopt($ch, CURLOPT_POSTFIELDS,http_build_query($data));
} else if ($ctype == 3) {
// сложная конструкция, когда нам надо работать с полученным заголовком, чтобы вытащить оттуда token авторизации
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, FALSE);
curl_setopt($ch, CURLOPT_POSTFIELDS,http_build_query($data));
}
}
curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');
// формируем заголовок запроса
$headers = array();
$headers[] = 'Connection: keep-alive';
$headers[] = 'Sec-Ch-Ua: \" Not;A Brand\";v=\"99\", \"Opera\";v=\"79\", \"Chromium\";v=\"93\"';
$headers[] = 'Dnt: 1';
$headers[] = 'Sec-Ch-Ua-Mobile: ?0';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 OPR/79.0.4143.22';
if ($ctype == 1) {
// если тип данных json
$headers[] = 'Content-Type: application/json; charset=UTF-8';
} else {
// если тип данных www-form
$headers[] = 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8';
}
$headers[] = 'Accept: application/json, text/javascript, */*; q=0.01';
$headers[] = 'X-Requested-With: XMLHttpRequest';
$headers[] = 'Sec-Ch-Ua-Platform: \"Windows\"';
$headers[] = 'Sec-Fetch-Site: same-origin';
$headers[] = 'Sec-Fetch-Mode: cors';
$headers[] = 'Sec-Fetch-Dest: empty';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'Origin: '.$referer;
$headers[] = 'Referer: '.$referer;
// используем сформированный заголовок
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
// подключаем файл с cookie, сразу в него сохраняем и из него читаем
curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');
$response = curl_exec($ch);
// используем глобальную переменную, чтобы получить token авторизации, который возвращается в header
global $header;
$header_size = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$header = substr($response, 0, $header_size);
// возвращаем результатом полученный текст
return $response;
if (curl_errno($ch)) {
echo 'Error:' . curl_error($ch);
}
curl_close($ch);
}

вот такая страхолюдина получилась в итоге

все действия по шагам:

заполняем форму регистрации и отправляем запрос
- открываем главную страницу
- переходим на страницу личного кабинета
- проверяем, зарегистрирован ли уже e-mail
- генерируем пароль
- отправляем форму с данными
подтверждаем регистрацию
- результатом отправки регистрационной формы будет json с кодом подтверждения регистрации (ура! не надо лезть в почту пользователя и искать письмо)
- в этом же json получаем graphisoft id пользователя, потребуется позже
- подтверждаем регистрацию двумя запросами, как оказалось второй запрос тоже необходим
заходим в кабинет администратора и отправляем запрос на присоединение пользователя
- аккуратно логинемся в кабинет, получаем json с данными организации, на потребуется graphisoft id организации, для создания запроса на присоединение пользователя
- формируем и отправляем запрос
заходим в кабинет пользователя и подтверждаем запрос
- аккуратно логинемся в кабинет пользователя
- формируем запрос и подтверждаем присоединение к компании

ну и сам код:

<?php

// данные регистрируемого сотрудника
$fname = 'Иван';
$sname = 'Петров';
$email = 'user@domain.ru';
$pasword = 'koo0ovo5Kamu';

// данные администратора компании
$admin_login = 'admin@domain.ru';
$admin_password = 'P@5$w0rD';

$header = '';

function get_url($url, $method, $ctype, $referer, $data) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);
if ($data!=='') {
if ($ctype == 1) {
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data));
} else if ($ctype == 2) {
curl_setopt($ch, CURLOPT_POSTFIELDS,http_build_query($data));
} else if ($ctype == 3) {
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, FALSE);
curl_setopt($ch, CURLOPT_POSTFIELDS,http_build_query($data));
}
}
curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');
$headers = array();
$headers[] = 'Connection: keep-alive';
$headers[] = 'Sec-Ch-Ua: \" Not;A Brand\";v=\"99\", \"Opera\";v=\"79\", \"Chromium\";v=\"93\"';
$headers[] = 'Dnt: 1';
$headers[] = 'Sec-Ch-Ua-Mobile: ?0';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 OPR/79.0.4143.22';
if ($ctype == 1) {
$headers[] = 'Content-Type: application/json; charset=UTF-8';
} else {
$headers[] = 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8';
}
$headers[] = 'Accept: application/json, text/javascript, */*; q=0.01';
$headers[] = 'X-Requested-With: XMLHttpRequest';
$headers[] = 'Sec-Ch-Ua-Platform: \"Windows\"';
$headers[] = 'Sec-Fetch-Site: same-origin';
$headers[] = 'Sec-Fetch-Mode: cors';
$headers[] = 'Sec-Fetch-Dest: empty';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'Origin: '.$referer;
$headers[] = 'Referer: '.$referer;
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');
$response = curl_exec($ch);
global $header;
$header_size = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$header = substr($response, 0, $header_size);
return $response;
if (curl_errno($ch)) {
echo 'Error:' . curl_error($ch);
}
curl_close($ch);
}

// удаляем старые куки
if (file_exists(dirname(__FILE__).'/cookie.txt')) {
   unlink(dirname(__FILE__).'/cookie.txt');
}
// заходим на главную
get_url('https://graphisoft.com/ru','GET',1,'','');
// переходим на форму пользователя
get_url('https://graphisoftid.graphisoft.com/Account/ServiceLogin?Application=GRAPHISOFT&ReturnUrl=https://graphisoft.com/ru','GET',1,'https://graphisoftid.graphisoft.com/','');
// переходим на форму регистрации
get_url('https://graphisoftid.graphisoft.com/#/register/3/https%3a%2f%2fgraphisoft.com%2fru','GET',1,'https://graphisoftid.graphisoft.com/','');

//проверяем e-mail
$check_mail = get_url('https://graphisoftid.graphisoft.com/api/user/CheckEmail/','PUT',2,'https://graphisoftid.graphisoft.com/',array("EmailAddress" => $email));
if ($check_mail == 'true') {
$data = array('applicationName' => null,
  'customDataObject' => null,
  'redirectUrl' => null,
  'emailHintLocalizationKey' => null,
  'firstName' => $fname,
  'lastName' => $sname,
  'isValidated' => true,
  'email' => $email,
  'password' => $pasword,
  'confirmPassword' => $pasword,
  'isPrivacyPolicyAccepted' => true,
  'companyName' => 'ООО "Рога и Копыта"',
  'countryId' => 186,
  'federated' => false,
  'callbackUrl' => 'https://graphisoft.com/ru',
  'isDirty' => true,
  'errors' => array());

//echo json_encode($data)."\n";

$ecoded_json = get_url('https://graphisoftid.graphisoft.com/api/user/CreateUser','POST',1,'https://graphisoftid.graphisoft.com/',$data);

$jsonObj = json_decode($ecoded_json);

if ($jsonObj === null && json_last_error() !== JSON_ERROR_NONE) {
   echo "у меня не получилось отправить регистрационную форму с данными...  извините\n";
} else {
// удаляем старые куки
unlink(dirname(__FILE__).'/cookie.txt');
get_url($jsonObj->{'VerificationURL'}.$jsonObj->{'VerificationCode'},'GET',1,'','');
$gsid_url = get_url('https://graphisoftid.graphisoft.com/api/user/VerifyUser','PUT',2,'https://graphisoftid.graphisoft.com/',array("code" => $jsonObj->{'VerificationCode'}));
$parts = parse_url($gsid_url);
parse_str($parts['query'], $query);
$user_gsid = $query['gsid'];
if ($user_gsid !== '') {
echo "пользователь ".$email." успешно зарегистрирован (Graphisoft sid: ".$user_gsid.")\n";
// удаляем старые куки
unlink(dirname(__FILE__).'/cookie.txt');
// заходим на главную
get_url('https://graphisoft.com/ru','GET',1,'','');
get_url('https://graphisoftid.graphisoft.com/','GET',1,'','');
// авторизуемся под пользователем
$data = array('email' => $admin_login,
  'errors' => array(),
  'isDirty' => true,
  'isNullo' => false,
  'password' => $admin_password);
$json_response = get_url('https://graphisoftid.graphisoft.com/api/Authenticate/Login','POST',1,'https://graphisoftid.graphisoft.com/',$data);
$obj = json_decode($json_response);
$companyGsId = $obj->{'Company'}->{'GsId'};
// Загружаем список подключенных пользователей
foreach ($obj->{'Company'}->{'CompanyUsers'} as $user) {
$users_list[] = array("FirstName" => $user->{'FirstName'},"LastName" => $user->{'LastName'},"EmailAddress" => $user->{'EmailAddress'},"GsId" => $user->{'GsId'});
}


$data = array('companyGsId' => $companyGsId,
  'email' => $email,
  'errors' => array(),
  'isDirty' => true,
  'requestedGraphisoftUserId' => $user_gsid);
get_url('https://graphisoftid.graphisoft.com/api/user/SendInvitation','PUT',2,'https://graphisoftid.graphisoft.com/',$data);
echo "выслано приглашение присоединиться к компании\n";
// удаляем старые куки
unlink(dirname(__FILE__).'/cookie.txt');
// переходим на форму пользователя
get_url('https://graphisoftid.graphisoft.com/','GET',1,'','');
// авторизуемся под пользователем
$data = array('email' => $email,
  'errors' => array(),
  'isDirty' => true,
  'isNullo' => false,
  'password' => $pasword);
$json_response = get_url('https://graphisoftid.graphisoft.com/api/Authenticate/Login','POST',1,'https://graphisoftid.graphisoft.com/',$data);
$obj = json_decode($json_response);
$user_gsid = $obj->{'GraphisoftUser'}->{'GsId'};
if ($user_gsid == '') {
echo "не смог зайти под пользователем в личный кабинет\n";
} else {
$data = array('actionId' => 2,
  'companyGsId' => $companyGsId,
  'graphisoftUserGsId' => $user_gsid,
  'reactionId' => 1);
get_url('https://graphisoftid.graphisoft.com/api/user/ProcessingPendingRequest','PUT',1,'https://graphisoftid.graphisoft.com/',$data);
echo "сотрудник подтвердил приглашение\n";
}
} else {
echo "у меня не получилось подтвердить регистрацию...  извините\n";
}
}
} else {
echo "$email уже зарегистрирован в системе\n";
}
// удаляем старые куки
unlink(dirname(__FILE__).'/cookie.txt');
?>

спасибо тем, кто дочитал до конца

2 часть, «анализ, получение исходных данных»

Fri, 24 Sep 2021 12:30:50 +0300

1 часть, «как нельзя относиться к корпоративным клиентам»

Всегда начинайте со сбора информации, это важно! Исходные данные определят направление и общую схему работы вашего решения.

Любая задача решается по принципу «от общего к частному».

давайте рассмотрим алгоритм действия администратора:

регистрация пользователя на сайте graphisoft.com
подтверждение регистрации в посте пользователя
авторизация на сайте graphisoft.com под административной учетной записью
отправка приглашения пользователю
авторизация на сайте graphisoft.com под пользовательской учетной записью
подтверждение приглашения

Вроде, не сложно... да и в процессе тестовой регистрации я не заметил использования captcha. Это очень важно, иначе полная автоматизация была бы невозможна.

Какие данные нам нужны, чтобы проделать весь вышеописанный алгоритм?
данные пользователя:

имя
фамилия
e-mail
пароль (пароль будем генерировать с учетом требований безопасности graphisoft)

данные администратора:

e-mail
пароль

Осталось выбрать инструмент для реализации задуманного, я решил остановиться на php, т. к. у нас уже есть некий фундамент автоматизации рутинных процессов, который имеет web интерфейс и уже написан на php. В качестве хранилища информации выступит база MariaDB 10.

Использовать будем curl, это «наше всё» для работы с web серверами.

Начнем аккуратно, тут спешка не нужна, будем максимально повторять действия пользователя:
для начала откроем главную страницу и сохраним все cookies. Они будут, при первом открытии сайта вам сразу предложат принять cookie.

файл для хранения cookie так и назовём «cookie.txt»

очень удобно в браузере копировать все необходимые ключи для curl сразу в буфер обмена

curl 'https://graphisoftid.graphisoft.com/' \
  -H 'Connection: keep-alive' \
  -H 'sec-ch-ua: " Not;A Brand";v="99", "Opera";v="79", "Chromium";v="93"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-platform: "Windows"' \
  -H 'DNT: 1' \
  -H 'Upgrade-Insecure-Requests: 1' \
  -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 OPR/79.0.4143.50' \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
  -H 'Sec-Fetch-Site: none' \
  -H 'Sec-Fetch-Mode: navigate' \
  -H 'Sec-Fetch-User: ?1' \
  -H 'Sec-Fetch-Dest: document' \
  -H 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7' \
  --compressed

для ленивых предлагаю воспользоваться online сервисом https://incarnate.github.io/curl-to-php/

Сконвертируем ключи командной строки curl в код php и получим следующее:

// Generated by curl-to-PHP: http://incarnate.github.io/curl-to-php/
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'https://graphisoftid.graphisoft.com/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');

curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');

$headers = array();
$headers[] = 'Connection: keep-alive';
$headers[] = 'Sec-Ch-Ua: \" Not;A Brand\";v=\"99\", \"Opera\";v=\"79\", \"Chromium\";v=\"93\"';
$headers[] = 'Sec-Ch-Ua-Mobile: ?0';
$headers[] = 'Sec-Ch-Ua-Platform: \"Windows\"';
$headers[] = 'Dnt: 1';
$headers[] = 'Upgrade-Insecure-Requests: 1';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 OPR/79.0.4143.50';
$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] = 'Sec-Fetch-Site: none';
$headers[] = 'Sec-Fetch-Mode: navigate';
$headers[] = 'Sec-Fetch-User: ?1';
$headers[] = 'Sec-Fetch-Dest: document';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

осталось рассмотреть механизм php работы с почтовым ящиком, нам нужен по сути только механизм IMAP, не буду вас сильно грузить, оставлю готовый скрипт, который открывает почтовый ящик пользователя в режиме readonly и находит последнее письмо (если их несколько) от «register-noreply@graphisoft.com», расшифровывает тело письма и вытаскивает код подтверждения. Результатом работы скрипта будет ссылка на подтверждение регистрации или ничего, если письма не было.

<?php

$auth_mail = 'username@mail.com';
$auth_pass = 'P@$$woRd';

function get_string_between($string, $start, $end){
    $string = ' ' . $string;
    $ini = strpos($string, $start);
    if ($ini == 0) return '';
    $ini += strlen($start);
    $len = strpos($string, $end, $ini) - $ini;
    return substr($string, $ini, $len);
}

$imap   = imap_open('{imap.mail.com:993/imap/ssl}INBOX', $auth_mail, $auth_pass, OP_READONLY);
if ($imap) {
$some = imap_search($imap, 'FROM "register-noreply@graphisoft.com"', SE_UID);
if (count($some)>0) {
$mail_body = base64_decode(imap_body($imap, $some[0]));
$key = get_string_between($mail_body,'<span style="font-weight:bold;">','</span>');
echo 'https://graphisoftid.graphisoft.com/#/verification/'.$key."\n";
}
}
?>

Вроде, все попробовали, ко всему готовы... В процессе реализации обязательно что-то всплывёт... но, в целом мы готовы!

3 часть, «кропотливая работа и долгожданный успех»