Автоматизированные государственные системы под микроскопом судебного компьютерного эксперта: проблемы и решения

Подводка ведущего

Так, наш следующий спикер — самый настоящий судебный эксперт. И что только у нас не оказывается под микроскопом судебного эксперта. Встречайте, Олег Безик, который рассмотрит совершенно новую тему. Поддержим аплодисментами. Олег, постоянный наш гость, спикер.

— Резидент, можно сказать.

— Так, это вперед, а нет, это назад. А вот, супер.

Доклад и вопросы

Категорически всех приветствую, дамы и господа. Я так понимаю, вы те самые выжившие, да, кто продержался до конца второго дня. Спасибо большое. Надеюсь, я вам расскажу что-нибудь сегодня интересное, полезное.

Меня уже представили, да, я действительно судебный эксперт, занимаюсь судебными компьютерно-техническими экспертизами, делаю это в своей компании, я основатель, генеральный директор компании Лаборатории цифровых исследований. Мы с 2016 года проводим экспертизы судебные компьютерно-технические, и вот с этого года, получается, с 2025 года мы стали IT-компанией, разрабатываем еще программное обеспечение для сравнения исходных кодов при проведении судебных экспертиз.

Обо мне пару слов. Я с 2014 года занимаюсь судебными экспертизами, работал в компаниях большой четверки, есть несколько международных сертификатов. Сейчас развиваю свою компанию. Компания существует с 2016 года. За последние 3-4 года у нас накопился достаточно большой опыт, в том числе и по проведению экспертиз судебных компьютерно-технических автоматизированных систем. Сегодня хотел вам рассказать, немножко поделиться опытом.

Давайте сначала начнем с того, что такое автоматизированные системы. Я надеюсь, все же тут пользуются Госуслугами. Это один из примеров автоматизированных систем, которые разрабатываются и используются большим количеством людей. Есть еще такая категория, как государственные автоматизированные системы. По сути дела это что такое? Это программно-аппаратный комплекс, который автоматизирует какую-то деятельность. Государственные автоматизированные системы автоматизируют деятельность какого-то конкретного государственного органа или какую-то функцию. Например, ГАС «Правосудие» автоматизирует какую-то функцию судопроизводства.

ГАС «Правовая статистика» автоматизирует работу прокуроров и так далее.

Почему я вообще про это рассказываю? Потому что как происходит разработка государственной автоматизированной системы? Как правило, это контракт, если это для государства делается, либо это договор между заказчиком и исполнителем. Исполнителем может являться какое-то юрлицо, как правило, у которого есть штат айтишников, разработчиков, ИБшников, кто может написать программу, которая будет удовлетворять техническим требованиям заказчика.

И очень часто такие взаимоотношения плохо заканчиваются. Разрабатывают программу, а она не выполняет требования ТЗ.

Стоимость таких контрактов очень высокая. Условно, разработать систему стоит 150 миллионов, 500 миллионов, может быть, даже несколько миллиардов рублей. Да, и когда заказчик получает систему, которая не работает, и при этом он платит несколько миллиардов рублей, ну, как бы так себе, да, на самом деле, не очень прикольно. И, как правило, всегда такие ситуации, ну, чаще всего заканчиваются судебными спорами, в основном в рамках арбитражного правосудия это все происходит, там, юрлицы между собой судятся, ну, иногда еще и до уголовки доходят. И по таким кейсам в 99% случаев, даже 99,99, назначается судебная компьютерно-техническая экспертиза. Потому что судьи не понимают ничего про то, как происходит разработка автоматизированных систем сложных.

И для того, чтобы им разобраться, действительно ли программа не соответствует требованиям ТЗ, они проводят судебную экспертизу. Судебная экспертиза, я надеюсь, что все присутствующие знают, что такое, но на всякий случай напомню. По факту судебная экспертиза – это способ привнесения в судопроизводство специальных знаний, в нашем случае специальных IT-познаний, так как это компьютерно-техническая экспертиза.

В довеску еще по таким категориям дел, когда необходимо проверить соответствие требованиям ТЗ автоматизированной системы, привлекают еще оценщиков. Для чего? Для того, чтобы оценщик посчитал, сколько стоят работы, которые выполнены правильно, или сколько стоит допилить систему, довести ее до тех кондиций, которые заявлены в ТЗ. И тогда это превращается уже в комплексную экспертизу, то есть когда экспертизу делают эксперты в разных специальностях, обладающие разными специальными познаниями. Но про оценочную экспертизу мы разговаривать не будем, это немножко, наверное, на другой конференции, на какой-нибудь.

Пока что про компьютеры поговорим. Тут несколько примеров таких дел, достаточно таких серьезных дел. Мы по ним делали, это наш опыт. Мы по ним делали экспертизы.

Целью таких экспертиз чаще всего является что? Во-первых, убедиться, что программа действительно соответствует требованиям ТЗ или не соответствует. Во-вторых, понять, если не соответствует, то что не работает конкретно и почему не работает. Потому что причины могут быть всегда разные. Это не обязательно разработчик виноват, он такой некомпетентный. Особенно что касается государственных систем, там больших сложных систем, где взаимосвязь разработчика и заказчика должна быть практически семейная, потому что заказчик диктует условия, а исполнитель должен на эти условия реагировать очень быстро. И иногда просто бывают проблемы с коммуникацией, и из-за этого потом все это выливается в судебные иски. Такое тоже бывает.

Какая еще цель? Опять же, цель проведения – это именно с точки зрения суда. Мы мыслим, как судья, что судье нужно, чтобы, например, вынести решение по какому-то иску.

Значит, наличие критических недостатков, про них еще поговорим, что это такое. Ну и вот про стоимость, я говорил уже, что оценить стоимость, сколько выполнено корректно, сколько нужно доработать.

Вот так выглядят примерно вопросы типичные, которые задаются по таким типам экспертиз. Они плюс-минус всегда одинаковые на самом деле, но в зависимости от контекста. Иногда, конечно, могут быть и другие вопросы, но в основном они выглядят вот так. То есть, соответствуют ли результаты требованиям контракта, договора, технического задания и частного технического задания. То есть, у контракта есть приложение, как правило, это техническое задание. И в этом техническом задании подробно описано, что программка должна делать. То есть, автоматизированная система должна делать, какие функции выполнять, какой результат она должна показывать, как она должна этот результат показывать и так далее.

Очень подробно все описано. Но иногда бывает не очень подробно, на самом деле. Это тоже одна из проблем. Мы как эксперты, у нас спрашивают, а соответствует ли программа ТЗ. Мы открываем ТЗ, а там 10 страничек. Ну, как говорят, без хорошего ТЗ результат ХЗ. Ну вот здесь примерно о том и речь. Но чаще всего, когда речь идет о разработке больших автоматизированных систем, там, конечно, техническое задание очень сложное, продуманное, там много пунктов, заказчик очень скрупулезно подходит к разработке ТЗ и к его согласованию. И, как правило, грубо говоря, здесь заказчик сам себя защищает. То есть мы лучше попросим больше, подробнее, чем мы что-то недопопросим.

Но бывают иногда и объективно другие ситуации, когда заказчик ТЗ согласовывает, а потом предъявляет требования, которых нет в ТЗ. Такое тоже бывает. И при этом разработчики часто эти требования выполняют. Ну, в угоду как бы заказчику, деньги большие, никто ругаться не хочет. Выполняют, но все равно это не помогает, все равно потом все идут в суд и проводят экспертизы. Вот. Значит, дальше вторая категория вопросов – это про стоимость. Стоимость фактически выполненных работ. Оценку стоимости, там есть определенные методики, есть методика ДИТ Москвы по оценке стоимости программного обеспечения, есть методика COCOMO, так называемая, тоже они примерно похожи, и они позволяют действительно получать плюс-минус одинаковые результаты, но это больше как бы оценочная история.

Я не оценщик, поэтому погружаться не буду, врать вам не буду. Вот, значит, дальше категория вопросов про критические недостатки. Вот здесь тоже очень важный момент, потому что недостатки недостаткам рознь. Мы такое встречаем часто, что есть некий набор недостатков, и заказчик системы говорит, слушайте, вот нам исполнитель недоделал вот это, вот это, вот это, вот это. Мы начинаем смотреть, а оказывается, что вот это, вот это, вот это, это там на неделю работы, и, в принципе, исполнитель готов это сделать вообще без проблем. А иногда бывает так, что исполнитель говорит, да нет, у нас все работает, все нормально, все хорошо.

Да, ты вроде так просматриваешь, просматриваешь, все функции выполнены, но одна функция, единственная, ради которой создается это программное обеспечение, она просто не работает. Все. То есть у тебя все красиво, кнопочки мигают, как Никита рассказывал, все зелененькое, красненькое, фильтры настраиваются, кастомизируются и так далее. Но вот отчет, который там важный самый, который там, например, используется для, не знаю, каких-то важных целей, он не генерируется. Почему? Непонятно. Ну и, соответственно, такой получается косяк, недостаток, он препятствует использованию системы по назначению. И превращает ее, собственно, в бесполезную какую-то красивую игрушку, которая стоит очень много денег, но в результате ни к чему хорошему не приводит.

И тут еще все усугубляется тем, что людям-то работать надо. Система не работает, но людям-то работать надо. Отчеты генерить, результат какой-то своей деятельности выдавать. И приходится людям, в общем-то, делать то, ради чего создается программа, ради чего она создается, чтобы автоматизировать эту деятельность. Люди, собственно, делают это руками. И еще на этом тоже погибают, умирают от перегруза. Поэтому критические недостатки – это важная история, которая в рамках таких экспертиз она всегда проверяется. Ну, почти всегда. И еще вопросы, связанные с устранимостью и неустранимостью. То есть тоже чаще всего суд это интересует, потому что одно дело – можно ли устранить недостаток, другое дело – кажется, что его можно устранить, но для того, чтобы его устранить, нужно еще один такой же контракт сделать, там еще на миллиард рублей.

И тогда получается, что смысла этого контракта просто уже нет. Поэтому это что касается устранимости и неустранимости. То есть неустранимый – это тот дефект, в отличие от критического, неустранимый дефект – это тот дефект, устранение которого просто невозможно, либо экономически нецелесообразно.

Будьте здоровы. Дальше. И последний вопрос. На какую сумму от цены контракта выполнена работа ненадлежащего качества? Ну, это тоже, собственно, такой больше оценочный вопрос. Вот.

Теперь хотел поделиться болями, которые мы испытываем в рамках проведения таких экспертиз. Основная боль номер один – это то, что методик проведения экспертных исследований автоматизированных систем, ну, там, согласованных каких-то и общедоступных, их просто нет, к сожалению. Вот, ну, мы там, мы уже просто много таких экспертиз делали, там, для себя, там, методику разработали определенных шагов, что мы делаем, что мы там условно создаем базу данных тех объектов, которые нам поступают, проверяем наличие всех результатов, проверяем соответствие этих результатов требованиям ТЗ, ну, и так далее. То есть, ну, это такая, скажем, просто алгоритм действий, да, пока что мы ее методику, как бы, не упаковали, но, может быть, когда-то это сделаем.

Еще все осложняется тем, что от системы к системе всегда что-то под заказ. Это как, знаете, можно построить много одноэтажных домов, но если кто-то захочет построить себе какой-нибудь уникальный дворец, то это вот про историю с автоматизированными системами. То есть шаблонных автоматизированных систем, которые продаются пачками, их нет, и заказчик под свои требования всегда нанимает разработчика, чтобы он создал что-то уникальное. Вот с этим еще есть проблемы, кстати, оценки стоимости всех этих работ, потому что, условно, один разработчик может это сделать за 100 тысяч, другой за миллион, а третий за миллиард.

И вот как это оценить иногда бывает сложно. Проблема номер два – огромный объем объектов исследования. Результатами по таким экспертизам является что? Документация, техническая документация, то есть это ТЗ, ЧТЗ, частные технические задания, руководства пользователя, всякие пояснительные записки, ну и, короче, там целый миллион документов. Кстати, на фото это объект исследования по одной из наших экспертиз. Видите, одна коробка даже не поместилась. Это просто текстовые бумажные документы. Компьютерная экспертиза. Казалось бы, вроде бы компьютерная экспертиза, но в итоге получается, как будто бы не компьютерная.

Это одна категория объектов. Потом еще что есть? Исходный код программы. То есть в автоматизированной системе это же программы. Программы пишутся разработчиками на каком-то языке программирования. Исходные коды поставляются, как правило, на носителях, либо на флешках, либо на оптических дисках. Ну, просто болванки такие на них записывают исходные коды. Потом они приезжают к нам на экспертизу, и мы их исследуем. И объем этих исходных кодов нереально огромный. То есть это миллионы строк кода.

Потом что еще может быть здесь интересного? Сама система, автоматизированная система, как правило, особенно в государственных органах, они рассчитаны на огромное количество людей, на 5 тысяч человек, на 10 тысяч человек. Что-то, по-моему, поменялось освещение, или мне показалось? Ну ладно. И, соответственно, функционал у этих систем сложный. Представьте, у нас сейчас экспертиза, мы проводили, вот сейчас, ну, уже закончили, сейчас пишем заключение. Там тысячу требований, 1041 требование нужно было проверить. То есть это просто огромный объем работы, и, соответственно, в частности, при проверке именно функционала, как это происходит, мы садимся за компьютер и, собственно, открываем эту автоматизированную систему и начинаем смотреть, что работает, что не работает.

Как тестировщики получаются некие, функционал тестировщиков. Не знаю, есть тут в зале тестировщики или нет. В общем, мы похожи в этом плане. И что еще? Какие еще проблемы?

Экспертиза может проводиться очень долго. У нас есть экспертиза, которую мы делали два года, год, полтора года. То есть это нереальный объем работы, и она очень сложная, эта работа. И, честно сказать, стоит дорого. Стоит реально дорого. Потому что, как правило, такие экспертизы не проводит один человек. У нас это обычно проводит комиссия 3-4 человека. Мы как на работу ездим в офис к заказчику, у которого развернута информационная система спорная, и сидим проверяем. При этом с нами еще ездят и стороны, истец, ответчик. У нас рекорд, по-моему, 9 человек было в комнате. Кроме двух экспертов, еще семь человек, представители и ответчиков с нами сидели, спорили, ругались, посылали друг друга к чертовой матери, а мы на это все сидели и смотрели.

Такое себе, конечно, представление, но в целом любопытно. Вы знаете, наверное, что при проведении экспертизы стороны могут присутствовать. Если не знаете, вот вам лайфхак, если вдруг кто-то когда-нибудь будет делать экспертизы, вы можете присутствовать при проведении экспертизы.

Вот. То есть вот такие вот у нас проблемы возникают при проведении экспертиз автоматизированных систем. И вот хотел тут пару советов дать тем, кто все-таки соберется в экспертизы, когда, может быть, когда-нибудь кому-нибудь пригодится, не знаю, насколько тут аудитория подходит под эти советы, но если что, передадите коллегам, юристам или IT-компаниям, кто занимается разработкой автоматизированных систем, может быть, им когда-нибудь будет полезно. Но в целом самое основное, конечно, перед тем, как в экспертизу в такую входить, нужно вообще в целом понимать, какие объекты сейчас есть на руках. То есть если вы, например, представитель заказчика, то вам исполнитель должен был передать результаты работы. Документация обычно предоставляется на бумаге и на носителях, на дисках.

Исходные коды программы и сама развернутая программа. Вот там три основных объекта. Нужно понять, есть ли они у вас, нет они у вас, в каком они виде, если… Ой, что-то у меня… А, все, работает. Моргнуло что-то. Тоже, наверное, устало.

Ну и, естественно, объектом экспертиз по таким экспертизам являются и договора. Договора, контракты, там тоже очень много любопытных условий всяких, которые мы, как эксперты, тоже обязаны проверять.

Второй момент, было бы неплохо все-таки подготовить вопрос эксперту, да, вот там перечень я дал примерно ориентировочный, да, на который можно опираться, но дьявол всегда в деталях, и все зависит от контекста, от системы, от того функционала, который там не работает, то есть можно задать вопрос по отдельным модулям, можно задать вопросы по всей системе, ну, короче говоря, там разных вариантов много, но базовая концепция по вопросам я уже ее дал. Ну и третье, это, конечно, нужно выбрать экспертов. Эксперты должны быть все-таки… Тут системы сложные, автоматизированные, как правило, экспертиза долгая и сложная, поэтому нужны люди, которые профессионалами являются. Я вообще топлю за то, что экспертизы могут делать только профессиональные эксперты.

Надеюсь, никто не обидится на меня, если тут есть эксперты, которые не являются судебными экспертами по образованию. Вот, ну и опыт, конечно, опыт, потому что опыт проведения таких исследований экспертных, он очень важен, потому что ты, когда у тебя появляется, ну, уже как бы насмотренность некая, да, ты можешь решать какие-то проблемы более четко и оперативно. Вот. Ой, куда это я дел кликер? Вот он. Все, коллеги, у меня все. Единственное, что вот еще хотел. Вот такой чек-лист мы сделали, такой чек-лист-памятка по подготовке к заключению, к экспертизе автоматизированных систем. Вот можете перейти, забрать себе там PDF-ка.

Может, тоже кому-то будет полезно. Вот. У меня на этом все. Спасибо большое. Спасибо, Олег. О, сколько рук.

Вы знаете, вот такие вопросы, которые касаются исследования всяких систем, возникают уже больше 20 лет. В свое время, работая в ЭКЦ МВД России, я старалась от этого уходить. В чем дело? Приходилось исследовать и SAP-систему, и банки-систему, но мы никогда в жизни не брали вопрос о тестировании. Вот давайте посмотрим. Есть экономическая экспертиза, бухгалтерская экспертиза. Они насмерть стояли, чтобы ревизиями они не занимались. То есть полностью проверка этого склада, сверка чего-то еще, это не задача эксперта. Задача эксперта – проверить и подтвердить, тут не сходится, там не сходится, почему не сходится, где зафиксировано. Вот здесь вы рассказываете, как будто систему создали, и ее вообще никто, программы методики испытаний не было, приемки работ не было, вообще вы начинаете все заново. Это что такое? Вы, по идее, должны проверить конкретные вопросы, которые выявлены, вот расхождение вот в этом.

Год назад мы устраивали, ну на Интерполитехе у нас свое собственное мероприятие бывает, в том числе там господин Музалевский выступал. Мы шесть докладов прослушали на тему исследования автоматизированных систем. Первый вопрос, который всегда вылезает, вот сегодня Денис Александрович ушел, уже у него там свои проблемы были, он рассказывал по поводу того, как должно быть подготовлено техническое задание, на что нужно обращать внимание. И, как правило, проблемные вопросы возникают, потому что заказчик не умеет ставить какие-то задачи. Согласен. А потом, вы знаете, меня просто поражает. Я могу исследовать. Вы Microsoft Windows можете исследовать на соответствие ТЗ?

Это слишком сложная система. Вот до какой сложности системы вы идете? Потому что, допустим, летчиков учат управлять эмуляторами самолетов. Вы сможете оценить качество этой системы, не будучи летчиком, и вы вряд ли найдете того человека, который вам поможет в этом с точки зрения профессии. Вот мы не специалисты в области, допустим, банковской деятельности, поэтому оценивать, насколько качественно написана вот та программа, вы в принципе не можете, и будет ли она так работать. Вот, я говорю, вот на самом деле одну правильную вещь очень хорошую сказали, что при производстве такой экспертизы должны присутствовать специалисты с той стороны и с другой. Они между собой согласуют, достаточно нам вот тех действий, которые мы провели, чтобы проверить, работает эта программа или нет. Вот по SAP было именно так, потому что, ну, как бы, специалиста, вообще знающего весь SAP, не существует, а там консалтинг там настраивал, и на самом деле вот это вот критическая задача – работает handheld терминал?

У меня была вот такая задача 2, что вот мы три года работаем, вы там на вот не доделали, и она не работает. Он ведь: подожди, вот давай вот откроем, в этой табличке галочку здесь поставим, а вот тут там, ну-ка, проверь – работает. И вот так и было. И вот я не понимаю, когда вы вы отвечаете на качественные вопросы. На количественные, да, но в рамках компьютерной экспертизы отвечать за качество вот этих вот действий, ну, как бы достаточно сложно. А потом, смотрите, заказывали изготовить велосипед, а сделали самокат. Делали, деньги потратили, но это самокат.

— И вот оценочная экспертиза, блин, что оценивать-то будет? Понятно, можно стоимость работы оценить, но она никому не нужна. И вообще стоимость рыночной системы госуслуг, она кроме вот этому государству не нужна. Только государство может сказать, как бы я, ну заплачу эти деньги, не заплачу. Там вообще очень сложно с рыночной стоимостью. Не как бы по этому, по затратному подходу пойти. Тут вот очень много спорных вопросов. Мы в принципе с Волокитиным договорились, что посотрудничаем на эту тему и может быть что-то родим. Но ради бога не надо брать на себя все тестирование. Это вот путь в никуда.

Спасибо большое за такой комментарий. Я хотел ответить. Сейчас, можно? Одну секунду. Смотрите, мы, во-первых, хотел сказать, что мы, во-первых, проводим экспертизы по вопросам, которые нам ставит суд. Мы же их не определяем. Поэтому те вопросы, которые я обозначил, это те вопросы, которые нам ставит суд. И суду важно понять, соответствует ли ПО требованиям ТЗ. Что в ТЗ написано? В ТЗ написано, что должны быть такие-то результаты. Результаты должны соответствовать ЧТЗ. Что в ЧТЗ написано? Заходим в ЧТЗ, написано, программа должна делать вот это. Здесь речь не идет о SAP, здесь речь не идет о Word, здесь речь идет о программах, которые разрабатываются с нуля, под заказ клиента. То есть это какие-то информационные системы.

Например, мы проводили экспертизу по государственной автоматизированной системе правовой статистики. Это огромная система, которую разрабатывали несколько лет большой командой, с нуля. Это не что-то коробочное, и к этой системе есть определенные требования. И мы эти требования можем проверить, как эксперты, потому что эти требования зафиксированы в ЧТЗ.

И есть программа методика испытаний, которую мы можем использовать как основу.

— А как сделать за две недели? Вопрос стоит какой? Вопрос стоит, соответствуют ли требованиям контракта.

— Вопрос нужно менять, надо работать со сторонами.

— Так мы же не судьи, мы же не можем прийти в суду и сказать, уважаемый суд, поменяйте вопрос.

— Можете, почему нет? Можете, и всегда можно было это сделать.

— Не знаю, я такого не встречал. Никогда.

— Странно вообще, очень странно. Все это можно сделать.

— Я просто не понимаю, на каком основании мы будем менять вопрос. Мы придем в суд и скажем, суд, ты неправильно думаешь?

— Да, вы будете с ходатайством сказать, что это не совсем правильный подход. Ну хотите там 5 миллионов заплатить за экспертизу, ради бога, но вы можете заплатить 200 тысяч, ну или 500 тысяч.

А зачем мне это? А, вот именно, вот это вот другой вопрос. Я не понимаю, зачем мне это? Тогда подход понятен, ни в чем себе не отказывай за заплаченные деньги. Конечно, суд хочет узнать все, мы все расскажем.

— Олег, я хотел сказать, что моя фамилия Баранников, Сергей Николаевич, я тоже судебный эксперт, и как раз участвовал в приемке. То есть вот такие экспертизы, они возникают тогда, когда в рамках 44-ФЗ заключается государственный контракт или муниципальный контракт. И там затем заказчик, для того, чтобы снять с себя ответственность, сидеть в тюрьме за то, что он там принял непонятно что, он привлекает в том числе и компьютерных экспертов, для того, чтобы пошагово весь комплект информационной документации, программный код, который с хэшами проверить, соответствует ли оно или нет. Это очень действительно кропотливая работа, я подойду, потом покажу, у меня тоже такие горы были. То есть это государственная информационная система Росреестра.

— И вот я действительно несколько месяцев сидел, работал, и потом мы докладывали о том, соответствует, соответствует. То есть такие экспертизы проводятся, но не проводятся вот в рамках проверки по 44-ФЗ, до того как она передается в суд. Это вот надо заказчикам говорить о том, чтобы они страховались, потому что действительно принимают непонятно что. Работа крайне интересная, в том числе в ней проводятся нагрузочные тестирования, другие, так, для проверки тех данных, которые были бы, мне пришлось тоже участвовать.

— Я вас понимаю, это действительно Эта работа очень высокооплачиваемая, очень сложная и затратная.

— Поздравляю вас с тем, что вы таких участвовали в работах. Это действительно интересная работа. Большое спасибо. Коллеги, еще вопросы? Ага, вижу руку, иду.

— Андрей, пожалуйста, не вали меня больше.

— Олег, спасибо большое за доклад. Вот я смотрел вопросы, которые выносятся на разрешение экспертизы. Часть из них касаются стоимостных вопросов, то есть оценочных. То есть я правильно понимаю, что формат экспертизы, как правило, комплексный, то есть вы привлекаете экономистов, которые решают вопросы оценки, то есть суммы, стоимости и так далее. Или, в принципе, это все вы решаете своими силами в рамках IT, специальных знаний. Спасибо. Спасибо, Андрей. Ну, как я сказал, такие экспертизы в основном являются комплексными. То есть если стоит вопрос по оценке, то нужен оценщик. То есть не экономист именно, а оценщик.

У кого есть оценочное образование и кто может применять методики оценки. Надеюсь, я ответил на вопрос.

— Другой вопрос. Вы там говорили оценить разработку программного обеспечения. Ну, я не знаю, я узнаю, люди по 20 лет программное обеспечение делают. они примерно могут оценить, сколько потребуется там ребят, да, разработки, сколько проектировщиков времени, даже те же консалтеры. Я, честно говоря, не знаю, по каким формулам считать, потому что разработка типа суперкачественного программного решения, которое закроет все ТЗ и по которому ни одна экспертиза как бы не скажет, что там проблемы, да, если там заказчик решит по каким-то причинам посадить исполнителя в тюрьму, то, как бы, я не знаю, как это посчитать. Ну то есть там нету формула, там хорошее программное обеспечение — это огромный вклад, особенно если безопасность, тестирование, внедрение там, ну, там это многие годы, годами делаются. Ну, как я есть, я просто не очень понимаю, как вот там вы говорите, посчитали, да. Все остальное я могу понять, как обсчитать.

И второй вопрос: убойные два года мы Мы доказываем, что он украл деньги, его надо посадить. А в это время делается что-то, чтобы система была поставлена на военный учет, чтобы можно было ей пользоваться? Задача-то она решать или как происходит? Это тоже отличный вопрос. Вы зрите в корень. Смотрите, по оценке, сразу дисклеймер, я не оценщик, поэтому детали не могу вам сказать. Но знаю, что мы в своей работе применяем методики ДИТ Москвы и COCOMO.

Я советую почитать, если вам интересно. Я деталей просто не могу вам рассказать, чисто физически, я просто не оценщик. Но там смысл какой? Смысл в том, что эти методики подразумевают, что ты программу можешь оценить по каким-то количественным показателям. Количество строк кода, количество, как это называется, там не функционала, типа вехи или что-то такое. Вот, соответственно, вот такие методики используются Кроме этого, еще вот мы в рамках работы использовали какую методику? Но в основном классическая методика это типа стоило 100 миллионов, сделали на 87 процентов, значит, это 87 миллионов, да. Ну, такой мы часто встречаем, но мы так не делаем.

Ну, вот исходя из количества требований и сколько требований выполнено, сколько не выполнено.

— Секундочку, но тут, к сожалению, тут, к сожалению, вес определить невозможно,

— в том-то и дело, поэтому процентовку вы неправильно считаете вообще.

— Почему неправильно? — Ну, потому что игры каждый модуль, сложность у него изготовления своя, и поэтому вот, как бы, вклад этого модуля.

— Потом нам в любом случае как-то нужно объяснить суду, что сколько выполнено, сколько... — Вы объясняете неправильно, во-первых. Во-вторых, я Я неоднократно участвовала как представитель заказчика, функционального заказчика в заказе и изготовлении разных НИОКРов, в том числе и программных систем, и аппаратно-программных комплексов. И я прекрасно знаю, что стоимость, которую объявляли за эти работы, она изначально была ниже той, которую потратили бы фирмы, которые вышли сюда и начали с нуля. Любая фирма имеет определенные наработки. Имея наработки в этой сфере, ты за эту цену что-то сделаешь. Если ты никогда в этом не участвовал, однозначно конкурс будет, ну, не то что проигран. Он может и выиграет, но в конечном итоге работу не сделает, потому что за год, за полтора, за два года это невозможно. Как учитывать первоначальные наработки, то, что у него должно быть? Они же не просто так за какую-то цену уходят и что-то делают.

Меня всегда поражало, когда народ пытается оценить то, чего не понимает. Количество строк кода, качество программы. У нас вообще было в свое время. А мы вот тут считаем, что этот программист хороший, высокого качества, этот не очень хороший программист, этот плохой программист. Как ты это оцениваешь? Я себя средним программистом считаю, эксперт мне рассказывает. Я бы написал лучше, значит он низкокачественный программист. А тут смотрю, ой, как хорошо написано. Наверное, это всегда потрясало.

Я прошу прощения, еще один вопрос.

Понятно, вы себя высоко оцениваете, вы закончили МВТУ Баумана и прочее, но в процессе участвуют две стороны, и заказчик, и исполнитель. Заказчик и исполнитель сошлись на предварительном этапе, когда проводили предварительные испытания Проще, что в 90% задач все решено И у них конфликт только в оставшихся 10%

— Но это не всегда так бывает И кто же из них заплатит вам эти 5 миллионов За то, что вы с самого начала будете снова 90% подтверждать, по которым нет споров Коллеги, мы по-моему с вами на разных языках говорим Я вам рассказываю про судебную экспертизу, которая по постановлению суда назначается. К нам приходит запрос, мы говорим, это будет стоить столько-то. Нам платит суд, нам не платит сторона. Это раз. Во-вторых, ну, как бы, откуда у суда деньги, это уже не ко мне вопрос. Тут, наверное, надо делать прожарку на второй день. Я не знаю, почему каждый раз, когда начинаются юридические вопросы, чуть до драки доходит.

Как будто бы в следующий раз просто… Тема просто, видишь, какая дискутивная, интересная. Да, в принципе, мне кажется, эта юридическая история именно так и работает. У меня Валерия Михайловна, наш тоже юрист, и каждый раз, когда вопрос начинается, я просто ухожу, потому что я ничего не понимаю. Большое спасибо, Олег. Давайте проводим, Олег, аплодисменты. Спасибо, коллеги.