В условиях недостаточного финансирования Заказчик должен понимать эффективность будущей закупки как минимальную цену за простую и умеренно сложную продукцию минимально приемлемого качества (частный случай: максимальное количество продукции приемлемого качества за фиксированный лимит средств). Для простой и умеренно сложной продукции следует установить как можно более низкие требования к качеству, которые, тем не менее, позволят применять закупаемую продукцию в соответствии с потребностями Заказчика. При этом Заказчик, как правило, не должен уменьшать объем закупаемой продукции иначе как путем пересмотра нормативов потребления. Заказчик может также принципиально менять требования к продукции.
Для сложной продукции в условиях недостаточного обеспечения средствами Заказчик должен понимать эффективность будущей закупки как максимальное качество продукции за ограниченный ресурс, поэтому ориентация на снижение качества с целью минимизации цены может привести к недопустимой потере качества или к «неблагоприятному отбору» (выбору «лучшего варианта из нескольких плохих»). Неблагоприятный отбор опасен тем, что не всегда обнаруживается Заказчиком на стадии закупки (например, по одному и тому же Техническому заданию на НИР неопытный исполнитель может запросить существенно более низкую цену, нежели опытный, при этом риск неисполнения работ неопытным исполнителем существенно выше; при недостатке финансирования опытный (как правило, более дорогой участник) либо не подаст заявку (при объявленном малом лимите), либо проиграет по цене). При недостаточном финансировании Заказчик должен пересмотреть физические объемы закупаемой продукции, уменьшить, если это допустимо, их объем, а если нет — отказаться от закупки и пересмотреть мероприятия, для выполнения которых требовалась сложная продукция.
Таким образом, по окончании предзакупочных процедур Заказчик должен четко знать ответ на следующие вопросы в отношении закупаемой продукции и участников:
- что нужно закупить (требования к продукции, ее техническим параметрам или (что лучше) функциональным возможностям, требования к подтверждению соответствия продукции нуждам Заказчика (какие нужны сертификаты и т. д.);
- у кого следует закупать (требования к участникам: их правоспособность, квалификация, требования к подтверждению того и другого);
- какие из показателей продукции или участника для Заказчика обязательны, какие — желательны, какие нежелательны, а какие — неприемлемы. При этом необходимо четко отличать желательные параметры от обязательных, а нежелательные — от неприемлемых.
7. Формирование оценочных критериев
При закупках самой простой продукции для формирования перечня критериев оценки заявок участников можно воспользоваться в качестве аналогии соответствующей нормой «Положения об организации закупки товаров, работ и услуг для государственных нужд», утвержденного Указом Президента Российской Федерации от 8 апреля 1997 г. № 305 «О первоочередных мерах по предотвращению коррупции и сокращению бюджетных расходов при организации закупки продукции для государственных нужд».
«При определении наиболее предпочтительной заявки на участие в торгах (конкурсе, аукционе) Заказчик вправе учитывать только следующее:
a. цену заявки с учетом преимуществ, установленных в соответствии с настоящим Положением;
b. расходы на эксплуатацию, техническое обслуживание и ремонт продукции, сроки доставки товаров, завершения работ или предоставления услуг, функциональные характеристики продукции, порядок и сроки осуществления платежей и условия предоставления гарантий на продукцию;
c. обеспечение национальной обороны и безопасности».
7.1. При более сложных закупках для формирования перечня критериев оценки заявок участников можно воспользоваться рекомендациями Минэкономразвития России для госзаказчиков «Методических рекомендаций по балльной оценке конкурсных заявок и квалификации поставщиков, участвующих в конкурсах на размещение заказов на поставки товаров для государственных нужд» (утверждены письмом Минэкономразвития России от 01.01.2001 г. № АС-751/4-605).
7.2. Каждый критерий на каждом уровне иерархии может относиться к нескольким обобщающим критериям (критериям вышележащего уровня). При формировании иерархических систем критериев для закупок относительно сложной продукции следует стремиться строить иерархию таким образом, чтобы на каждом уровне каждый критерий входил только в один обобщающий критерий (т. е. в критерий более высокого уровня иерархии). Нарушение этого правила в большинстве случаев свидетельствует о зависимости критериев верхнего уровня, имеющих общий источник, что приводит к ошибочным результатам при простых способах объединения (например, взвешенного суммирования) оценок по этим критериям. К сожалению, данное правило удается выполнить не всегда.
7.3. При построении иерархии декомпозиция каждого обобщенного критерия должна проводиться последовательно, без пропуска уровней рассмотрения (см. рис. 1). При этом, как уже отмечалось в подразделе 7.2, по каждому направлению это можно прекратить на различных уровнях иерархии. После построения иерархии часть критериев (или уровней) может быть исключена в соответствии с требованиями решаемой задачи.
7.4. На верхнем (нулевом) уровне иерархии рекомендуется использовать критерий типа «Итоговая предпочтительность заявки участника».
7.5. На первом уровне иерархии обычно располагают обобщенные технические, экономические и «квалификационные» критерии, например:
- «качество» и «цена» (используются при закупках самой простой продукции);
- «выгоды» и «издержки»;
- «качество», «цена» и «надежность участника и заявленных субподрядчиков/ соисполнителей»;
- «обобщенная оценка предпочтительности технических предложений участников», «ценовая предпочтительность заявки (коммерческих предложений)» и «возможность должного исполнения договора»;
- «неценовая предпочтительность заявки (технических предложений и возможность должного исполнения договора)» и «экономическая предпочтительность заявки (в зависимости от проекта - чистый дисконтированный доход, иной показатель, характеризующий эффективность проекта)» (применяется при закупках сложной продукции);
- и т. п.
Дальнейшее формирование иерархии критериев оценки заявок во многом определяется спецификой и структурой требований к закупаемой продукции, изложенных в Закупочной документации.
7.6. Количество уровней иерархии критериев оценки заявок определяется сложностью продукции, количеством показателей, целью и требуемой точностью оценок. Обычно количество уровней выбирается минимально необходимым. Даже в сложных закупках на ветви неценовых технических критериев оно редко превышает 5 уровней. Однако желательно, чтобы на каждом уровне иерархии число вложенных критериев не превышало 7 (среднестатистический объем оперативной памяти человека). Для нижних уровней иерархии (в особенности для частных критериев оценки) это не более чем рекомендация, которую выполнить удается не всегда. Но чем выше уровень иерархии критериев, тем к большим ошибкам приводит невыполнение данной рекомендации.
7.7. При формировании критериев, характеризующих «целевое назначение» закупаемой продукции, не следует ориентироваться только на указание требуемых значений технических показателей. Важно помнить, что технические показатели есть только средство выражения главного в закупаемой продукции — потребительских свойств.
7.8. В качестве типовой системы критериев оценки заявок для умеренно сложной и сложной продукции можно использовать следующую систему оценочных критериев:
1. Квалификация Участника закупки
1.1. Общий опыт работы (ежегодный оборот)
1.2. Специальный опыт изготовления и поставки оборудования для аналогичных объектов за 10 лет
1.3. Финансовая устойчивость (по бухгалтерским отчетам за последние 3 года)
1.4. Обеспеченность ресурсами:
1.4.1. Материальные ресурсы, производственное оборудование
1.4.2. Финансовые ресурсы:
- Собственные ликвидные активы
- Заемные активы, открытые кредитные линии
1.4.3. Трудовые ресурсы:
- Численный и квалификационный состав собственного персонала
- Численный и квалификационный состав временного персонала (например, привлекаемого на время реализации проекта)
1.5. Управленческая компетентность участника закупки:
1.5.1. Эффективность организационной структуры Участника закупки, субподрядчики и субучастники, доверенности (изготовителей оборудования)
1.5.2. Проработанность схемы управления, проработанность и приемлемость договора консорциума (при наличии)
1.5.3. Наличие сертификатов соответствия стандартам серии ISO 9000, иных сертификатов
1.5.4. Положительный опыт участия в закупочных процедурах, полнота и качество оформления заявки
1.6. Деловая репутация (отзывы заказчиков по предыдущим аналогичным контрактам, участие в судебных разбирательствах)
1.7. …
2. Неценовая предпочтительность технических предложений
2.1. Соответствие целям и техническим требованиям Заказчика к оборудованию
2.1.1. Результаты типовых испытаний, экспертные заключения на соответствие требованиям Заказчика
2.1.2. Совместимость предлагаемого оборудования
2.1.3. …
2.2. Организация и технология выполнения специальных, строительных и монтажных работ
2.3. График поставки и оказания сопутствующих услуг
2.4. Гарантийные обязательства, период восстановительного ремонта по гарантии
2.5. ЗИП на период гарантийной эксплуатации
2.6. Дополнительные услуги (при наличии)
2.7. …
3. Предпочтительность Коммерческих предложений
3.1. Цена заявки и ее обоснованность в таблицах расшифровки цен
3.2. Годовые эксплуатационные издержки
3.3. Условия и график платежей, размер аванса, предложения кредитования контракта со стороны Участника
3.4. Условия поставки груза (по ИНКОТЕРМС 2000 г.)
3.5. Условия корректировки цены
3.6. Предложения по изменению исходного контракта на поставку оборудования
3.7. Страховая компания и страхование оборудования
3.8. Коммерческие условия обслуживания и ремонта в послегарантийный период
3.9. …
Глава III. Оценка заявок участников
8. Организация оценки заявок
Нижеследующие рекомендации ориентированы на организацию оценки заявок участников при проведении закупочных процедур продукции умеренной сложности, при которых обычно уже становятся оправданными затраты ресурсов на организацию и проведение экспертизы заявок. При закупках сложной продукции процедура оценки заявок требует индивидуального подхода на основе нижеприведенных рекомендаций. При закупках простой продукции те или иные элементы нижеприведенных рекомендаций могут не применяться, в зависимости от целесообразности.
8.1. Для оценки поступивших заявок Заказчик, Организатор закупки или ЦЗК Общества создает/ утверждает состав экспертной группы (комиссии, совета) и ее руководителя (с оформлением соответствующего протокола). Задачей экспертной группы обычно является представление членам ЦЗК Общества оценок поступивших заявок по заранее установленной шкале. А при возможности – и рекомендаций по ранжировке заявок по степени их предпочтительности.
ЦЗК Общества учитывает мнение членов экспертной группы, но может принять любое самостоятельное итоговое решение.
8.2. Для эффективной работы ЦЗК Общества по оценке заявок желательно, чтобы в ее состав входил ответственный секретарь – полноправный член комиссии с правом голоса (не следует путать с техническим секретарем, ведущим стенограммы заседаний).
Ответственным секретарем не следует назначать руководителя высокого уровня, на котором лежит много других обязанностей, поскольку функции секретаря комиссии не представительские, а рабочие. Они аналогичны функциям «ответственного исполнителя» при проведении НИОКР, «главного инженера проекта» в проектировании или «прораба» на стройке. Ответственный секретарь должен большую часть рабочего времени тратить именно на данную закупочную процедуру и, что важно, иметь достаточные знания не только в области закупочных и экспертных технологий, но и по предмету закупки – знать потребности Заказчика, свойства закупаемой продукции, ее рынок, основных (вероятных) участников и разумные возможные альтернативы. На такой пост желательно назначать сотрудника, имеющего профессиональный и личностный авторитет среди коллег. Такого ответственного секретаря целесообразно назначить руководителем экспертной группы по оценке заявок участников. Иногда, в крупных закупочных процедурах, ему нужен квалифицированный заместитель, контролирующий состояние всех дел по закупочной процедуре и способный принимать решения при временном отсутствии ответственного секретаря.
8.3. В рамках экспертной группы по оценке заявок рекомендуется заранее выделить экспертов или экспертные подгруппы ответственных за проведение:
- юридической экспертизы;
- финансово-экономической экспертизы;
- технической экспертизы.
В случае создания экспертной подгруппы должен быть назначен руководитель подгруппы в статусе Заместителя руководителя экспертной группы, организующий ее работу и несущий персональную ответственность за своевременное представление результатов экспертизы руководителю экспертной группы. При закупках умеренно сложной или простой продукции по отдельным или по всем указанным направлениям оценки заявок может быть назначен только один эксперт.
При необходимости представления дополнительной информации к работе экспертной комиссии привлекаются специалисты, участвующие в рассмотрении отдельных вопросов оценки заявок и не являющиеся членами экспертной группы. Привлечение данных специалистов проводится на основании решения Председателя ЦЗК Общества. Результаты дополнительной экспертизы передаются в Экспертную Группу или рассматриваются ЦЗК Общества отдельно.
8.4. Наряду с экспертной группой Общество организует технологическое обеспечение работы ЦЗК Общества и экспертной группы, которое включает в себя:
- методическую организационно-технологическую и информационно-аналитическую поддержку работы ЦЗК Общества и экспертной группы;
- ознакомление членов экспертной группы с заявками участников, сбор, формализацию и обработку оценок и мнений членов ЦЗК Общества и экспертной группы;
- контроль оформления проекта заключения и рекомендаций экспертной группы по результатам оценки заявок.
9. Этапы проведения экспертизы заявок
Экспертиза заявок начинается на основании решения ЦЗК Общества. Экспертиза заявок оканчивается на основании решения ЦЗК Общества о ранжировке заявок участников. ЦЗК Общества вправе назначить несколько экспертных групп и проводить несколько экспертиз.
Экспертиза заявок проводится в два этапа:
- отборочный этап, на котором индивидуально рассматриваются и отклоняются заявки, не соответствующие хотя бы одному существенному требованию Закупочной документации;
- оценочный этап, на котором по степени предпочтительности оцениваются заявки, успешно прошедшие отборочный этап.
Деление процедуры экспертизы заявок на этапы является условным. При закупках простой продукции все операции по рассмотрению и оценке заявок могут быть выполнены за один день.
9.1. Отборочный этап
9.1.1. На отборочном этапе экспертизы заявок (цель – отклонение заявок, не соответствующих требованиям законодательства или требованиям, указанным в Закупочной документации) можно условно выделить следующие подэтапы:
- оценка общей и специальной правоспособности участников участвовать в данной закупочной процедуре и заключить по ее результатам договор поставки продукции. Оцениваются уставные и регистрационные документы, лицензии, доверенности изготовителей продукции, дилерские соглашения, соглашения о совместной деятельности и иные представленные Участником юридические документы (ответственный – руководитель подгруппы юридической экспертизы);
- оценка соответствия состава и оформления каждой заявки требованиям Закупочной документации. Особое внимание следует уделять правомочиям лиц, подписавших заявку, совершать сделки от имени Участника (ответственный – руководитель подгруппы юридической экспертизы); при этом должно быть проверено выполнение явных требований, которые в Закупочной документации указаны как «обязательные»;
- оценка соответствия (квалификационных) характеристик участников закупки требованиям Закупочной документации (ответственный – руководитель подгруппы экономической экспертизы); в качестве традиционных обычно рассматриваются следующие критерии:
d. общий опыт работы — сроки создания предприятия участника и объемы выполненных контрактов за последние годы;
e. специальный опыт работы — суть и объемы аналогичных контрактов, выполненных за последние годы. Особое внимание уделяется контрактам с предприятиями энергетики, среди которых выделяются заключенные с предприятиями электроэнергетики, и в первую очередь – предыдущие контракты с данным конкретным Заказчиком;
f. наличие у иностранного Участника закупки партнеров (возможных или заявленных субконтракторов) из числа российских фирм, способных квалифицированно провести монтажные, пусконаладочные и другие работы на территории Заказчика;
g. финансовые возможности — балансы, отчеты о прибылях и убытках, рекомендации банков, аудиторские заключения;
h. кадровые возможности — информация о персонале Участника;
i. репутация — отзывы предыдущих заказчиков, информация о судебных исках против Участника закупки, среди которых особо выделяются судебные решения, вынесенные против Участника закупки – привлекаются члены группы юридической экспертизы;
- оценка принципиального соответствия предлагаемой к поставке продукции требованиям Закупочной документации — рассматривается существо технических предложений и отклоняются заведомо неприемлемые концепции реализации технических требований, не соответствующие целевому назначению закупок — не вдаваясь в рассмотрение конкретных технических параметров (ответственный – руководитель группы технической экспертизы); при этом должно быть проверено выполнение явных требований, которые в Закупочной документации указаны как «обязательные».
9.1.2. В своем заключении по результатам отборочного этапа экспертизы заявок каждый эксперт, отмечающий несоответствие какой-либо заявки условиям проведения закупочной процедуры (требованиям Закупочной документации), должен указать, считает ли он каждый из выявленных недостатков либо все их в совокупности достаточным основанием для отклонения данной заявки. Эту информацию необходимо довести до членов ЦЗК Общества.
9.1.3. Заявки могут отклоняться или исключаться только решением ЦЗК Общества с возможным учетом рекомендаций экспертов. При этом в протоколе заседания ЦЗК Общества обязательно указывают конкретные причины отклонения заявки.
При отклонении заявок по результатам отборочного этапа экспертизы по основаниям недостаточной квалификации Участника членам ЦЗК Общества следует обратить внимание на то, что признание «не прошедшим квалифицированный отбор» (в отличие от непризнания победителем закупочной процедуры) подрывает деловую репутацию Участника и может привести к ненужным спорам. Поэтому, если в условиях закупочной процедуры не указаны обязательные требования и соответствующие им пороговые значения отборочных критериев (или диапазоны допустимых/ запрещенных значений), заявки по указанным мотивам отклонять не рекомендуется.
9.1.4. При отклонении заявок по результатам отборочного этапа экспертизы заявок участников членам ЦЗК Общества следует учитывать сложившуюся арбитражную практику. По сложившейся арбитражной практике закупочная процедура, на которой отклонены все заявки, кроме одной, должна быть признана несостоявшейся в соответствии с п. 5 ст. 447 Гражданского кодекса РФ.
9.2. Оценочный этап
9.2.1. На оценочном этапе экспертизы заявок участников, целью которой является собственно оценка заявок, можно условно выделить два подэтапа:
- тщательная проверка членами экспертной группы того, что ни одна не отклоненная заявка не содержит неприемлемых для Заказчика технических, экономических, юридических или иных указанных в Закупочной документации условий и что значение каждой из характеристик предлагаемой к поставке продукции в каждой заявке лежит в области допустимых значений;
- собственно количественная оценка предпочтительности заявок.
9.2.2. Особенности проведения технической экспертизы. Оценки технических экспертов по различным частным критериям обобщаются (обычно методом взвешенного суммирования). При этом возможно проявление эффекта компенсации, когда неприемлемые оценки по одним критериям могут быть компенсированы (и тем самым замаскированы) высокими оценками по другим критериям. Это может привести к обязанности закупать продукцию с неприемлемыми характеристиками у победителя закупочной процедуры, выбранного «по формуле». Чтобы избежать подобной ситуации, нельзя допускать до обобщения оценок по частным критериям (т. е. отклонять) заявки, имеющие неприемлемое значение хотя бы по одному частному критерию оценки (т. е. по любой из позиций спецификации закупаемой продукции). Из этого следует, что в Закупочной документации не должны заявляться непринципиальные для Заказчика частные требования как обязательные, а соответствующие частные критерии – как отборочные.
Каждый эксперт в своем экспертном заключении вместе с частными оценками по порученным ему частным критериям должен специально указать результаты вышеуказанной проверки по порученным ему частным критериям.
9.2.3. Для количественной оценки предпочтительности заявок участников обычно выполняются следующие технологические операции:
- формирование экспертами весовых коэффициентов (синонимы: шкалирующих констант, коэффициентов весомости, коэффициентов значимости) оценок по всей иерархической системе критериев оценки заявок (см. подраздел 3), кроме самого верхнего уровня (итоговая оценка предпочтительности заявки);
- формирование экспертами оценок заявок участников по всем частным критериям;
- формирование промежуточных обобщенных оценок (при наличии системы критериев оценки с иерархической организацией;
- формирование итоговых оценок предпочтительности заявок участников.
Рекомендации по проведению указанных технологических операций приведены в подразделе 10 настоящих «Принципов…».
9.2.4. Первичные оценки эксперты должны давать независимо друг от друга в форме индивидуальной карточки (анкеты) эксперта. Члены экспертной группы также делают письменные заявления о своей беспристрастности в оценках заявок конкретных участников и обязательно указывают на любые обстоятельства, которые могут расцениваться как аффилированность. Форма индивидуального отчета эксперта, Отчета экспертной группы, Заявление о беспристрастности утверждаются специальным заседанием ЦЗК Общества.
Для гарантии независимости экспертных оценок от качества предложений по другим критериям экспертам иногда предоставляют не весь текст заявок участников, а только фрагменты, имеющие отношение к оценкам до данному критерию. Широко распространен подход, когда экспертам подгруппы технической экспертизы специально не предоставляют информацию о ценах и расценках, таблицы расшифровки цен.
При закупках сложной продукции иногда бывает целесообразным после получения всех первичных частных оценок организовать взаимное знакомство экспертов с оценками коллег по «соседним» критериям и коллективное обсуждение полученных обобщенных и итоговых оценок. Это может быть необходимым, если какие-то критерии в иерархии являются зависимыми. Более того, иногда после этого экспертам предоставляют возможность изменить свои первичные оценки, однако такие изменения должны сопровождаться развернутой объяснительной запиской, обосновывающей объективные причины внесенных изменений. В последнем случае до сведения ЦЗК Общества обязательно следует доводить результаты экспертизы (и прежде всего – итоговые оценки), полученные как на основе первоначальных, так и на основе измененных частных оценок с приложением соответствующих объяснительных записок экспертов, изменивших свои оценки.
9.2.5. На оценочном этапе подгруппа технической экспертизы должна оценить степень предпочтительности технических характеристик предлагаемой к поставке продукции и связанных с техникой контрактных условий. Для повышения эффективности организации и проведения экспертизы руководитель экспертной группы может назначить ответственного исполнителя экспертизы, который организует работу экспертов, оценивающих заявки по каждому из технических критериев. Оценки по каждому из критериев должны давать эксперты, компетентные в соответствующей предметной области. Все назначения экспертов согласуются с ЦЗК Общества.
9.2.6. На оценочном этапе подгруппа юридической экспертизы должна оценить степень предпочтительности предлагаемых участниками юридических контрактных условий, не установленных в Закупочной документации в качестве обязательных. Критерии оценки таких условий целесообразно продумать заранее, хотя до ознакомления юристов с заявками сформировать полный перечень юридических частных критериев часто не удается. Для работы с экспертами-юристами целесообразно использовать прямую экспертную оценку, при которой получают и обрабатывают оценки предпочтительности заявок по частным критериям. При проведении закупок сложной продукции для оценки и сопоставления заявок также могут быть использованы и относительные оценки, получаемые от экспертов, к примеру, методом парных сравнений.
9.2.7. В ходе оценочного этапа подгруппа экономической экспертизы должна оценить степень предпочтительности предлагаемых участниками экономических контрактных условий. С экспертами-экономистами можно работать в таком же режиме, как и с юристами, однако, если у Заказчика есть опытные экономисты, более целесообразно провести экономические расчеты по традиционным экономическим критериям оценки, отражающим «совокупную стоимость владения» закупаемой продукцией с учетом фактора времени, вплоть до затрат на утилизацию.
Для формирования обобщенных экспертных оценок экономических выгод и издержек с учетом фактора времени, а также для учета факторов риска и неопределенности можно руководствоваться «Методическими рекомендациями по оценке эффективности инвестиционных проектов (вторая редакция)», утвержденными Минэкономразвития России, Минфином России, Госстроя России № ВК 477 от 21.06.99 г. Так, в соответствии с этим документом, для экономической оценки эффективности инвестиционных проектов (а закупки сложной продукции часто рассматриваются как инвестиционные проекты) рекомендуется использовать следующий перечень показателей:
- чистый доход;
- чистый дисконтированный доход;
- внутренняя норма доходности;
- потребности в дополнительном финансировании (другие названия – стоимость проекта, капитал риска);
- индексы доходности затрат и инвестиций;
- срок окупаемости;
- перечень показателей, характеризующих финансовое состояние контрагента.
При проведении экономической экспертизы следует учитывать то, что получение от участников всех исходных данных (например, эксплуатационных расходов), да еще по всем позициям спецификаций, во многих закупочных процедурах маловероятно. Тогда такой подход используют только по отдельным, наиболее важным позициям спецификаций.
На практике основная задача экономической экспертизы на оценочном этапе сводится к приведению предлагаемых участниками закупки цен к единому базису — одинаковым валютам, одинаковому составу итоговой цены (стоимость оборудования, монтажа, обучения, гарантий, сроков и условий поставки, транспортной страховки и т. д.), обеспечивающим возможность сопоставления заявок по ценам на финальном этапе работы ЦЗК Общества. Достаточно существенным может оказаться вопрос предлагаемых сроков поставки. Если они у разных участников велики и при этом существенно различаются, необходимо провести дисконтирование цен (принятие во внимание фактора времени — с учетом возможных дополнительных платежей за отсрочку использования кредита в соответствии с предполагаемыми условиями кредитного соглашения) или расходов на хранение досрочно прибывшей продукции.
10. Технологические операции оценки заявок участников
10.1. Технологические операции оценки заявок участников рекомендуется проводить на основании ГОСТ СССР 23554.0-79 «Экспертные методы оценки качества промышленной продукции: основные положения». При использовании данного документа необходимо исходить из того, что оценка по частным критериям не может проводиться на основании семантических оценок типа «плохо», «неприемлемо», «частично соответствует требованиям» и т. п. Ниже материалы указанного стандарта использованы с учетом данного отличия.
10.2. Существует два метода определения обобщенных оценок заявок участников в соответствии с указанным стандартом: метод взвешенного суммирования и экспресс-метод.
При методе взвешенного суммирования оценку по обобщенному критерию определяют взвешенным суммированием влияющих на него оценок нижнего уровня иерархии с учетом их весовых коэффициентов, отражающих, в первую очередь, их значимость (весомость).
При экспресс-методе оценку по обобщенному критерию определяют на основе анализа экспертами влияющих на него оценок нижнего уровня иерархии без предварительного определения этих оценок и определения их весовых коэффициентов.
Экспресс-метод может применяться только при закупках самой простой продукции.
10.3. При использовании метода взвешенного суммирования возможны три основные формы участия экспертов:
- эксперты назначают весовые коэффициенты оценок по частным и обобщенным критериям, а расчетным методом определяются оценки по частным и обобщенным критериям. Данный способ применим при экспертизе заявок по простой продукции;
- эксперты назначают весовые коэффициенты оценок по частным и обобщенным критериям и оценки по частным критериям, а расчетным методом определяются оценки по обобщенным критериям. Данный метод применим при оценках умеренно сложной и сложной продукции.
Рекомендуется в практике оценки заявок использовать вторую форму обобщения мнения экспертов.
10.4. Формирование весовых коэффициентов
10.4.1. При объединении частных оценок предпочтительности заявок участников в итоговую оценку для простой продукции используется прямое взвешенное суммирование частных оценок заявок по всем критериям. Для умеренно сложной и сложной продукции - поэтапное взвешенное суммирование иерархически организованных систем критериев оценки.
10.4.2. В обоих случаях применения взвешенного суммирования экспертам необходимо для каждой оценки по каждому частному или обобщенному критерию на каждом уровне иерархии (кроме нулевого) назначить свой весовой коэффициент, отражающий значимость оценки по данному критерию в данной группе оценок.
10.4.3. Формирование весовых коэффициентов, так же как и экспертное формирование частных оценок предпочтительности заявок участников по различным критериям, относится к задачам экспертного анализа. Поэтому при определении весовых коэффициентов критериев оценки эксперты должны сравнивать между собой значимость оценок по критериям, входящим в каждый обобщенный или итоговый критерий, используя процедуры.
10.4.4. Сумма весовых коэффициентов в рамках каждой группы критериев на каждом уровне иерархии равняется 1.0 (или 100%).
10.4.5. Весовые коэффициенты должны назначать эксперты, ответственные за формирование обобщенной оценки по конкретной группе критериев в иерархии. Обычно это руководитель (заместитель руководителя) ПДЭГ или ЭГ. Поскольку весовые коэффициенты верхних уровней иерархии оказывают исключительно сильное влияние на итоговые оценки заявок, они в любом случае должны утверждаться на заседании ЦЗК Общества.
10.4.6. Более сложной является ситуация, когда при закупках сложной продукции какой-либо из участников предложит инновационное организационно-техническое или экономическое решение, полностью удовлетворяющее потребности Заказчика, но при этом за счет своей оригинальности радикально меняющее представление экспертов об области возможных значений каких-либо технических характеристик продукции или степени значимости используемых критериев оценки. Более того, возможно, что после знакомства с такой заявкой эксперты поймут, что объявленные обязательные требования к закупаемой продукции и соответствующие критерии оценки заставляют отклонить очень привлекательную для Заказчика инновационную заявку или что в перечне критериев оценки необходимо переформулировать некоторые критерии, исключить или добавить новые. В случае публикации критериев оценки всех уровней иерархии и соответствующих весовых коэффициентов в Закупочной документации это сделать невозможно.
Поэтому рекомендуется при закупках сложной продукции проводить многоэтапные конкурсы. Если на одном из этапов конкурса экспертная группа столкнется с вышеописанной ситуацией, она может ограничиться только отборочным этапом, после которого сможет рекомендовать конкурсной комиссии изменить систему критериев оценки и весовых коэффициентов для следующего этапа конкурса.
10.4.7. При формировании весовых коэффициентов следует также обратить внимание на то, что значимость обобщенного критерия типа «Надежность участника/ вероятность должного выполнения заключаемого договора», если закупается сложная продукция, иногда оценивается даже выше, чем значимость технико-экономических критериев. При этом чем сложнее и «инновационное» закупаемое оборудование, тем выше должна быть относительная значимость этого критерия. Можно сказать, что данный критерий носит «мультипликативный» характер в смысле «умножения на ноль» любых обещаний при «нулевой» квалификации участника. Для производителей простой продукции это не особенно важно. Но при закупках сложной инновационной техники данный критерий имеет весьма существенное значение. Для наполнения этого критерия можно использовать в качестве основы оценочные критерии, построенные на базе желательных требований, применяемых для «квалификационного» отбора участников конкурса, среди которых (помимо прочего) важную роль должен играть критерий «Специальный опыт работы».
10.5. Формирование оценок заявок по частным критериям
10.5.1. Целью формирования оценок заявок по частным критериям являются преобразование количественных и качественных технико-экономических характеристик предлагаемой к поставке продукции, а также («квалификационных») характеристик участников в частные оценки предпочтительности заявок (оценки предпочтительности заявок по частным критериям).
10.5.2. Для численного выражения частных оценок по разным критериям необходимо использовать одну и ту же шкалу. На практике обычно используется шкала от 0 до 5 или от 0 до 10 баллов.
10.5.3. Для указанного отображения характеристик обычно используются три метода:
- расчетный метод – когда преобразование проводится по заранее (до закупки) утвержденной формуле;
- метод прямой экспертной оценки – когда вместо формулы используются специальные знания, квалификация и опыт специалистов, ознакомившихся с содержанием заявок;
- метод «главных точек» (функций ценности) – разновидность экспертной оценки, когда вместо формулы используется специальные знания, квалификация и опыт специалистов, которые формируют свои оценки заранее (до закупки) на всем диапазоне возможных значений преобразуемой характеристики.
10.5.4. Расчетный метод
10.5.4.1 Для формирования оценок заявок по частным критериям расчетным методом используются формулы, при помощи которых необходимые частные оценки вычисляются по численным характеристикам (параметрам) технических и коммерческих предложений, а также по «квалификационным» характеристикам участников.
10.5.4.2 В случае применения данного метода рекомендуется использовать за основу приведенные ниже рекомендации Минэкономики России для государственных заказчиков, изложенные в пп. 3.1-3.3 «Методических рекомендаций по балльной оценке конкурсных заявок и квалификации поставщиков, участвующих в конкурсах на размещение заказов на поставки товаров для государственных нужд» (утверждены письмом Минэкономики России от 01.01.2001 № АС-751/4-605):
«3.1. Каждый рассматриваемый критерий конкурсной заявки или показатель, характеризующий квалификацию участника, получает оценку в баллах по десятибалльной шкале. С этой целью значение анализируемого критерия (показателя) в натуральных единицах измерения ранжируется для всех участников. Худшему критерию (показателю) присваивается один балл, лучшему — десять баллов. Применение метода интерполяции в интервале 1—10 баллов позволяет определить балльное значение критерия (показателя) для каждого претендента.
3.2. Для случая, когда худшее значение критерия (показателя) меньше лучшего значения (например, предложения сокращения срока выполнения контракта или оценка опыта претендента, характеризуемая количеством ранее выполненных контрактов), балльная оценка j-го критерия (показателя) для i-го участника определится по формуле (см. рис 1а).
Рис. 1а. Графическая иллюстрация применения метода интерполяции для балльной оценки критериев
при: N худj < Nлучj,
1< Бij < 10.
где:
Бij — балльная оценка анализируемого j-го критерия (показателя) для i-го участника-конкурсанта;
Nij — значение анализируемого j-го критерия (показателя) для i-го участника-конкурсанта в натуральных единицах измерения;
Nхудj — худшее значение анализируемого j-го критерия (показателя) среди всех участников-конкурсантов в натуральных единицах измерения;
N лучj — лучшее значение анализируемого j-го критерия (показателя) среди всех участников-конкурсантов в натуральных единицах измерения.
3.3. Для случая, когда худшее значение критерия (показателя) больше лучшего значения (например, цена контракта, цена товара, другие ценовые показатели), балльная оценка анализируемого j-го критерия (показателя) для i-го участника определяется формулой (см. рис. 1б):
Рис. 1б. Графическая иллюстрация применения метода интерполяции для балльной оценки критериев
при: N худj > Nлучj,
1< Бij < 10.
Формула (2) приводит к тому же результату, что и формула (1). Использование формулы (1) для случая Nхуд > Nлуч, а следовательно, и Nхуд > Ni, дает отрицательные значения и числителя, и знаменателя дроби (Ni - Nхуд) / (Nлуч - Nхуд), что не влияет на результат вычислений. Поэтому во всех случаях для упрощения вычислительной работы рекомендуется использовать формулу (1)».
10.5.4.3 Применение предположения о линейной зависимости предпочтительности заявки участника по рассматриваемому критерию не всегда соответствует действительности и может приводить к грубым ошибкам в оценках (см. пример для критерия «срок поставки оборудования»).
Применение данного метода также несет за собой юридические риски. Нормировка к максимальным или минимальным значениям (в данном случае – к диапазону от минимального до максимального значений) анализируемого показателя среди всех участников делает результаты закупочной процедуры зависящими от параметров, которые могут сложиться в результате целенаправленного воздействия квалифицированного информационного технолога. Так как такие формулы в целом не позволяют достоверно выявить Участника, предложившего лучшие условия, они противоречат пункту 4 статьи 447 Гражданского кодекса РФ.
10.5.4.4 Из изложенного следует, что такой подход может быть использован только при закупках самой простой продукции и в случае непривлечения экспертов к оценке поступивших заявок.
10.5.5. Метод прямой экспертной оценки
В задачах оценки качества продукции метод экспертной оценки применяют при невозможности или нецелесообразности по конкретным условиям оценки (избыток или недостаточное количество информации, необходимость разработки специальных технических средств, возможность предложения нескольких вариантов удовлетворения потребностей, отсутствие однозначных критериев, характеризующих предпочтительность продукции, оценка эстетических показателей и т. д.) использовать расчетный или измерительный методы.
В задачах оценки заявок участников, а особенно – при закупках умеренно сложной и сложной продукции (товаров, работ и услуг), экспертные методы оценки заявок по частным критериям, а также экспертные методы формирования весовых коэффициентов, пожалуй, являются единственно возможными для получения обоснованных и объяснимых оценок.
Далее рассмотрим некоторые технологические операции экспертной оценки и особенности их применения при рассмотрении заявок участников.
10.5.5.1 Опрос экспертов
Точку зрения экспертов выясняют методом опроса. Опрос экспертов заключается в получении от них количественных или качественных оценок предпочтительности заявок по частным критериям, а также оценок относительной значимости критериев, по которым формируется обобщенная промежуточная или итоговая оценка предпочтительности заявок участников.
Методы опроса экспертов делятся на индивидуальный и групповой. При индивидуальном методе ведется опрос каждого эксперта отдельно. При групповом — совместно опрашивается часть экспертной группы или вся группа.
Индивидуальный опрос проводят очным или заочным способом. При очном опросе эксперт высказывает свои суждения лицу, проводящему опрос. При заочном опросе такой контакт отсутствует, и эксперт заполняет карту опроса.
Групповой метод опроса имеет два способа – с взаимодействием и без взаимодействия. Опрос с взаимодействием включает обсуждение мнений экспертов на заседании экспертной группы. При опросе без взаимодействия обсуждение отсутствует.
Процедуры опроса экспертов включают интервьюирование, анкетирование и смешанное анкетирование.
При интервьюировании суждение эксперта выявляют в процессе свободной беседы в рамках определенного плана.
При анкетировании эксперт заполняет карту опроса, отвечая на содержащиеся в ней вопросы.
При смешанном анкетировании эксперт заполняет карту опроса, получая все необходимые разъяснения от лица, проводящего опрос.
Выбор конкретного вида и формы опроса экспертов определяется в каждой процедуре отдельно, в зависимости от степени сложности закупаемой продукции и ресурсов, выделенных на проведение оценки.
10.5.5.2 Шкалы экспертной оценки предпочтительности заявок
При проведении прямой экспертной оценки эксперты должны назначать свои оценки по каждому из критериев, используя одну и ту же вербально-числовую шкалу. Выше в начале подраздела 10 уже указывалось, что при оценке предпочтительности заявок участников недопустимо применение шкал с оценками типа «плохо», «неприемлемо», «частично соответствует требованиям», которые используются при оценке качества продукции.
Для практической экспертной оценки предпочтительности заявок участников по частным критериям может быть рекомендована следующая шкала абсолютных оценок:
|
Словесное выражение экспертов |
Словесное выражение экспертов по рискам |
Числовое обозначение (балл) |
|
1 |
2 |
3 |
|
«Минимально приемлемо» |
«Очень высокие риски» |
0* |
|
«Удовлетворительно» |
«Повышенные риски» |
1* |
|
«Хорошо» |
«Вполне приемлемые риски» |
2* |
|
«Очень хорошо» |
«Приемлемые риски» |
3* |
|
«Отлично» |
«Минимальные риски» |
4 |
|
«Идеально» |
«Отсутствие рисков» |
5 |
*− возможна оценка с одним знаком после запятой.
В данном случае использована шакала оценок от 0 до 5. С тем же успехом в правую графу можно поставить и числа от 0 до 10, от 0 до 100 и т. д. Важно, что нулевой балл ставится за оценку «Минимально приемлемо», т. е. за точное выполнение минимальных обязательных требований Закупочной документации. Комментарии по поводу максимальной оценки «Идеально» — см. ниже.
Использование одной и той же вышеприведенной линейной шкалы для всех критериев оценки заявок позволит членам ЦЗК Общества перевести обратно в словесную форму полученные в виде чисел (от 0 до 10) итоговые оценки предпочтительности заявок участников по всем техническим критериям. При этом важно публиковать полученные численные оценки только вместе с данной вербально числовой шкалой преобразования словесных оценок в баллы. Иначе кто-нибудь может неправильно воспринять оценки 0.0 как нулевую ценность заявки. На самом деле это означает, что Участник оказался исключительно грамотным и дал предложения, в точности соответствующие минимальным техническим требованиям Закупочной документации. Если бы гипотетический Заказчик в условиях недостатка средств при написании Закупочной документации совершенно точно знал, что ему нужно, то данная заявка (с итоговой оценкой 0.0 по техническим критериям) имела бы все возможности оказаться и самой дешевой (в силу известной зависимости технических и экономических оценок объектов одного вида) и тем самым выиграть закупочную процедуру.
Отрицательных (неудовлетворительных) оценок на этой шкале быть не может (отрицательные оценки соответствуют предложениям с неприемлемыми характеристиками, которые должны быть отклонены ЦЗК Общества).
Экспертам важно учитывать, что данные словесные оценки и баллы оценивают только ПРЕВЫШЕНИЕ характеристик предлагаемой к поставке продукции над минимально приемлемым уровнем и никак не характеризуют абсолютное качество предлагаемой продукции.
Так, если Заказчик предъявил требования к закупаемой продукции на уровне лучших мировых образцов (к примеру, автомобиль определенной фирмы), а поставщик предложил требуемый автомобиль в комплектации, минимально превышающей требования Заказчика, то оценка «Очень посредственно» (с занесением в экспертную форму одного балла) характеризует не качество предложенного автомобиля, а только степень превышения его характеристик над уровнем предъявленных требований по сравнению с максимально возможной комплектацией («Идеально»). Следует отметить, что заявки с низкими баллами по неценовым критериям имеют высокие шансы выиграть закупочную процедуру, поскольку они, как правило, дешевле.
10.5.5.3 Индивидуальное оценивание
При выполнении оценочных операций применяют процедуры ранжирования, оценивания, парного сравнения и последовательного сравнения.
- Ранжирование заключается в упорядочении оцениваемых объектов в соответствии с определенным признаком. В нашем случае речь идет о расположении конкурирующих заявок в порядке уменьшения их предпочтительности по данному критерию, а также о расположении самих критериев оценки в порядке уменьшения их значимости.
- Оценивание заключается в назначении оцениваемым объектам (заявкам и критериям) количественных или качественных характеристик в зависимости от степени выраженности определенного признака (назначение баллов за предпочтительность заявки по конкретному критерию по вербально-числовой шкале и назначение критериям весовых коэффициентов в соответствии со значимостью критерия).
- Парное сравнение заключается в сравнении объекта с каждым из остальных (заявок, критериев) в соответствии с определенным признаком с целью их ранжирования или оценивания по степени выраженности этого признака.
- Последовательное сравнение включает операции ранжирования, назначения объекту, стоящему первому в ранжированном ряду, заданного числа и количественное оценивание последующих объектов по сравнению с первым.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 |
