Оценка уровня эффективности использования интернета в госорганах
 

Уважаемые пользователи,

Просьба помочь с материалами по вопросу оценки уровня эффективности использования интернета в госорганах. Именно интернета, а не ИКТ в целом. Может кто встречал в сети документы, статьи, аналитику. Ставится такая задача по нашим госорганам. Механизм сбора информации опросным методом, то есть, госорганы заполняют опросники, затем эксперты делают оценку при необходимости с выездом на место. Проблема еще и в том, что это должно проводиться ежеквартально как минимум по 60-ти ведомствам.

В теме допустимы обсуждения в любых плоскостях, в том числе и механизма оценки. Но вот только, просьба, без оффтопа.

[MOD]Я же просил не оффтопить. Удалено[/MOD]

Для начала хорошо бы знать, для чего его используют гос. органы. В русле выполнения их функций, а не развлечения персонала, естественно. Как оценивать эффективность без этого знания?

Встречал ссылки на подобные исследования в блогах http://gov-gov.ru и http://ivan.begtin.name

Прошу извинения.

Я не совсем понял Ваш вопрос.

1. Вы хотите провести опрос (рассылочный) среди министерств и ведомств по уровню ИСПОЛЬЗОВАНИЯ ими ресурсов сети для своих нужд.

2. Вас не интересует вопросы "электронного правительства" (интерактивность этих структур).

3. Вам необходимо разработать вопросник адаптированный для самозаполнения (в том числе и определиться с "респондентом" - т.е. со структурами и должностями в в этих организациях наиболее полно и компетентно отвечающими на вопрос)?

В прошлом году мы проводили исследование для одной компании, в котором по интересующей Вас тематике было опрошено (согласно выборке):

31 министерство и ведомство (органов управления и регулирования)

17 банков (включая информацию во всех их подразделениях)

6 областных хокимиятов (органов власти)

Если Вам необходима более подробная консультация и ознакомление с методикой я могу с Вами встретиться (формат форума не позволяет это сделать). :187:

P.S.

Результаты подобных исследований устаревают за 4-6 месяцев.

Рассылочный опрос (раздаточные анкеты) считаются одним из самых недостоверных по целому ряду причин.
Если у Вас уже есть намерение выезда "экспертов" на место, то желательно чтобы сами "эксперты" проводили и бумажное анкетирование. Такой вариант считается самым достоверным из всех опросных инструментов.

Не я хочу проводить опрос.

Это не может не интересовать, так как интерактивность обеспечивается отчасти за счет использоваения интернета.

Именно так.

С удовольствием! Думаю, обменяемся контактной инфо в личке.

Да, но они не в состоянии будут ежеквартально "анкетировать" 60 ведомств.

Джалолатдин-ака, а формы опросника нету? Честно говоря трудно представляю себе критерии оценки этой самой эффективности, не прикреплять же топ-10 посещаемых сайтов?

Open Government Scorecard — http://www.whitehouse.gov/open/around

Источник — http://radar.oreilly.com/gov2/

+ поищите в «Гугле», в Slideshare и в Scribd: government 2.0 и government website scorecard

Есть конечно. Но не хочу его выкладывать, так как он совсем далек от решения данного вопроса. По его каждому пункту у меня возникли замечания, точнее критика, а что-то предложить взамен пока не могу. Не так очевидно.

Джалолатдин, здравствуйте.

Проблема в вопросе. Попробуйте задать вопрос об «эффективности использования интернета» в «Узинфокоме». Вы эффективно используете интернет? У меня бы были серьезные затруднения с ответом на такой вопрос.

О чем Вы спрашиваете? Об уровне открытости госорганов или о результативности их интернет-ресурсов? С чьей точки зрения вы спрашиваете об эффективности? С точки зрения граждан или тех перед кем нужно отчитываться? Цели двух этих аудиторий сильно разнятся.

И еще, все сайты госорганов Узбекистана созданы с одной единственной целью — информировать граждан о наиболее значимых результатах деятельности госорганов. Практической помощи гражданам они не предоставляют. Соответственно, фактор для измерения здесь один — предоставляют ли они информацию. Да, предоставляют. Вот и весь отчет.

Если бы перед созданием сайтов госорганов перед ними ставились другие (истинные) цели различных групп целевой аудитории, то тогда могли бы появиться такие факторы для измерения как: (а) количество и процентное соотношение успешно разрешенных вопросов/проблем, поступивших через сайт (б) как граждане (через сайт) оценивают работу госоргана в каждом из направлений его работы (в) количество и процентное соотношение людей, которые нашли на сайте госоргана то, что искали...

.

Сергей, приветствую!

С этого мы у себя и начали :). Не зря в итоге пришлось создавать тему на юфоруме, чтобы обдумать коллективным разумом. До сих пор не вижу даже направления, как решать.

Не я постановщик задачи, поэтому не могу точно ответить на вопрос. Буду говорить на столько, на сколько сам понимаю.

Не вопрос открытости госоргана оценивается. И не результативность их интернет-ресурсов. Точнее, качество ресурсов является только частью вопроса, и экспертиза сайтов уже ведется, с этом нет проблем.

Проблема еще в том, что никаким документов не описано, зачем нужен интернет для госоргана, какие задачи он должен выполнять при этом, как его использовать. Таким образом, анализ использования интернета можно было легче сделать при наличии "нормативной" базы (нормативной назвал условно).

Если говорить только про госсайты, то их анализ уже ведем. Конечно, не так упрощенно, как "Да, предоставляют. Вот и весь отчет". Выдается экспертиза по нескольким группа критериев по утвержденной методике, снабжаемая рекомендациями госоргану по улучшению сайта.

Джалолатдин, повторюсь — проблема в вопросе. Вопрос: «Зачем нужен интернет для госоргана?» слишком пространнен. С таким же успехом можно спросить и про: телефон, книги, газеты, почту...

К кому обращен вопрос? К самим чиновникам? Им нужно открыть глаза на самые основы того для чего используется интернет и попытаться определить хорошо ли они усвоили наши первые уроки?

В этом то и проблема. Вообще, кто же, если не вы («Узинфоком»)? В госорганах нет людей, которые могли бы правильно задать вопросы на эту тему и разработать систему оценок.

Открытость госорганов и инструменты общения с гражданами — не нужно оценивать? Что же тогда оценивать? То, что они открыли для себя «Википедию» и начали ее использовать по назначению?

---------------

Резюме: Вы пытаетесь решить неверно поставленную задачу.

.

Давайте упрощу вопрос: «Нужен ли интернет для госоргана?». Если ответ «Да» (скорее всего), то напрашивается второй «Зачем нужен интернет для госоргана?». Чем он пространен? Интернет для любого предприятия нужно рассматривать как ресурс, и как возможность. Тогда уточняющие вопросы «Правильно ли используется ресурс?», «Реализованы ли все возможности?». По такому же принципу можно оценивать любой ресурс организации: авто, здание, сотрудники и т.д.

Узинфоком занимается теми или иными вопросами в рамках своей компетенции и выделенных ресурсов. Это не значит, что мы может подменить всех и вся и в госорганах касательно ИКТ. И госорганам сейчас не надо самим задавать вопросы или разрабатывать систему оценок. Именно нас и просят, именно так постановив вопрос.

Я не знаю. У меня у самого куча вопросов. Поэтому мне больше нужны советы и рекомендации, чем еще больше вопросов.

А мы почти всегда в такой ситуации находимся, помогая заказчику определиться с постановкой вопроса или с тем, что он сам реально хочет.

Неправильный вопрос: «Зачем нам здание?».

Правильный вопрос: «Сколько нам понадобится сотрудников и каких именно сотрудников для достижения такой-то цели, в течении такого-то периода, в таком-то городе». Само собой, что нам нужно здание (это все понимают), но теперь понятны, хотя-бы примерно, требования к его площади, чтобы разместить всех сотрудников.

------------

Необходимо начать с определения того с точки зрения какой целевой аудитории вы хотите проводить оценку. Необходимо для каждого госоргана составить перечень целей целевой аудитории. После определения целей приступайте к определению того как для достижения целей использовать интернет. Для определенных методик и инструментов достижения целей определите метрики для измерения результативности.

Джалолатдин, выше я очень кратко описал последовательный подход к решению поставленной Вам задачи.

Совместными усилиями, непосредственно в этой теме, мы можем разработать документы для оценки каждого из госорганов.

Оценка «эффективности использования интернета» зависит от целей, цели у всех госорганов разные (по крайней мере, на бумаге), поэтому документов будет столько, сколько госорганов.

-------------

1. Аудитория. Какую целевую аудиторию мы рассматриваем? Сотрудников госорганов или граждан Узбекистана?

2. Цели. Как только определимся с ЦА, необходимо будет перечислить список всех госорганов и написать (пока кратко) цели каждого из них, с точки зрения выбранной нами аудитории.

3. Пути достижения целей. Дальше уже можно использовать коллективный разум uForum-а, чтобы собрать идеи и отобрать лучшие из них о том как достигать пославленных целей посредством интернета.

4. Метрики. Следом за этапом сбора и сортировки идей мы определим метрики для измерения каждого метода или инструмента.

Вы уверены, что сможете описать цели каждого из госорганов до начала исследования?
TO DJ: Вообще, на мой взгляд 60 ведомств это слишком много для ежеквартального исследования. Если предположить, что в каждом ведомстве работает в среднем 50 сотрудников - итого получается немалое количество респондентов. Для начала я бы предложил более детально разобраться с выборкой исследования с учетом возможностей исследовательского центра. Можно разделить все имеющиеся ведомства по группам (назовем их стратами), выбрать в каждой страте по несколько ведомств (можно сделать путем простого случайного отбора, систематического отбора или выбираете другой более подходящий способ выборки). Внутри каждого из ведомств можно опросить н-ое количество респондентов, опять же исходя из возможностей исследовательского центра. Получается многоступенчатая выборка.
А анкету можно протестить либо на форуме либо старым добрым способом (методом личного интервью).
Еще один момент для опроса служащих госорганов: на мой взгляд - мало найдется смельчаков, которые бы написали что используют Интернет для социальных сетей, например.

Цели госорганов и граждан Узбекистана не зависят от наших исследований. Нам необходимо их определить/узнать и понять как интернет может помочь их достижению.

.

Опишу свой недавний опыт использования интернет ресурса госорганов.
Посольство России в Ташкенте.
Я менял просроченный загранпаспорт.Очередь-запись на полгода вперед.Дозвониться невозможно до работников(почти)
Заглянув на сайт посольства,обнаружил маленькими буквами сноску.О возможности заполнения анкеты онлайн на госпортале МИД.
У посольства же данную услугу-оформления анкеты предлагают сделать за 20 штук.
Перед посещением посольства -я заполнил онлайн анкету.Получил код.Распечатал.
В посольстве тётки посмотрев на мою анкету долго смотрели на меня злыми глазами.Типа *Ах ты значит у нас самый умный!*Со скрипом сдал анкету.
Из общей базы МИД через определнное время мне пришло сообщение, что мой паспорт готов.(Мне пришлось бы самому лично узнавать это в посольстве)
Я считаю, что подобные онлайн оформления документов и справок наиболее эффективный инструмент госсорганов.
Многие посольства таким образом оформляют и визы и паспорта..Без личного мучитильного толкания в очередях.

Замечательный пример реально работающего инструмента.

Вот и одна из метрик: количество полученных паспортов благодаря сайту посольства.

Проблема в том, что не для каждой организации можно вывести вот такие удобные индикаторы.

Например, возьмем любой исследовательский институт, посредством интернета налаживаются связи с зарубежными коллегами, принимается участие в различных конкурсах и т.д. Но как это все оценить? Вывести количество привлеченных грантов, или новых контактов?

Нич-чего не понимаю (с)

Тимур.

Сергей действительно ухватил один из возможных критериев. И вероятнее всего он войдет в конечные показатели.

Но говоря о "любом институте" не забывайте о том, что речь идет
Или другими словами министерства и ведомства и может быть органы власти (хокимияты).

И здесь необходимо выработать общие для них критерии. Таким образом мы сужаем круг вопросов. Осталось узнать направление и плоскость проблем, которые интересуют "исследователей".
Только в этом случае можно реально помочь нашим "исследователям"

Имхо в нашей стране без глобальной реструкторизации методов работы, ИКТ еще долго не будут иметь особого места за исключением работы с базами данных. Внедрять современные технологии - дорого, да и объяснить зачастую несведующим в этом руководителям сложно. Взять например решения от HP - эфективно, но дорого.
Сам по себе интернет - консолидирующий фактор в решении задач государственных органов, но и сам механизм решения этих задач должен соотвествовать времени, а не так - пришлите электонный отчет и 3 экземпляра бумажного.
У нас почему-то хотят - все и сразу - но так не бывает. Нужно не просто "открыть" сайт - нужно развивать механизмы работы и межведомственные связи иначе интернет будет и не нужен. Зачем в дом проводить воду, если все одно из арыка пить будут.
Не многие ведомства по факту имеют свои сервера, инфраструктуры, электронное делопроизводство. Можно написать тучу писем - ответа не дожедешься. Тикетов нет, системы распределения входящей кореспонденции тоже. Все госсайты сейчас можно запихнуть в один ДЦ и посадить одного админа , и у него еще время останется на отдых.

Все на так просто. Здания бывают разные. И при обосновании приходиться аргументировать и защищать проект по строительству или аренде определенных площадей. Ну и в принципе понятно, зачем нужны зданиия, остается вопрос, какое именно здание. А вот с интернететом посложнее, так как его можно использовать для разных целей. И как определить, что он, как оплаченный ресурс, используется эффективно.

Это самое сложное в предлагаемой модели единого опроса, так как явно не будут делать 61 документ для 61 госоргана. Это административно не будет работать.

1. 60 ведомств ежеквартально - это постановка задачи. Именно сложность объективной оценки такого кол-ва объектов и вынудила меня поднять тему на форуме.
2. В ведомстве, как правило, больше, чем 50 сотрудников.
3. И проблема в том, что нет никакого исследовательского центра.

Я бы конечно предложил постановщику задачи проводить экспертный (не опросом) анализ каждого из 61 ведомства в течение года скользящим графиков. То есть, госорган проверяется раз в год, учитывая, что за квартал больших изменений не будет. И закрепить соотв. группу экспертов, на которых возложена эта задача. Просто пока проблема в том, чт нет такой группы.

Я говорил о гос. органах, институт привет в качестве первого пришедшего на ум примера.
Количественные показатели всегда удобны в использовании, и я в целом согласен с методикой, предложенной Сергеем. Но не уверен, что получится подогнать деятельность 60 ведомств под одни и те же индикаторы. Можно разработать "персональные" опросники, но в конечном итоге это приведет к невозможности свода информации. Как вариант, может стоит разбить эти самые 60 ведомств на несколько групп со схожими целями и задачами?

Вот только жаль, что представители заказчика сами не участвуют в теме. Мне самому сложно за них вносить ясность в постановку задачи. Их участие помогло быстрее достичь цели, учитывая, что тема находиться в конструктивном русле без отвлечений на общие разговоры.

Я благодарю всех участников темы, которые откликнулись и занимают активную позицию своими сообщениями.

Разумное решение, если цели и задачи "исследователей" не подразумевают иное. В таком случае можно конечную экспертизу делать по каждой группе отдельно (условно говоря: Хокимияты - одна группа, Министерства и приравненные к ним - другая, ведомства типа ГНИ, таможня и т.д. - третья) и далее сводить в единую УКРУПНЕННУЮ экспертную оценку.

В принципе невозможного ничего нет. Но если понадобиться ЕДИНЫЕ индикаторы для всех, то в таком случае "исследователям" придется отказаться от других вопросов (я не сомневаюсь что все вопросы интересно охватить).

Опять повторюсь

:187:

Все это правильно, но не по теме. Прошу именно согласно топикстарта, инача можно бесконечное большое кол-во вопросов ИКТ в госорганах обсуждать. Или просто давайте соответствующее резюме в сообщении, чтобы понять, как оно имеет отношение к теме.

Это первый шаг. На втором этапе можно уже по каждой группе в отдельности можно просмотреть:
1. Что нужно каждой из этих групп для эффективности использования Интернета;
2. Что на самом деле имеют группы, Чего им не хватает;
3. Как используются имеющиеся ресурсы;
4. Что мешает полценному использованию ресурсов.
Ответив на эти вопросы, мне кажется, можно выявить общую картину использования Интернет-ресурсов с разделением по группам. Разумеется это общие вопросы, на которые можно получить обобщенные ответы, чтобы примерно выявлять для себя направления.
Насколько я понял "заказчик" сам не знает, в каком направлении работать (как это обычно и бывает). В этом случае можно дать ему несколько направлений, чтобы он выбрал из них самое подходящее.

Можно еще объединять в группы по служебному положению респондентов (руководитель, специалист, начальник отдела и т.д.).

Этого делать совершенно не нужно. К тому же надобности в этом нет.

Если мы исходим из постановки, что "исследователям" необходима достоверная информация о эффективности использования Сетевых ресурсов госорганами, то формулировка вопросов должна звучать таким образом исключающая любую интерпритацию поставщика информации (респондента).

Таким образом, если мы исключаем мнение респондента, то изучение этого вопроса сводится к получению официальной справки от ИМЯРЕК организации (за подписью и печатью руководителя).

Вот здесь и заключается основная сложность в выработке ОБЩИХ критериев и индикаторов, ведь задачи, функции, воздействие, востребованность, структура, численность сотрудников, обеспеченность ресурсами у всех РАЗНЫЕ, даже внутри одной группы (сравните МинФин и Мин. по делам культуры и спорта).

В исследовательской среде существует некоторые подходы выработанные эмпирическим путем (если объяснять "на пальцах"):

Чем точнее "заказчик" озвучит свои цели, тем точнее можно будет решить эти задачи.

Вообще-то тема звучит как "эффективность использования Интернета в госорганах". а ресурсы самих госорганов уже подразумеваются как один из разделов этой оценки (если я правильно понял). Исходя из этого можно и разделить респондентов по их служебному положению. Но это делается только для того чтобы выработать "цель", что и является самым сложным в данном случае. Зная "цели и задачи" - все остальное "техническая часть"...

Сайты в основном, за исключением Пресс-службы Президента, обновляются очень редко, например, на ферганском сайте хокимиата информация более чем полугодовой давности.... Какой от неё толк ??

Самир, Ваш подход (опрос сотрудников) хорош в том случае, если программные документы госоргана (цели и задачи, указанные в учредительных документах) не соответствую действительности... т.е. сотрудники занимаются не тем, что им положено делать по документам. Как правило такое встречается в новых организациях.
А в большинстве случаев достаточно внимательно прочитать учредительные документы и станет понятно:
- для решения каких задач существует госорган
- какие функции, права и обязанности у госоргана
- какие услуги для госорганов, юрлиц и физлиц предоставляет госорган
- какова оргструктура госоргана
Этих сведений уже хватает чтобы накидать цели и задачи для сайта, который будет полезен для большей части аудитории.

Что надо изменить? Эффективность использования "Интернет":
Разложим понятие "Интернет" и получим более полные ответы:
Эффективность использования информации, получаемой из Интернет
Эффективность использования средств для публикации информации (web 1.0)
Эффективность использования средств для взаимодействия пользователей (двустороннего обмена информацией) (web 2.0)

Как измерить эффективность использования получаемой информации?
В общем виде - никак. Т.к. эффективность зависит от целей, методов обработки анализа и еще кучи других параметров.

Как измерить эффективность использования средств для публикации информации (web 1.0)?
В общем виде - никак. Т.к. эффективность зависит от формы представления информации, содержания информации и т.п. Т.е. информация может публиковаться в очень неудобной форме, что может свести факт публикации к эффективности близкой к нулю. Ни количеством, ни частотой обновления, ни мощными средствами поиска это не исправить. Хотя это все тоже влияет на эффективность.

Как измерить эффективность использования средств для взаимодействия пользователей (двустороннего обмена информацией) (web 2.0)?
В общем виде - никак...

Нет у интернет эффективности, если нет аудитории с целями.
Читайте: нет продаж продукта/услуги, если нет потребителя с проблемами, которые эти продукты/услуги решают.

Единственное что можно предложить - это сопоставить цели и задачи госоргана (виды деятельности) с их представлением на сайте по следующей шкале:
1) Деятельность на сайте определена (Мы этим занимаемся, вот регламент, вот формы документов и т.п.)
2) По деятельности публикуются планы (В этом направлении мы собираемся делать то и это)
3) По результатам деятельности ведутся отчетность (К этому моменту сделано то и это)
4) По деятельности внедрены интерактивные средства (Можете к нам обратиться по таким то вопросам, вот регламент взаимодействия, SLA и т.п.).
5) Существует механизм оценки и поддержки качества деятельности (Вот так мы получаем отзывы юзеров. Вот так мы на них реагируем.)
И так по каждому виду деятельности. Если по всем видам деятельности госоргана все это имеется то руководству - памятник!

Эту частью анализа определить не сложно, так как есть утвержденные требования к сайтам государственных органов (часть 1, часть 2): что нужно публиковать, какой сайт должен быть, как часто размещать актуальную информацию и т.д.

Как правило, такое встречается во всех организациях

Алексей, по-моему, я не так выразился, прошу прощения. Я имел в виду цели и задачи исследования для оценки эффективности использования интернет.

Ну, если честно, требования эти давно устарели. Их вырабатывали в надежде сдвинуть государственное сайсостоительство с мертвой точки. Они был необходимы чтобы заставить госорганы сделать хоть какие-нибудь сайты, похожие на реально работающие. А заодно чтобы соответствующие служащие получили опыт разработки и обслуживания сайтов. Как раз и это получилось.
Но для оценки эффективности полученных сайтов такие правила не годятся. ...Это как если бы для оценки результатов футбольного матча использовались бы правила разметки футбольного поля.

Неделю назад воспользовался вкладкой Виртуальная приемная веб странички МинЗдрава Узбекистана по поводу правомерности повторного освидетельствования в медпункте ВУЗа справки ВКК, выданной по месту жительства об освобождении от занятий физкультуры и должен сказать, что удовлетворен на все 100. Мне нарочно домой через неделю после обращения принесли письмо-ответ от местной поликлиники, правда на которую я никаких претензий не имел. Главное в ВУЗе все так закрутилось ... Может просто попал в струю проверок перед какими то заседаниями на правительственном уровне? Помню всю прошлую неделю у нас во дворе крутились делегации из хокимиятов.