网络信息资源绩效评价刍议 网络信息资源

  [摘要]从探讨网络信息资源绩效评价的内涵入手,总结并分析网络信息资源绩效评价的国内外研究进展,指出我国在该领域研究中存在的问题,提出几点思考,并在此基础上展望今后的发展趋势。
  [关键词]网络信息资源 绩效评价 指标体系
  [分类号]G250.73
  
  1 网络信息资源绩效评价的内涵
  
  网络信息服务表现为以现代信息技术、网络技术为依托,以数字信息资源与信息系统为基础,以信息用户为中心,以满足信息用户需求为目的的社会化的劳务活动。可见,网络信息资源是信息资源的一种,但其表达方式、传播手段及记录载体都有别于传统形式的信息资源。在大多数研究中,网络信息资源被理解为“通过计算机网络可以利用的各种信息资源的总和”或者“一切投入到互联网络的数字化信息资源的总称”。也有学者认为“网络信息资源不再是传统出版物的电子化,而是直接在网络上出版、流通和传播的各种信息资源,是电子出版的高级形式”。迄今为止,网络信息资源还没有一个完全明确、统一的定义,而且有许多相关度极高的称谓,如电子信息资源、数字资源、因特网信息资源等。一般而言,网络信息资源是指以电子资源数据的形式将多种形式的信息存放在非印刷材质的介质中,并通过网络环境可以获取的信息资源的总和。
  由于绩效是从过程与效果两方面进行评价,因而可以从行为与结果两方面来定义网络信息资源的绩效评价:①网络信息资源系统运行的效率以及用户感知;②网络信息资源系统距其工作目标的距离,亦即对所设定目标的贡献和实现程度。因此,网络信息资源绩效评价的定义为:遵循网络信息资源绩效评价指标体系,以事实和数据为依据,通过定性、定量的对比分析,运用科学的方法,对网络信息资源服务的运作效率和最终效能是否达到预期目标作出客观、公正和准确的评判和分析。具体地讲,就是依据网络信息资源服务绩效评价指标体系,对其功能质量(形成于服务过程)和技术质量(取决于服务产出和结果)进行测度和分析。同时,作为图书馆改进网络信息资源服务质量的手段,还应对其服务效率和满足用户需求的信息服务的质量和数量进行测评。
  
  2 网络信息资源的绩效评价
  
  2.1 网络信息资源的评价
  自20世纪90年代中期起,人们便围绕网络信息资源评价指标体系展开对网络信息资源的评价研究。
  国外对网络信息资源评价的研究较早,并取得了一定的进展:美国学者Smith A G认为,虽然某些印刷型信息资源的评价标准并不适应于所有的资源评价,但至少可供图书馆员和其他用户在查询因特网信息资源时加以选择利用,并据此提出了评价网络信息资源的7项指标集合;美国南加州大学教授Hams R与Stoker D等人都提出了8条标准,但两者却截然不同;美国乔治大学教授Wilkinson G L则在分析和研究网络信息资源特点的基础上提出了11条评价指标。
  此外,国外的实践机构也对网络信息资源的评价展开尝试,提出各自见解并建立相应的评价指标;一些著名的搜索引擎,通过对一些数据的统计来评价网站(网页),也具有评价网络信息资源的功能,如Coogle利用Pagerrank算法对网络信息的重要性进行排序。
  国内对网络信息资源的理论研究要比国外起步晚,但近几年在吸取国外思想精华的基础上,也提出了不少自己的观点和看法。比较具有代表性的有:南开大学的李培和刘淑华将网络信息资源评价标准简洁明了地归纳为“IOC”原则和“CARS”检验体系两种;南京大学的张咏博士在网络信息资源评价方面进行了连续性研究;陆宝益利用“调查求重”的方法求得不同评价指标的权重,以区分各项指标的重要程度;戴维民从更宏观和更系统的角度去研究和解决问题,形成一个动态的评价过程,他的这项研究可看作是国内网络信息资源评价研究中的重大突破;南京大学的邵波则提出了以“用户接受,资源内容为中心”的网络信息资源二重评价指标体系,强调从用户最关心的问题以及资源内容本身来提取指标,即用户接受评价和资源内容评价。
  2.2 网络信息资源的绩效评价
  网络信息资源的绩效评价是网络信息资源评价的一个分支,围绕网络信息资源的“绩”和“效”展开,侧重网络信息资源系统运行的效率、效能及用户感知。其中,评价指标(体系)的构建一直是研究的重点。
  国外学者较早展开了相关研究,并取得了一定进展,涉及的指标主要围绕资源的数量及比例、投入成本及比例、资源的使用情况、培训、服务设施和用户感知6个方面(见表1)。
  这些评价指标集中展现了国外学者、研究机构在电子资源绩效评价指标方面的研究成果,在评价电子资源使用绩效方面发挥了重要作用,为网络信息资源的绩效研究奠定了基础。
  国内学者在国外研究成果的基础上,也展开了相关研究:
  ?盛小平从数字资源构成角度出发,分别对实体馆藏和虚拟馆藏建立了评价指标体系,既包含电子资源质量的评价指标,又包括电子资源服务绩效的评价指标,对电子资源进行全面、综合的评价;在评价方法的选择上,在肯定用户评议法、统计分析法与引文分析法适用性的同时,建议推广和应用成本一收益分析法,并给出主要步骤。
  
  ?李友诚从对数据加工格式、数字资源收录质量、信息描述与组织方法、数据构成时间等影响因素的分析着手,论述了数字资源、服务质量、存储体等共同构成的数字馆藏资源的评价体系。
  ?索传军从信息基础设施、使用、成本、服务4个方面构建了数字资源的绩效指标评价体系,提出了14项具体指标,并对每项指标从目的、范围、定义和方法四个方面进行了详细的阐述;侧重于数字资源的服务绩效,着重评价数字资源的效率与效能。
  ?徐革从理论上系统地分析和阐释了影响大学图书馆电子资源绩效的内外部环境,创建了大学图书馆电子资源绩效的分析性思维模式和具有可操作性的绩效评价方法。他以服务质量差距理论GAP、SE-RVQUAL评价模型和以用户感知为中心的图书馆绩效评价模型LibQUAL+为理论基础,构建一个以内部图书馆专家群体确定和外部终端用户群体感知为核心的、融合满意程度和服务质量的大学图书馆电子资源绩效评价理论模型。
  ?马越提出数字馆藏服务绩效监控的理念,构建了一个由驱动性指标和结果性指标构成的监控指标体系,并对监控指标的获取方法进行说明,以期据此实现对数字馆藏服务绩效的有效管理与控制。
  ?王宏鑫将网络信息服务的绩效评价分为三个部分:①网络信息服务系统建设绩效评价;②网络信息资源建设绩效评价;③用户感知服务绩效评价。其中,网络信息服务系统建设绩效评价指标包括网络信息服务组织建设、网络信息服务平台建设和网络信息服务质量管理体系建设;网络信息资源建设绩效评价指标包括网络界面建设绩效评价指标和数字信息资源质量评价指标;用户感知服务绩效评价指标包括用户感知服务质量设计的评价指标、用户感知服务质量生产的评 价指标、用户感知服务质量控制的评价指标和用户感知服务质量反馈的评价指标。
  ?向阳从数字资源的基本情况、价格、服务及使用4个方面考虑,提出数字资源评估指标体系的建设方案,设计成3级体系,包括32个量化指标,指出数字资源利用统计是数字资源评估的基础,应定期做好统计工作,侧重于数字资源本身的质量评估。
  此外,马费成、肖珑、刘锦山等人均从不同角度展开了对数字、电子等网络信息资源的绩效评价研究,并取得了相应进展。总之,我国图书馆界已经认识到网络信息资源绩效评价的重要性,并开始了对绩效评价指标体系的构建研究。
  
  3 我国网络信息资源绩效评价存在的问题
  
  尽管国内外已经开展了一些项目研究,但至今网络信息资源及其绩效的概念仍不统一,就连国际上的标准也不尽相同;同时,也没有形成一个成熟的评价理论和实际评价模式广泛地应用到图书馆网络信息资源的绩效评价中。我国对网络信息资源的绩效评价研究刚刚起步,从系统的评价理论到评价指标到评价方法都存在空白。
  3.1 可操作性不强,缺乏应用实证研究
  网络信息资源的绩效评价是一项实践性很强的工作,将评价指标应用于实践是重中之重。我国关于网络信息资源的绩效研究才刚刚兴起,仅局限于图书情报学界的某位学者,还未形成有组织有规模的研究团体,其研究成果更是建立在个人经验或设想的基础上,具有浓烈的主观色彩,其可获取性和可操作性均未得到实践检验,与实际严重脱钩,仍需大量的实证研究。
  3.2 理论基础薄弱,方法传统
  与网络信息资源绩效相关的研究中,绝大多数都停留在单纯对内容质量进行评价上;或干脆对国外研究成果进行归纳总结,并没有跳出国外的研究思路,系统地进行绩效评价理论及方法的研究分析,缺少系统科学的理论做支撑。迄今为止,也没有形成统一的网络信息资源绩效评价指标体系,现有的研究成果往往与我国实际情况不相符,不具实用性;研究方法仍停留在传统图书馆的服务绩效评价理论上。我国网络信息资源的绩效研究必须建立在完备的科学理论基础上,结合我国特有国情,借鉴国外的成功经验,系统科学地分析、设计,反复地实践、调整,方能构建出合理适用的网络信息资源绩效评价指标体系。
  3.3 术语不规范,方向不明确
  术语不规范、语义含糊不清已是不争事实,诸如“绩效评价”的中英文译法,“网络信息资源”的相关表达等。陆宝益就曾对一些学者将评价指标称作“标准”提出过质疑,他认为“一套标准的制订不是一两个人通过一两篇文章就能解决的问题,它需要在实践中经过不断反复的检测以进行修改、补充和完善。而且,作为标准不仅要有较为完整的指标体系,每条指标还要有具体的量、度‘界值’,以便于人们掌握和运用。而多数作者提出的所谓‘标准’,既未反映出经过实践的检测,亦无具体的‘界值’,只是不完全列举了评价网络信息资源时应该考虑的因素,亦即‘指标’而已”。
  概念模糊不清,表达方式多样化,给研究者带来理解上的歧义。译法与表达上的细微差别也将影响研究的重心及方向,进而影响对网络信息资源绩效评价的深入研究。
  
  4 网络信息资源绩效评价的思考
  
  4.1 与时俱进,加强应用实证研究
  构建科学合理的绩效评价指标体系最终目的是应用并指导实际工作,而在目前所建立的绩效评价指标体系中,有些指标看似合理,但其可获取性和可操作性不强,并不具备实用性。一个评价指标体系的形成、一种评价方法的选定以及一个评价模型的构建,并不完全归纳总结于已有的研究经验,而是在反复测试、调整中锤炼出来的。因此,开展网络信息资源绩效评价的实践应用研究将成为日后工作的研究重点和方向。
  同时,网络信息的异构性使得它没有统一的体系和结构,表现多样,变动频繁,造成网络信息不稳定的特性,因此,网络信息资源评价是一个动态的不断发展的过程,在评价时要及时调整评价指标以适应不断更新的网络信息资源,坚持科学动态的评价,与时俱进。
  4.2 开展多方法相融合的绩效评价研究
  网络信息资源绩效评价常用的方法有定性评价方法、定量评价方法与定性、定量相结合的综合评价法。其中,定性评价方法居多,但使用该方法构建的指标体系主观色彩过于浓重,使得评价结果往往与实际不相符,甚至背离;在此情形下,定量评价方法的介入在一定程度上改善了评价结果可操作性差的局面,然而又受评价过程中太多不确定因素的影响,使网络信息资源的绩效评价陷入瓶颈。为此,定性评价与定量评价相结合的综合评价方法势在必行。定性评价方法的全面性和成熟性可以弥补定量评价方法的不确定性;定量评价方法的科学性、客观性可以弥补定性评价方法的主观性,进而达到综合、科学评价网络信息资源的目的。
  如何将多种方法有机融合形成定性、定量评价互补的综合评价体系,如何借助新的评价工具简化评价过程、方便计算并实时调整各指标权重都将是未来研究的主攻方向。笔者目前正尝试将熵、小波及贝叶斯网络等数学工具应用到网络信息资源的绩效评价中。
  4.3 形成相互协作的规模化研究组织
  国外对网络信息资源绩效评价的研究多以学术团体或图书馆联盟为主要研究者,其中既有相关领域的学者,又有从事图书馆实际工作的馆员,并且遍布全国范围或地区范围。相对而言,我国的研究者多为相关领域的研究人员或图书馆馆员,研究多以个人方式为主,没有形成跨地域的研究组织。局限在个人视野的研究不具理论高度,只有形成跨学科、跨领域的多层次研究组织,才能借百家之长,拓宽研究视野,使研究成果更具学术价值和应用前景。
  除此之外,如何完善指标体系和指标语义,如何改进评价模型,如何分析和解释评价结果等,都将成为我国网络信息资源绩效评价最终能否付诸于实践需要亟待解决的关键问题。