◇ 北京大学法学院教授、博士生导师 张 平
2012年8月，360公司与百度公司关于搜索引擎爬虫行为争议引发的“三百大战”，将互联网行业多年遵循的处于后台的行业惯例，即“爬虫协议”的法律效力问题推到了前台。
爬虫协议的概念，源自英文的“robots,txt”，即网络机器人协议。robots协议官方网站（http://www.robotstxt.org）对网络机器人（robots）所下的定义为：网络机器人（也叫网络游客、爬虫程序、蜘蛛程序），是一种自动爬行网络的程序。而爬虫协议即robots协议是指网站所有者利用robots文本文件指导他们的网站如何应对网络机器人，允许还是拒绝网络机器人抓取信息的协议。
多年来，业界一直遵循这种技术协议。现在的问题是，如果违反这一协议，是否构成违约或者侵权，是否有不正当竞争行为，而在无法寻找到直接的法律规范的情况下，能否依反不正当竞争法寻找解决问题的途径。
反不正当竞争法由于颁布时间过早，对于之后的技术发展很难有预见性，其规定的具体不正当竞争行为没有适用于互联网领域的不正当竞争现象。因此，大家都将目光投向了反不正当竞争法的一般条款，试图通过适用一般条款，对互联网的竞争行为进行规制。
反不正当竞争法的一般条款规定在第二条第一款：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。”以及第二款：“本法所称不正当竞争行为，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为。”构成适用反不正当竞争法一般条款的构成要件是：第一，法律对该种竞争行为未作出特别规定；第二，其他经营者的合法权益确因该竞争行为而受到了实际损害；第三，该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者可归责性；第四，扰乱了正常的经济秩序。
由上述分析可知，一般条款适用的核心点为诚实信用和遵守商业道德，二者是判断竞争行为是否正当的基础。当面临某一竞争行为是否构成反不正当竞争法意义上的不正当竞争行为时，应考量其是否违背了诚实信用原则或违背了基本的商业道德。
最高人民法院在“海带配额”案中对于反不正当竞争法意义上的诚实信用原则以及商业道德进行了具体的解释：“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德的形式体现出来的。商业道德要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判……反不正当竞争法所要求的商业道德必须是公认的商业道德，是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。即使在同一商业领域，由于是市场交易活动中的道德准则，公认的商业道德也应当是交易参与者共同和普遍认可的行为标准。具体到个案中的公认的商业道德，应当结合案件具体情形来分析判定。”
互联网行业中公认的商业道德更多地体现为互联网行业的基本行为准则，相关行为准则表现为从事互联网行业的企业所普遍接受的行为规则。但这些行为准则并非法律法规明确规定，而是在具体的商业实践过程中被企业在实际经营活动中所遵循。对于这些行为准则的违反意味着对商业道德的违反，相关行为可能构成反不正当竞争法一般条款所规定的不正当竞争行为，应受反不正当竞争法的规制。
而从行业内的基本实践以及法院的相关判决中我们可以看出，遵守爬虫协议已经成为互联网行业的基本行为准则。
1994年6月30日，在经过搜索引擎技术人员以及被搜索引擎抓取的网站站长共同讨论后，robots.txt协议正式发布。协议在世界互联网技术邮件组发布后，几乎所有的搜索引擎均在商业实践中予以采用并遵循，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司。在中国国内互联网行业，大型网站也基本都将爬虫协议当作一项行业基本准则。
从法院判决的角度考察，国内存在一些具有指导借鉴意义的判例，法院在判决中对爬虫协议作为行业基本行为准则的效力进行了相应的确认。
在一起有关百度搜索侵犯隐私权的案例中，原告向万网公司发送了附有其个人信息的电子邮件，但是通过百度搜索，可以搜索到万网公司电子邮箱中关于原告的个人信息，因此，原告起诉两家公司，要求其就对其隐私权的侵害赔礼道歉并赔偿损失。北京市第一中级人民法院认为，万网公司已按行业惯例在根目录下安装了禁止链接的robots协议，即采取了安全防范措施。百度搜索引擎在进行抓取和收集互联网信息时，除非有证据证明其恶意获取相关信息，否则其行为并无不当。因此，对于搜索引擎来说，只要其在进行信息收集及抓取的过程中遵守了爬虫协议，就不会构成侵权。
北京一中院在另一起浙江泛亚电子商务有限公司诉百度著作权侵权的案件中，再一次确认了爬虫协议的相关效力。原告泛亚公司称在百度搜索其享有著作权的三首歌曲时，百度会提供可以进行免费下载该歌曲网站的链接，侵犯了其著作权。法院在判决中认为，权利人在针对搜索引擎的维权行为中，可以选择明示禁止收录的措施，比如网站可以创建robots.txt文件，以告知搜索引擎哪些内容可以收录，搜索引擎可以合法地收录未被禁止链接的网站。从这份判决可以看出，搜索引擎在提供搜索服务时，应当遵守爬虫协议。因此，遵守爬虫协议已经成为互联网行业内部的行业基本规范与准则。违反爬虫协议的行为可能构成不正当竞争。
在技术快速进步的时代，规制技术前沿领域是十分困难的，多变的互联网一夜之间就会产生出许多新的商业模式。技术开发者以技术先进性为追求目标，商人以最大盈利为目标，他们在推出新的商业模式和新技术时不会太多考虑法律的存在。于是在互联网领域，技术的快速发展与法律的严重滞后这一矛盾就更加突出。面对这一矛盾，法律的原则性条款在解决新问题方面有着得天独厚的优势，学者与司法实践人员都越来越注重原则条款在反不正当竞争领域内的作用，试图通过适用一般条款对互联网的竞争行为进行规制。
我们也应注意到，在法律缺位时，互联网也依靠她自身强大的调节作用、依靠技术标准和行业自律规则保持着良好运转：
第一，依靠技术规范管理——技术标准发挥重要作用。现代互联网是依据技术协议构建秩序的，经由各种组织和工程师们的多种汇集产生的基础协议TCP/IP协议最具有代表性，它是被用作连接计算机和网络的上百个协议的基础，其构建了信息传输的一整套技术标准。在这些技术标准中，尽管充满着创新的结晶——专利技术，但他们都被无偿地奉献给了互联网的基础设施。这些协议规范着信息高速公路上的通行者，没有警察但是有红绿灯，这是严格的技术规范世界。新的技术标准也可能会影响预料之中和预料之外的网络法律关系。云技术介入互联网，物联网的开始都是技术标准先行，工程师们继续发展新的协议去扩展互联网的容量和效率。随着新的标准的采纳，技术将继续推动法律产生变化。从这个意义上看，掌控了互联网新的技术标准，也就掌控了未来法律的方向。
第二，非正式规则与惯例——行业惯例与自律规则发挥作用。千百年来习惯法确立的是：惯例和习俗能确定什么是合理的。在缺乏强制性规则和技术标准的互联网领域，惯例和习俗形成的规律是：最初时大家各自采用不同的做法，随后某个人或某些人提出一种倡议的规范，慢慢地开始有人遵循使用。随着使用的人越来越多，逐渐演变成行业通用的惯例，大家都遵照使用。但规范本身并未被法律或行业组织确定为具有强制性，例如超文本传输协议（Http协议）、记录网民访问记录的Cookie以及前文涉及的爬虫协议等。
这些规范对于调节互联网参与各方的行为发挥着重大的作用。互联网没有国界，如果某一国家的互联网从业者不遵守国际通用的规范，将受国际互联网行业的排挤，使整个国家的互联网行业无法融入世界。因此，如果是国际通用的技术标准或行业惯例，法院应当将其确立为具有法律效力的商业习惯法，在发生违约或者侵权案件时，自愿性的规范应当被倡导，而基于商业道德和行业惯例的自律规则更应当得到法律的支持，反不正当竞争法的一般条款当为合适选择。
关于加强机动车辆商业保险条款费率管理的通知
中国保险监督管理委员会
关于加强机动车辆商业保险条款费率管理的通知
保监发〔2012〕16号
各财产保险公司、各保监局、中国保险行业协会:
为进一步规范机动车辆商业保险（以下简称商业车险）市场秩序，完善商业车险监管制度，遵循维护社会公众利益和防止不正当竞争的原则，根据《中华人民共和国保险法》、《财产保险公司保险条款和保险费率管理办法》等法律法规及相关规定，现就加强商业车险条款费率管理的有关事项通知如下：
一、关于商业车险条款费率拟订的原则
（一）保险公司应当依据法律、行政法规和中国保险监督管理委员会（以下简称保监会）的有关规定拟订商业车险条款和费率。保险公司应当对拟订的商业车险条款费率承担相应的法律责任。
保险公司拟订的商业车险条款费率应当报保监会批准。保险公司应当严格执行经保监会批准的商业车险条款和费率。
（二）保险公司拟订商业车险条款应当遵循依法合规、公平合理、诚实信用、通俗易懂原则。
保险公司拟订商业车险费率应当遵循充足原则和公平原则，应当与保险责任相匹配，能够补偿风险转移的成本，不得危及公司财务稳健和偿付能力，不得损害投保人、被保险人合法权益。
（三）中国保险行业协会应当组织专业人才力量，研究拟订中国保险行业协会机动车辆商业保险示范条款（以下简称“协会条款”）、机动车辆参考折旧系数和车型数据库，供保险公司参考、使用。
中国保险行业协会应当收集、统计和分析全行业商业车险经营数据，至少每两年测算一次商业车险行业参考纯损失率，供保险公司参考、使用。
中国保险行业协会应当将拟订的商业车险协会条款和行业参考纯损失率向保监会报告。
（四）保险公司可以参考或使用协会条款拟订本公司的商业车险条款，并使用行业参考纯损失率拟订本公司的商业车险费率。
连续两个会计年度综合成本率低于行业平均水平且低于100%的保险公司，在按照行业参考纯损失率拟订本公司商业车险条款和费率时，可以在协会条款基础上适当增加商业车险条款的保险责任。
保险公司在使用协会条款和行业参考纯损失率时，应当及时将实施过程中所遇到的问题向中国保险行业协会报告。中国保险行业协会应当及时组织成员单位对有关问题进行评估、论证、修订，并将有关情况向保监会报告。
（五）符合以下条件的保险公司可以根据公司自有数据拟订商业车险条款和费率：
1.治理结构完善，内控制度健全且能得到有效执行，数据充足真实，经营商业车险业务3个完整会计年度以上；
2.经审计的最近连续2个会计年度综合成本率低于100%；
3.经审计的最近连续2个会计年度偿付能力充足率高于150%；
4.拥有30万辆以上机动车辆商业保险承保数据；
5.设置专门的商业车险产品开发团队，配备熟悉法律、车险定价实务的经营管理人员，建立完善的业务流程和信息系统；
6.保监会要求的其他条件。
（六）保险公司根据公司自有数据拟订的商业车险条款应当根据实际需要广泛公开征求意见，并组织有关专家进行论证。
二、关于商业车险条款拟订及执行的要求
（一）商业车险合同当事人的法律地位平等，一方不得将自己的意志强加给另一方。
商业车险合同自愿、协商一致订立，并遵循公平原则确定各方的权利和义务。
（二）商业车险条款应当内容完整、格式清晰、方便阅读。订立商业车险合同，保险公司向投保人提供的投保单应当附保险条款。
（三）保险公司应当在投保单首页最显著的位置，用红色四号以上字体增加“责任免除特别提示”，对保险条款中免除保险公司责任的条款作出足以引起投保人注意的提示，并采用通俗易懂的方式，对该条款的内容以书面或者口头形式向投保人作出明确说明。
保险公司应当提示投保人在投保单“责任免除特别提示”下手书：“经保险人明确说明，本人已了解责任免除条款的内容”并签名。
（四）保险公司应当在保险单醒目位置注明“为保护投保人合法权益，投保人在签署保险合同时应当仔细阅读保险合同内容特别是责任免除条款，审慎选择保险产品。本保险合同如有违反法律法规情形，由本公司依法承担责任。”
（五）商业车险条款应当包括下列事项：
1.保险责任；
2.责任免除；
3.保险金额确定方式；
4.保险金赔偿办法。
（六）商业车险条款应当在风险可控的原则下尽可能满足投保人和被保险人的不同保险需求，责任明确、保障合理。
（七）商业车险条款应当将所有涉及免除保险公司责任的条款集中放在责任免除项下列明，并采用加黑等足以引起投保人注意的方式进行提示。
商业车险条款不得出现免除保险人依法应承担的义务或者加重投保人、被保险人责任的条款，不得出现排除投保人、被保险人依法享有的权利的条款。
（八）保险公司和投保人应当按照市场公允价值协商确定被保险机动车的实际价值。保险公司应当与投保人协商约定保险金额。
（九）商业车险条款设置适当的免赔额和免赔率，应当依照防范道德风险、节约社会资源、促进被保险人防灾减损的目的，遵循条款清晰明确、风险共担比例公平合理、不损害被保险人合法权益的原则。
（十）商业车险条款不得要求被保险人提供与确认保险事故的性质、原因、损失程度等无关的证明和资料。
（十一）因第三者对被保险机动车的损害而造成保险事故的，保险公司自向被保险人赔偿保险金之日起，在赔偿金额范围内代位行使被保险人对第三者请求赔偿的权利。保险公司不得通过放弃代位求偿权的方式拒绝履行保险责任。
中国保险行业协会应当按照方便被保险人理赔的原则，结合保险公司商业车险条款所规定的保险责任，制订保险公司理赔实务指引，并做好相关的配套工作。
（十二）保险公司应当严格执行经保监会批准的商业车险条款和费率，不得通过批单、特别约定等方式对经保监会批准的商业车险条款和费率作出实质性变更。
三、关于商业车险费率拟订及执行的要求
（一）保险公司拟订商业车险费率，原则上预定附加费用率不得超过35%。
保险公司可以根据电话、网络、门店等不同的销售渠道，拟订不同的附加费用率水平。
（二）商业车险费率浮动因子应当根据机动车辆和驾驶人的风险状况等合理设置，明确规范。
（三）保险公司应当根据历史经验数据、经营情况和准备金提取等实际情况，每年对商业车险费率进行合理性评估验证。
保险公司最近2个会计年度平均商业车险综合赔付率与商业车险预定赔付率相差较大的，保险公司应当向保监会报告说明原因。
四、关于商业车险条款费率的监管
（一）保险公司向保监会报送商业车险条款和费率，除应当提交《财产保险公司保险条款和保险费率管理办法》规定的材料外，还应当提交以下材料：
1.本公司商业车险条款与中国保险行业协会拟订的协会条款的区别，并说明详细理由;
2.商业车险费率，包括预期赔付支出（含直接赔付支出、直接理赔费用、间接理赔费用）、营业税及附加、佣金及手续费、经营管理费用、利润及风险附加等；
3.保监会规定的其他材料。
（二）保险公司报送根据公司自有数据拟订的商业车险条款和费率，除应当提交前款规定的材料外，还应当提交下列材料：
1.根据公司自有数据拟订的商业车险使用的纯损失率与行业参考纯损失率的差别；
2.公司最近3个会计年度商业车险经营情况，包括保费收入、赔付水平、费用水平、承保利润、应收保费情况、再保险安排等；
3.根据公司自有数据拟订商业车险业务的可行性研究报告，包括市场分析、产品定位、经营战略、发展规划、市场前景预测等；
4.公司符合本通知关于根据公司自有数据拟订条款费率条件的相关证明材料；
5.保监会规定的其他材料。
（三）保监会可以根据实际需要，对保险公司根据公司自有数据拟订的商业车险条款费率所涉及的材料，进行数据真实性检查。
（四）保险公司使用的商业车险条款和费率违反法律、行政法规或者下列规定的，保监会将责令停止使用，限期修改；情节严重的，可以在一定期限内禁止申报新的保险条款和保险费率：
1.结构清晰、文字准确、表述严谨、通俗易懂；
2.要素完整，不失公平，不侵害投保人、被保险人和受益人的合法权益，不损害社会公众利益；
3.保险费率按照风险损失原则科学合理厘定，不危及保险公司偿付能力或者妨碍市场公平竞争；
4.保险费率可以上下浮动的，应当明确保险费率调整的条件；
5.《中华人民共和国保险法》等法律、行政法规和中国保监会规定的其他要求。
除前款规定外，根据公司自有数据拟订商业车险条款和费率的保险公司有下列情形之一的，由保监会责令停止使用根据公司自有数据拟订的商业车险条款和费率，并限期修改：
1.经审计的上年度偿付能力充足率低于150%；
2.连续两个会计年度综合成本率高于100%。
（五）保险公司未严格执行经保监会批准的商业车险条款或费率的，保监会将依法追究公司和有关人员的责任。
（六）保险公司应当于每年6月30日前向保监会报送商业车险年度报告，包括商业车险条款费率使用执行情况、商业车险费率合理性评估验证情况等。
（七）保险公司应当加强商业车险条款费率内部控制，建立涵盖条款费率研究开发、审批报送、营销宣传、承保理赔、IT系统、验证修订等环节的商业车险条款费率内控制度，健全内部控制和监督机制，确保各项制度能够得到有效执行，确保商业车险条款费率得到严格执行，确保费率拟订数据的真实与完整。
（八）本通知自颁布之日起施行。保险公司应当按照本通知规定对商业车险条款和费率进行修订并报保监会审批。
中国保险监督管理委员会
二〇一二年二月二十三日
