url重写与 google yahoo 蜘蛛
来源:互联网 发布:迪杰斯特拉算法 c++ 编辑:程序博客网 时间:2024/06/11 15:55
我们知道做网站.要对搜索引擎采取一定的措施..至少也得url重写一下.可是呢.问题来了
我们发现google yahoo蜘蛛没有办法捉到网页了 baidu可以.
全部是500错误或是302错误..被弄得晕晕.
只好把错误给记下来了.
System.Web.HttpUnhandledException: 引发类型为“System.Web.HttpUnhandledException”的异常。 ---> System.Web.HttpException: 无法使用前导 .. 在顶级目录上退出。这个错误.搜索一下立即就发现有人碰到这个问题了
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
转自:http://www.cnblogs.com/lovebanyi/archive/2007/07/07/809840.html
我们发现google yahoo蜘蛛没有办法捉到网页了 baidu可以.
全部是500错误或是302错误..被弄得晕晕.
只好把错误给记下来了.
void Application_Error(object sender, EventArgs e)
{
Exception error = Server.GetLastError();
string path = Server.MapPath(DateTime.Now.ToShortDateString()+"error.log");
System.IO.StreamWriter sw = new System.IO.StreamWriter(path, true);
sw.WriteLine("DateTime:"+DateTime.Now+"/t"+error.ToString());
for (int i = 0; i < Request.Params.Count; i++)
{
sw.WriteLine( Request.Params.Keys[i] + ":" + Request.Params[i].ToString()+"");
}
sw.WriteLine("End/r/n");
sw.Close();
}
一看原来是{
Exception error = Server.GetLastError();
string path = Server.MapPath(DateTime.Now.ToShortDateString()+"error.log");
System.IO.StreamWriter sw = new System.IO.StreamWriter(path, true);
sw.WriteLine("DateTime:"+DateTime.Now+"/t"+error.ToString());
for (int i = 0; i < Request.Params.Count; i++)
{
sw.WriteLine( Request.Params.Keys[i] + ":" + Request.Params[i].ToString()+"");
}
sw.WriteLine("End/r/n");
sw.Close();
}
System.Web.HttpUnhandledException: 引发类型为“System.Web.HttpUnhandledException”的异常。 ---> System.Web.HttpException: 无法使用前导 .. 在顶级目录上退出。这个错误.搜索一下立即就发现有人碰到这个问题了
原因
因为使用了URLRewirter的缘故,google的搜索引擎是不支持cookie,因此asp.net会自动把session标识插入在返回的url中,这样搜索爬虫使用..退回到上级目录的时候就会出错了。
解决方案
1.设置cookieless = UseCookies,不管客户端是否支持cookie都使用cookie。
2.因为默认cookieless = UseDeviceProfile,所以可以为搜索引擎建立一个设备文件.browser,弄虚作假一下。《Get GoogleBot to crash your .NET 2.0 site》就有给出了这样的做法了。
3.修改程序,将里面的相对路径(~/)改成绝对路径表示(可以使用Resolve方法)。++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
转自:http://www.cnblogs.com/lovebanyi/archive/2007/07/07/809840.html
- url重写与 google yahoo 蜘蛛
- google与yahoo的区别
- sessionId 与 URL重写
- Google与Yahoo的那些利器
- C# URL 重写与反重写
- URL重写与伪静态
- Google 与 Yahoo 即将对 Flash 提供搜索
- Google 与 Yahoo 即将对 Flash 内容提供索引支持
- Adobe与Google及Yahoo结盟 强化Flash内容搜索
- 挑战Google!传Facebook与Yahoo要联手开发搜索引擎
- Google的蜘蛛模拟器
- 怎样辨别Google蜘蛛
- google baidu yahoo spider
- Session, Cookie, Url重写与Wap
- url重写与静态页面生成
- ASP.NET MVC URL重写与优化
- 搜索引擎优化-URL重写与PHP
- 搜索引擎优化-URL重写与PHP
- js计时器实现页面刷新和幻灯片效果
- Java 单例类
- 关于volatile
- 关于Socket编程中的地址组和协议组
- 生成缩略图
- url重写与 google yahoo 蜘蛛
- C#中图像与数据库相关操作中几点要注意的
- Photoshop文字之——打造牛奶文字
- Delphi2007新功能 -- 有限的栈对象
- 图像存储到XML数据中,并读取出来
- 在SQL Server 2000里设置和使用数据库复制
- ASP.NET常用代码
- Oracle分析函数详解
- HttpHandler