在大多数情况下，上网冲浪是件令人愉快的事情。但若是数百上千的超链接摆在你面前，而你又不得不一一点击这些链接、进入相应的网页、手工筛选出每页里你需要的信息、最后再将这些信息编进数据库中、….，你将做何感想？如果每天都从事这种繁杂、枯燥的工作会不会让你发疯?
“自动上网机器人”或许可救你出“苦海”：你可以喝着咖啡、听着音乐、看着“机器人”辛勤地替你工作，那感觉是不是棒极了！
本文结合实例详尽讨论了用VB实现“上网机器人”的技术细节。我们知道，搜集和下载资料是人们使用互联网的最主要的目的之一，但有些信息资源过于庞大，用手工摘取的方法是困难的或根本就是行不通的。例如，你需要搜集欧洲进口机械设备的公司名录以便给他们发信邀请其参加博览会，在网上找到这些信息并不难，但出于数据安全等方面的考虑，几乎所有提供类似信息的网站都没有提供直接下载数据的功能。
要想搜集齐想要的数据，唯一可用的方法就是一页一页地浏览每个公司的信息页，摘取其中有用的数据并存入数据库。但当公司总数超过数千时，巨大的工作量会让任何人望而却步！其实，这浩大的工作完全可以由程序来完成，因为这些任务完全是机械的重复性工作。而且，用程序完成比用手工要快得多。本文涉及的技术细节是通用的，即对实例程序稍加修改就可完成任何“自动上网冲浪”任务。
自动拨号上网、自动处理中途掉线、任务完成后自动挂断，这些都是“上网机器人”的最基本的功能之一。它还能给你带来明显的经济回报：如果你让“机器人”在晚间至凌晨的上网费优惠期内拨号上网去自动冲浪，那真可称得上是典型的“一石三鸟”—-你睡觉、它工作、还省钱！有关这方面的细节将在本文的第三部分里讨论。该部分提供了实现上述各功能的若干方法，并比较了这些方法各自的优劣。
本文的第一和第二部分分别以两个实例讨论了自动浏览的技术细节：在网页上的输入区内自动填入数据以便完成诸如用户登录等的操作、自动更新CheckBox、自动选择下拉式列表（ComboBox）的值、自动点击网页上的按钮、从网页上精确提取有用的数据并存盘、将网页上二维表（Table）内的数据一一提取出来并转换且存储成可直接导入数据库或 Excel的格式，以及控制浏览进程的技巧等等。
第一部分 从网页上精确提取数据
本部分的实例是：下载沪深两市全部约1100家个股的基本信息及财务数据。若用手工操作，如上图所示，需要在股票代码区内分别输入1100个股票代码，在下拉式列表（ComboBox）中分别选择“个股资料”和“财务数据解读”，算下来约是2200次操作！这样的工作当然是由程序来完成划算得多。况且手工提取数据（先选中、再使用Ctrl+C拷贝）极容易出错（多选或漏选），又很费眼神。
1. 在输入区内自动填入数据
为使程序能高效地自动浏览，需引入一些最基本的功能，如在输入区内自动填入数据、自动点击按钮等等。虽然用变换 URL地址的方法有时也能完成任务，但往往过于费力，尤其当网页上的输入区较多时更是如此。
为了在输入区内输入数据，需要先搜索到该对象的名字，然后将该对象的值置为要填入的数据即可。搜索名字的工作可编程完成，亦可用 FrontPage轻松获得。
2. 自动在下拉式列表（ComboBox）中进行选择
同样地，首先要获得下拉式列表的名字。然后根据下拉式列表的元素总数（length属性）在列表中搜索要设置的值（列表的 Options集合中元素的Text属性），找到后，将该元素设为选中元素（元素的Selected属性）。
3. 自动点击按钮
对于按钮来讲，可根据其名字访问，亦可根据其值访问。按钮的值就是显示在按钮上的文字。一个按钮可能没有名字，但一定有值。本例的程序就是根据值来访问按钮。执行按钮的 Click方法就相当于点击了该按钮。
图二中红色箭头所指即为程序自动填入输入框、自动在ComboBox中选择以及自动点击按钮的情况。
4. 精确提取数据
仅将有用的数据存储下来才是有意义的。必须研究网页，找出有效数据所在的Tag区（可用文本编辑器或 FrontPage），然后用该对象的innerText属性获得最终的文本。本例中要存储的数据如下图所示，其所用的Tag为“PRE”。
下面给出的是实例程序的完整代码：
‘ 程序一：从网页上精确提取数据
‘
‘ 为运行本程序，应在“菜单->工程->部件”中添加“Microsoft Internet Controls”
‘ 并在“菜单->工程->引用”中添加“Microsoft HTML Object Library”
‘
‘ 为了简洁，程序仅下载九只个股的基本信息
Option Explicit
Private Const Form_ID = 1
Dim Code(9) As String
Dim Current As Long
Private Sub Form_Load()
Form1.MousePointer = 11
‘ 以下是个股代码
‘ 为了程序简洁，这里仅使用九只代码。
‘ 而在真实环境中，应从数据文件中读入全部个股代码。
Code(0) = "600001": Code(1) = "600002": Code(2) = "600003"
Code(3) = "600005": Code(4) = "600006": Code(5) = "600007"
Code(6) = "600008": Code(7) = "600009": Code(8) = "600010"
Current = 0
WebBrowser1.Navigate "www.stockstar.com.cn" ‘ 起始网址
End Sub
Private Sub WebBrowser1_DocumentComplete(ByValpDisp As Object, URL As Variant)
Dim i, k
Text2 = WebBrowser1.LocationURL ‘ 显示当前网址
‘ 判断当前网页是否全部调入完毕
If Not (pDisp Is WebBrowser1.Object) Then Exit Sub
On Error Resume Next
Select Case Text2
Case "http://www.stockstar.com.cn/home.htm" ‘ 当进入主页面时执行以下程序
For i = 0 To WebBrowser1.Document.Forms(Form_ID).length - 1
‘ 找到代码输入框后填入个股代码
If WebBrowser1.Document.Forms(Form_ID)(i).Name = "code" Then _
WebBrowser1.Document.Forms(Form_ID)(i).Value = Code(Current)
‘ 在下拉式列表中进行选择
If WebBrowser1.Document.Forms(Form_ID)(i).Name = "target" Then
For k = 0 To WebBrowser1.Document.Forms(Form_ID)(i).length - 1
If WebBrowser1.Document.Forms(Form_ID)(i).Options(k).Text _
= "个股资料" Then
WebBrowser1.Document.Forms(Form_ID)(i).Options(k).Selected = True
Exit For
End If
Next k
End If
‘ 点击按钮
If WebBrowser1.Document.Forms(Form_ID)(i).Value = " 查询 " Then _
WebBrowser1.Document.Forms(Form_ID)(i).Click
Next
Case Else ‘ 当进入数据页面时执行以下程序
For i = 0 To WebBrowser1.Document.All.length - 1
If WebBrowser1.Document.All(i).tagName = "PRE" Then
‘ 精确提取数据
Text1 = Text1 + Code(Current) + vbCrLf + _
WebBrowser1.Document.All(i).innerText + vbCrLf
Exit For
End If
Next
‘ 数据存盘
Open "C:\Data2.Txt" For Append As #1
Print #1, Text1: Text1 = "": Close #1
‘ 换下一只股票
Current = Current + 1
If Current >= 9 Then
‘ 上网任务完成后，应在此调用自动挂断过程。
Form1.MousePointer = 0: MsgBox "Finished!": End
End If
‘ 回退到主页面，查询下一只股票的信息
WebBrowser1.GoBack
End Select
End Sub |
