香港虚拟主机的访问速度受以下因素影响：

数据中心位置：虚拟主机所在的数据中心距离用户的物理位置越近，访问速度会越快。

网络带宽：数据中心的网络带宽大小将直接影响虚拟主机的访问速度。

服务器性能：虚拟主机所在的服务器性能越好，处理请求的速度就越快。

网络拥堵：如果数据中心所在的网络出现拥堵，虚拟主机的访问速度可能会受到影响。

网络质量：网络的稳定性和质量也会影响虚拟主机的访问速度。

站点设计和优化：站点的设计和优化程度也会影响虚拟主机的访问速度，如图片压缩、缓存等技术可以提升网站访问速度。

综上所述，虚拟主机的访问速度受多种因素影响，包括数据中心位置、网络带宽、服务器性能、网络拥堵、网络质量以及站点设计和优化等因素。