Какая часть речи слово «весьма», можно определить по общему значению, вопросу, заданному к нему, и грамматическим признакам.

Чтобы понять, какая часть речи слово «весьма», рассмотрим словосочетания:

весьма утонченный;
весьма преданно смотрит.

Это слово зависит от прилагательного или наречия. Оно обозначает степень признака. К нему зададим вопросы:

утонченный (в какой степени?) весьма;
смотрит преданно (в какой мере?) весьма.

Слово «весьма» не изменяется. Его можно заменить словами «очень», «совершенно», «крайне», «слишком».

Грамматические признаки, а также принцип синонимичной замены укажут, что 

слово «весьма» — это наречие.

Постоянным морфологическим признаком наречия является разряд по значению.
«Весьма» — это наречие меры и степени.