Fetch all href link using selenium in python.
We can fetch href links in a page in Selenium by using the method find_elements(). All the links in the webpage are designed in a html document such that they are enclosed within the anchor tag.
To fetch all the elements having <anchor> tagname, we shall use the method find_elements_by_tag_name(). It will fetch a list of elements of anchor tag name as given in the method argument. If there is no matching tagname in the page, an empty list shall be returned.
Получить все ссылки HREF, используя селен в Python
Я практикую Selenium в Python, и я хотел получить все ссылки на веб-странице, используя Selenium.
Например, мне нужны все ссылки в свойстве href= всех тегов <a> на http: / /psychoticelites.com/
Я написал сценарий, и он работает. Но это дает мне адрес объекта. Я пытался использовать тег id для получения значения, но он не работает.
Мой текущий скрипт:
4 ответа
Ну, вы должны просто перебрать список:
find_elements_by_* возвращает список элементов (обратите внимание на написание «элементов»). Просмотрите список, возьмите каждый элемент и извлеките из него требуемое значение атрибута (в данном случае href ).
Вы можете попробовать что-то вроде:
Вы можете импортировать HTML-файл, используя HTML-библиотеку DOM в Python. Вы можете найти его здесь и установить с помощью PIP:
Приведенный выше код создает объект HtmlDom. HtmlDom принимает параметр по умолчанию, URL-адрес страницы. После создания объекта dom вам необходимо вызвать метод HtmlDom «createDom». Это проанализирует html-данные и создаст дерево разбора, которое затем можно будет использовать для поиска и манипулирования html-данными. Единственное ограничение, налагаемое библиотекой, состоит в том, что данные, будь то html или xml, должны иметь корневой элемент.
Вы можете запросить элементы, используя метод «find» объекта HtmlDom:
Приведенный выше код распечатает все ссылки / URL-адреса, представленные на веб-странице
Python Selenium — get href value
I am trying to copy the href value from a website, and the html code looks like this:
I’ve tried driver.find_elements_by_css_selector(«.sc-eYdvao.kvdWiq»).get_attribute(«href») but it returned ‘list’ object has no attribute ‘get_attribute’ . Using driver.find_element_by_css_selector(«.sc-eYdvao.kvdWiq»).get_attribute(«href») returned None . But i cant use xpath because the website has like 20+ href which i need to copy all. Using xpath would only copy one.
If it helps, all the 20+ href are categorised under the same class which is sc-eYdvao kvdWiq .
Ultimately i would want to copy all the 20+ href and export them out to a csv file.