Хуман, браузер и яндекс

Все вопросы касающиеся использования
программы можно задать здесь
Ответить
Anvit
Сообщения: 8
Зарегистрирован: 03 янв 2020, 15:43

Хуман, браузер и яндекс

Сообщение Anvit » 03 янв 2020, 16:50

пример:
https://market.yandex.ru
2 лицензии на 2х разных устройствах (ноут и ПК) по очереди запускал скрипт с разными настройками хумана (включая стандартные , как при установки), перед каждым тестом менял ip (у меня динамический адрес) , чистил кукисы и кеш , тем не менее не помогло, яндекс все время подсовывал капчу, если не с первого раза так со второго захода, на этом же ПК в обычном браузере хром или мозилле более 30 раз заходил на одну и ту же страницу и все отлично. И так на обоих устройствах. После ввода капчи яндекс перестал предлагать капчу и со стандартными и генерированными настройками предоставил доступ к контенту на обоих устройствах , запускал так же по очереди со сменой ip)

руководствовался :
https://humanemulator.info/blog/%d1%83% ... %80%d0%b5/
https://humanemulator.info/blog/%d0%b0% ... %ba%d0%be/

кто то может сталкивался с подобным, каким параметром яндекс узнает о сомнительном пользователе и предлагает ввести капчу и при первом же заходе даже просто если набрать ссылку в окне хумана без запуска скрипта (юзер агент и реферрер реальные) ?

Аватара пользователя
k907
Сообщения: 225
Зарегистрирован: 21 май 2014, 20:32

Re: Хуман, браузер и яндекс

Сообщение k907 » 03 янв 2020, 17:04

У меня нет проблем с Яндексом.
Версия 7.0.43
Настройки - http://prntscr.com/qiwgsy

С кнопками на сайте работайте через http://humanemulator.net/objects/DOM/in ... _click.php

Anvit
Сообщения: 8
Зарегистрирован: 03 янв 2020, 15:43

Re: Хуман, браузер и яндекс

Сообщение Anvit » 03 янв 2020, 17:28

у меня так же последняя версия 7.0.43

Меня интересует возможность создания виртуального браузера с уникальными статическими отпечатками (стандартными и динамическими настройками тут не обойтись) , яндекс маркет используется как тест если маркет распознал как бота, при том что я особо ничего не делал на сайте и использовал паузы между новыми заходами на сайт ( никуда не кликал) то и другие сайты так же могут распознать браузер как фейк.
Просто парсить можно и со штатными настройками, так же ввести капчу не проблема, но у меня другая задача мне нужны виртуальные пользователи с историей просмотров, с кешем, с кукисами и прочими хвостами, а если предлагают ввести капчу значит, что то пошло не так и дело не в ip, так как с этим же ip в обычном браузере капчу не предлагает...
Последний раз редактировалось Anvit 03 янв 2020, 18:11, всего редактировалось 2 раза.

Аватара пользователя
k907
Сообщения: 225
Зарегистрирован: 21 май 2014, 20:32

Re: Хуман, браузер и яндекс

Сообщение k907 » 03 янв 2020, 17:51

Я сейчас делаю проект по продвижению сайтов в выдаче Яндекса за счет поведенческих факторов, за несколько дней тестов сайт поднялся с седьмой на первую страницу.

Скорее всего у вас не в отпечатках браузера проблема.

Anvit
Сообщения: 8
Зарегистрирован: 03 янв 2020, 15:43

Re: Хуман, браузер и яндекс

Сообщение Anvit » 03 янв 2020, 20:27

Код: Выделить всё

<?php







$ua_mozilla = array(
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'
);



$ua_chrome = array(

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 OPR/56.0.3051.116',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36 OPR/49.0.2725.47',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 OPR/52.0.2871.99',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36 OPR/53.0.2907.68',
'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 YaBrowser/19.9.0.1343 Yowser/2.5 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 OPR/56.0.3051.52',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 OPR/52.0.2871.99',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
);


$video_GPU_array = array('NVIDIA GeForce GTX 660 Direct3D11',
'NVIDIA GeForce GTX 660 Ti Direct3D11',
'NVIDIA GeForce GTX 670 Direct3D11',
'NVIDIA GeForce GTX 680 Direct3D11',
'NVIDIA GeForce GTX 690 Direct3D11',
'NVIDIA GeForce GTX 650 Direct3D11');

$video_GPU_array_notebook = array(
'AMD Radeon 520 Direct3D11',
'AMD Radeon 530 Direct3D11',
'AMD Radeon 535 Direct3D11',
'AMD Radeon 540 Direct3D11',
'AMD Radeon 540 X Direct3D11',
'AMD Radeon 620 Direct3D11',
'AMD Radeon R2 Direct3D11',
'AMD Radeon R3 Direct3D11',
'AMD Radeon R4 Direct3D11',
'AMD Radeon R5 Series Direct3D11',
'AMD Radeon R7 Series Direct3D11',
'AMD Radeon R7 M440 Direct3D11');


$mobile_check = 0;



	//"1. Запретим общие кэш и куки : ";
	  //$browser->enable_common_cache_and_cookies(false)." ";
	//  $browser->is_enable_common_cache_and_cookies()."<br>";
	
 
// задаём путь к папке с куками
	 $folder->create("cookies/cookies_".$id_profile);
	 $browser->set_cookies_folder("cookies/cookies_".$id_profile);
     
// задаём путь к папке с кешем
     $folder->create("cache/cache_".$id_profile);
     $browser->set_cache_folder("cache/cache_".$id_profile);
 

// Зададим тор как прокси
 //$browser->enable_proxy("all connections","socks5://127.0.0.1:9150");

// язык ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
//ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
//	ru-RU,ru,en-US,en
$mt_languges = mt_rand(1,2);
if($mt_languges == 1)
{
  $languges = "ru-RU,ru;q=0.".mt_rand(4,9).",en-US;q=0.".mt_rand(3,9).",en;q=0.".mt_rand(3,9)."";
}
else
{
  $languges = "ru-RU,ru,en-US,en";	
}	

 


$arr_lang=explode(",",$languges);
// Задает одинаковыми параметры navigator language, browserLanguage, systemLanguage, userLanguage
// первый из списка
$browser->set_language($arr_lang[0]);
// весь список задаём в accepts
$browser->set_accept_language($languges);
// зададим смешанные акцепты 
$browser->set_accept_encoding("gzip, deflate");
// зададим английские акцепты "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
$set_accept_1 = array("", "", ",image/webp", ",image/jpeg");
$set_accept_2 = array("", "", ",image/png", ",image/apng");
$set_accept_3 = array("", "", ",video/webm", ",video/*");
$set_accept_4 = array("", "", ",application/signed-exchange;v=b3;q=0.9", ",application/signed-exchange;q=0.8", ",application/signed-exchange;q=0.7", ",application/signed-exchange;q=0.6", "", "");
$browser->set_accept("text/html,application/xhtml+xml,application/xml;q=0.".mt_rand(3,9).$set_accept_1[mt_rand(0,3)].$set_accept_2[mt_rand(0,3)].$set_accept_3[mt_rand(0,3)].",*/*;q=0.".mt_rand(2,8)).$set_accept_4[mt_rand(0,7)];




// Зададим navigaror.platform и navigator.cpuClass
$browser->set_platform("Win64","x64");

$count_pro = array("2","4","6");
$count_ddr = array("2","3","4","6","8");
// Зададим количество процессоров 2 и 4 гб памяти и отношение разрешения 1
$browser->set_hardware_info($count_pro[mt_rand(0,2)],$count_ddr[mt_rand(0,4)],1);


$brend_browser = mt_rand(1,2);


if($brend_browser == 1)
{
	// Mozilla
   $vendor = "Google Inc.";
   $mt_num_gecko = 20100101;
   $user_agent_srting = $ua_mozilla[mt_rand(0, count($ua_mozilla)-1)];
   $appMinorVersion = "5.0 (Windows)";
}
else
{
	
   $vendor = "Google Inc.";
   $mt_num_gecko = 20030107;	
   $user_agent_srting = $ua_chrome[mt_rand(0, count($ua_chrome)-1)];
   $appMinorVersion = trim(str_replace("Mozilla/","",$user_agent_srting));
}	
 
// задаём строку в браузер
$browser->set_user_agent($user_agent_srting);

#$mt_num_gecko = mt_rand(20100101,20030107);
 $browser->set_app_info("Netscape", "Mozilla", $appMinorVersion, "Gecko", $mt_num_gecko,$vendor,"");  



// Зададим разрешение 1024x768 и битность 24
$mt_screen_res = mt_rand(1,6);
if($mt_screen_res == 1)
{
	$browser->set_screen_resolution(1366,768,24);
   // изменить размеры окна браузера 
   // случайным образом в диапазоне от 300 до 1200
   // ширину
   $browser->set_width(mt_rand(1301,1345));
   // высоту
   $browser->set_height(mt_rand(706,745));
   $note_check = 1;
}
else
{
	$browser->set_screen_resolution(1920,1080,24);
   // изменить размеры окна браузера 
   // случайным образом в диапазоне от 300 до 1200
   // ширину
   $browser->set_width(mt_rand(1865,1903));
   // высоту
   $browser->set_height(mt_rand(870,902));
   $note_check = mt_rand(1,3);	
}	

//$browser->set_screen_resolution(2560,1440,24);  2560x1276

# задаём координаты Москва 55.607518 - 55.907273 / 37.401537 - 37.788942
 $browser->set_geo("55.".mt_rand(607518, 907273), "37.".mt_rand(401537, 788942));
# задаём timezone Москвы
$browser->set_time_zone(3);

// зададим интернализацию ($locale=»»,$timeZone=»»,$calendar=»»,$numberingSystem=»»,$year=»»,$month=»»,$day=»»)
$browser->set_internazionalization("ru","UTC","gregory","latn","numeric","numeric","numeric");
 
//$ver_DirectX = "vs_".mt_rand(1, 5)."_".mt_rand(0, 7)." ps_".mt_rand(1, 5)."_".mt_rand(0, 7); // vs_5_0 ps_5_0
$ver_DirectX = "vs_5_0 ps_5_0";

if($note_check == 1)
{
	$video_GPU = $video_GPU_array_notebook[mt_rand(0, count($video_GPU_array_notebook)-1)];	
}
else
{
	$video_GPU = $video_GPU_array[mt_rand(0, count($video_GPU_array)-1)];
}	


$New_Unmasked_Vendor = 'Google Inc.';
$New_Unmasked_Renderer = 'ANGLE ('.$video_GPU.' '.$ver_DirectX.')'; //ANGLE (NVIDIA GeForce GTX 750 Ti Direct3D11 vs_5_0 ps_5_0)



if($brend_browser == 1)
{
	// Mozilla
	$New_GL_Version = 'WebGL 2.0';
	$New_Shading_Version = 'WebGL GLSL ES 3.00'; //Shading Language Version
$New_Vendor = 'Mozilla';
$New_Renderer  = 'Mozilla';
}
else
{
	$New_GL_Version = 'WebGL 2.0 (OpenGL ES 3.0 Chromium)';
	$New_Shading_Version = 'WebGL GLSL ES 3.00 (OpenGL ES GLSL ES 3.0 Chromium)'; //Shading Language Version
$New_Vendor = 'WebKit';
$New_Renderer  = 'WebKit WebGL';	
}	
 
// Зададим генерировать случайный WebGL fingerprint:

$gen_WebGL_num = mt_rand(1498990000, 9498990070).mt_rand(1498990000, 9498990070).mt_rand(1498990000, 9498990070);
//$gen_WebGL_num = "";
$browser->set_random_webgl_fingerprint(true,mt_rand(10, 108990),$gen_WebGL_num,
$New_Unmasked_Vendor,$New_Unmasked_Renderer,
$New_GL_Version,$New_Shading_Version,$New_Vendor,$New_Renderer
);
 
# с версии 7.0.43
# зададим максимальное изскажения звукового отпечатка

 $browser->set_random_audio_fingerprint(mt_rand(10000, 999999),mt_rand(1, 99));

// Зададим реферер 
$browser->set_referer("");
# зададим шум
 $browser->set_canvas_toDataURL("data : ".$submitter->generate_random_text(mt_rand(1000,5000),1));
#  с версии 7.0.43
#  Зададим генерировать случайный Bounds fingerprint
 $browser->set_random_bounds_fingerprint(mt_rand(1,999999999));
 


if($brend_browser == 1)
{
$plugins="";
$mimes_types="";
}
else
{
// Зададим navigaror.plugins 
$plugins="[{ name: 'Chromium PDF Plugin', filename: 'internal-pdf-viewer', description: 'Portable Document Format'},    
           { name: 'Chromium PDF Viewer', filename: 'mhjfbmdgcfjbbpaeojofohoefgiehjai', description: ''},    
           { name: 'Adobe Flash Player', filename: 'pepflashplayer32_31_0_0_153.dll', description: 'Shockwave Flash 31.0 r0 System' , version : '31.0.0.153'}]";
 
$mimes_types="[{type: 'application/x-google-chrome-pdf', suffixes: 'pdf', description: 'Portable Document Format', enabledPlugin: Plugin, __pluginName: 'Chromium PDF Plugin'},
               {type: 'application/pdf', suffixes: 'pdf', description: '', enabledPlugin: Plugin, __pluginName: 'Chromium PDF Viewer'},
               {type: 'application/x-shockwave-flash',suffixes: 'swf',description: 'Shockwave Flash',__pluginName: 'Adobe Flash Player'},
               {type: 'application/futuresplash',suffixes: 'spl',description: 'FutureSplash Player',__pluginName: 'Adobe Flash Player'}]";	
}	

// с версии 7.0.41 можно задавать для плагинов типы MIME
$browser->set_plugins_info($plugins,$mimes_types);
 
// сохранить профиль 
$name_browser_profile = $id_profile."_browser_profile.json";
$browser->save_profile($name_browser_profile);
  
 // Установим заданный профиль 
//$browser->load_profile("active_page_profile.json");
 

?>

Код: Выделить всё

<?php

$xhe_host ="127.0.0.1:7011";


require("../../Templates/xweb_human_emulator.php");

$cur_script_folder = $debug->get_cur_script_folder();

$id_profile = mt_rand(12003,123123121);


$browser->navigate('about:blank');
$browser->clear_cookies('', true, true);
$browser->clear_cache();
$browser->clear_address_bar_history();
$browser->clear_history();
$app->pause(1000);
 //$browser->recreate();
 
 // $id_profile
 require("actions/browser_setting.php");
 
 # Установим заданный профиль 
 $browser->load_profile($id_profile."_browser_profile.json");
 $app->pause(1000);

// $browser->set_count(1);
//$browser->set_active_browser(1); 
$browser->set_referer("https://market.yandex.ru/");
  $browser->navigate("https://market.yandex.ru/search?text=%D1%82%D0%B0%D1%87%D0%BF%D0%B0%D0%B4%20%D0%B1%D0%B5%D1%81%D0%BF%D1%80%D0%BE%D0%B2%D0%BE%D0%B4%D0%BD%D 
echo($browser->get_cookie(true));  

 

$app->quit();// Quit
?>


Подскажите, пожалуйста, где ошибка, по которой яндекс маркет блокирует контент

Аватара пользователя
super
Сообщения: 131
Зарегистрирован: 03 ноя 2017, 13:58

Re: Хуман, браузер и яндекс

Сообщение super » 04 янв 2020, 09:50

Вот "Зададим тор как прокси"

Anvit
Сообщения: 8
Зарегистрирован: 03 янв 2020, 15:43

Re: Хуман, браузер и яндекс

Сообщение Anvit » 05 янв 2020, 21:15

super писал(а):
04 янв 2020, 09:50
Вот "Зададим тор как прокси"
какое отношение эта строка имеет к делу?

Аватара пользователя
k907
Сообщения: 225
Зарегистрирован: 21 май 2014, 20:32

Re: Хуман, браузер и яндекс

Сообщение k907 » 05 янв 2020, 22:04

Anvit писал(а):
03 янв 2020, 20:27
Подскажите, пожалуйста, где ошибка, по которой яндекс маркет блокирует контент
В чем конкретно проблема не знаю.
Обратите внимание на это:

1.Сanvas (set_canvas_toDataURL) лучше не трогать, этот отпечаток идентичен у многих пользователей. Как сайты собирают этот отпечаток, js отрисовывает некий текст в canvas (как правило один и тот же текст) затем получает хэш . Этот хэш повторяется у многих пользователей, после set_canvas_toDataURL получается уникальный хэш, для сайта это явный признак манипуляций с браузером.
Можно скопировать js код для отрисовки canvas, прогнать его на разных компьютерах, получить реальный хэш этих систем и ипользовать для подмены.

2. Операционную систему можно идентифицировать по сетевым отпечаткам, поэтому
user_agent должен соответствовать системе. Если у вас windows 7, а в user_agent указана десятка, это плохо.

3. Желательно не «косить» под другие браузеры, подмену легко проверить через специфические js методы реализованные только в том или ином браузере.

У вас в коде меняется много параметров браузера, начините искать причину вашей проблемы поэтапно исключая каждый параметр - set_plugins_info, set_random_bounds_fingerprint и так далее.

Anvit
Сообщения: 8
Зарегистрирован: 03 янв 2020, 15:43

Re: Хуман, браузер и яндекс

Сообщение Anvit » 07 янв 2020, 18:03

спасибо за советы, пригодятся.
проблема исчезла, причину выяснить не удалось.

стоит ли менять MAC адрес ?

yanus
Сообщения: 20
Зарегистрирован: 01 сен 2010, 00:47

Re: Хуман, браузер и яндекс

Сообщение yanus » 16 янв 2020, 14:00

Anvit писал(а):
07 янв 2020, 18:03
стоит ли менять MAC адрес ?
Нет

Ответить